Preaqueça o forno médio (180 ºC). Forre 36 formas de muffins com formas de papel. Reserve.
Em uma tigela grande, misture a farinha, o açúcar, o chocolate em pó, o bicarbonato de sódio e uma colher (chá) de sal. Faça um buraco no meio e despeje nele os ovos, 1 xícara de leite, água, óleo e 1 colher (chá) de baunilha. Misture bem até formar uma massa homogênea.
Despeje a massa nas formas, enchendo-as até a metade. Asse no forno preaquecido por 15 a 20 minutos, ou até que um palito inserido no meio de um cupcake saia limpo. Deixe esfriar.
Faça o recheio: bata a manteiga até formar um creme claro e liso, misture o açúcar de confeiteiro e a pitada de sal. Aos poucos, vá acrescentando o leite e a baunilha até o creme ficar fofo e leve.
Transfira o creme para um saco de confeiteiro com bico fino. Recheie os cupcakes com o bico de confeiteiro pelo fundo das forminhas de papel.