Hijo de Teresa Vieiray del portugués Manuel Teixeira Guimarães, con la muerte de su padre en 1891 su madre se volvió a casar, mudándose con la familia a Recife. Comenzó a tocar la guitarra en la infancia, influenciado por los cantantes y guitarristas locales. Aprendió a tocar la guitarra con cantantes de country como Bem-te-vi, Mandapolão, Manuel Cabeceira, el ciego Sinfrônio, Fabião das Queimadas y Cirino Guajurema. En 1902 se trasladó a Río de Janeiro, viviendo con su hermana y trabajando en una fundición. Seis años más tarde, comenzó a trabajar como sirviente en el ayuntamiento de Río, trasladándose a una pensión en el centro de la ciudad. En Río, tomó contacto con guitarristas populares, mientras trabajaba como herrero, trabajando hasta dieciséis horas diarias. A sus amigos y admiradores, en número cada vez mayor, contaba y cantaba cosas de su tierra, de ahí el apodo de João Pernambuco.
Ya en 1908 era considerado uno de los bambas del Choro, junto a nombres como Quincas Laranjeiras, Ernani Figueiredo, Zé do Cavaquinho y Satyro Bilhar. Compuso música de inspiración nordestina, basada en canciones populares. Es el caso del himno Luar do Sertão, compuesto en 1911, su mayor éxito, no acreditado por su socio letrista Catulo da Paixão Cearense, que quedó como único autor. Pixinguinha confirmó en su entrevista en el Museu da Imagem e do Som que escuchó a João Pernambuco tocarlo antes de que Catulo escribiera la letra. João y Catulo actuaron juntos en reuniones de la clase alta en Río. Paralelamente al Choro, desarrolló su trabajo en la canción regional a través de sus composiciones y las de guitarristas y cantores del Nordeste. João Pernambuco también cantó y cantó bien.
En las cuerdas, además de la guitarra, que manejaba con maestría y en la que desarrolló una técnica peculiar, era diestro en la viola. Compuso más de cien canciones, entre choros, valses, jongos, maxixes, emboladas, toadas, cocos, preludios y estudios. En 1916, creó la Troupe Sertaneja, con la que actuó en São Paulo, Río de Janeiro y Porto Alegre. Participó de los Turunas Pernambucanos y de los Oito Batutas, entre 1919 y 1922, junto a Pixinguinha, que luego alcanzaría la fama recorriendo Europa. Amigos desde 1912, Donga, Pixinguinha (este último tenía catorce años) y João vivían en un dormitorio de la Rua do Riachuelo 268. De ahí salió el Grupo Caxangá en los carnavales y también en esa época produjeron Sabe , Os Três Companheiros y Meus Voltando. Estuvieron juntos de 1914 a 1919 en Caxangá y de 1919 a 1922 en Oito Batutas, que en esta etapa era un grupo predominantemente sertanejo. De 1928 a 1935, João Pernambuco vivió en la mansión de la Av. Mem de Sá, de 81 años, donde hubo una república que albergaba, en su mayoría, a músicos y futbolistas. Allí, João organizaba círculos choros animados y muy concurridos con la participación de Donga, Pixinguinha, Patrício Teixeira, Rogério Guimarães y, ocasionalmente, Villa-Lobos. Fue también en este lugar que João conoció, a través de su amigo Levino, a un entonces joven y prometedor guitarrista llamado Dilermando Reis. La santísima trinidad de los precursores de la guitarra brasileña está formada por Quincas Laranjeiras, João Pernambuco y Levino Albano da Conceição.