Fue un cantante, compositor y guitarrista brasileño, considerado junto a Antônio Carlos Jobim como uno de los creadores de la bossa nova a fines de los años 1950. En el mundo era frecuentemente llamado "padre del bossa nova" y en su país de origen, Brasil, era referido como "O Mito" (El Mito) o (La Leyenda).
Aprendió a tocar la guitarra de manera autodidacta. En 1950, emigró a la ciudad de Río de Janeiro, donde tuvo algún éxito cantando en la banda Garotos da Lua. Después de ser expulsado de la banda por rebeldía, pasó algunos años sin trabajo, pero con la idea pertinaz de crear una nueva forma de expresión musical con la guitarra.
Su esfuerzo finalmente dio resultado tras conocer a Tom Jobim —pianista y compositor con educación clásica que también gustaba del jazz estadounidense—, con quien empieza a madurar el estilo que se conoció como Bossa nova.
La bossa nova (nueva ola) era una destilación del ritmo de percusión y sincopado del samba, en una forma simplificada que podía ser tocada en una guitarra sin acompañamiento. Se atribuye a João Gilberto la creación de este género. También introdujo una nueva forma de cantar, a bajo volumen.
En 1958 se presentó el disco Canção do Amor Demais de la cantante Elizeth Cardoso, que incluía composiciones de Jobim con letras de Vinícius de Moraes. Poco tiempo después João Gilberto grabó su primer disco, llamado Chega de Saudade. La canción que le da título al disco de Gilberto también estaba en el álbum de Cardoso y fue un éxito en Brasil. Esta obra lanzó la carrera musical de João Gilberto, y también el movimiento musical Bossa Nova. Además de varias composiciones de Tom Jobim, el disco contenía varias sambas y canciones populares de los años 30 pero arregladas con el distintivo estilo de la bossa nova.
En 1960 y 1961, Gilberto lanzó dos discos más que contenían canciones compuestas por una nueva generación de cantantes y compositores.
Alrededor de 1962 la bossa-nova ya había sido asimilada por músicos de jazz estadounidenses como Stan Getz. Este último invitó a João Gilberto y Tom Jobim en 1963 para que colaborarán en lo que acabó convirtiéndose en uno de los discos de fusión bossa-nova/jazz más aclamados por la crítica y más vendidos de la historia. Getz/Gilberto fue lanzado en marzo de 1964 y obtuvo el Grammy en 1965. De este trabajo destaca la composición de Jobim/de Moraes "Garota de Ipanema", que se convirtió en una canción clásica del pop internacional y llevó a la fama a la cantante Astrud Gilberto, en aquel entonces esposa de João Gilberto. En su versión en inglés fue cantada por Frank Sinatra, Dean Martin, Al Martino, Tony Bennett.
En 1968 —cuando João Gilberto estaba residiendo en México— lanzó el disco Ela é carioca. El disco João Gilberto, lanzado en 1973, representa un cambio desde la creación de la bossa nova. En 1976 fue lanzado The Best of Two Worlds, con la participación de Stan Getz y de la cantante brasileña Miúcha (Heloísa Maria Buarque de Hollanda), hermana de Chico Buarque, que se había convertido en esposa de João Gilberto en abril de 1965. El disco Amoroso (1977) tuvo arreglos del músico Claus Ogerman.
En el disco de 1981, Brasil, João Gilberto trabajó con Gilberto Gil, Caetano Veloso y María Bethania, quienes a finales de los 60 habían creado el movimiento Tropicalismo basándose en la bossa nova y fusionándola con elementos del rock. En 1991 lanzó João, un disco particular por no contar con ninguna composición de Tom Jobim y, en su lugar, utilizar canciones de Caetano, Cole Porter y composiciones en español y en italiano. El trabajo João Voz E Violão, lanzado en 2000, marcó una vuelta a los clásicos de la bossa-nova y tuvo la producción musical de Caetano Veloso.
También tiene álbumes en vivo, como Live in Montreux, Prado Pereira de Oliveira, Live at Umbria Jazz, In Tokyo.