Georg Philipp Telemann nació en Magdeburgo, actual capital del estado federado de Sajonia-Anhalt. Su familia no tenía particular interés en la música, ya que únicamente un bisabuelo había sido cantor en Halberstadt, y ningún otro familiar había tenido relación con ella.

El padre falleció en 1685, dejando a cargo de la viuda la educación del joven Telemann. Contaban con empleo en la iglesia local y constituían una familia de clase media alta. El niño comenzó a descubrir la música a los 10 años de edad, mostrando enseguida talento al componer su primer opus a los 12 años. Sin embargo, esta aptitud no contaba con el apoyo de su familia; temiendo que Telemann siguiera una carrera musical, su madre le quitó todos los instrumentos y lo envió en 1693 a una nueva escuela en Zellerfeld, con la esperanza de que este cambio orientara al muchacho hacia una profesión más lucrativa. Factores clave para que Telemann se convirtiera en el más famoso músico de su época en Alemania fueron su sentido del humor, una personalidad amigable, una tremenda confianza en sí mismo y una productividad increíble desde temprana edad.

La estrategia materna falló finalmente porque el director de la escuela observó el talento musical del nuevo alumno y permitió que Telemann siguiera componiendo y ampliando sus conocimientos en forma autodidacta. Para la época en que completó sus estudios en Hildesheim, Telemann había aprendido a tocar casi sin ayuda la flauta dulce, el órgano, el violín, la viola da gamba, la flauta traversa, el oboe y el chalumeau, entre otros instrumentos musicales. Sus viajes le permitieron asimismo conocer nuevos estilos musicales, y sus primeras influencias las recibió de Johann Rosenmüller y Arcangelo Corelli.

En 1701, Telemann ingresó en la Universidad de Leipzig con el fin de estudiar Derecho, posiblemente a petición de su madre. El nuevo intento no duró más que lo que tardó su talento en ser descubierto, y enseguida le encargaron componer música para las principales iglesias de la ciudad. Al poco tiempo, fundó un collegium musicum de 40 miembros para dar conciertos de su música. Al año siguiente lo nombran director de la Ópera de Leipzig y cantor de una de sus iglesias. Su creciente fama comienza a inquietar al compositor mayor Johann Kuhnau, cuya posición como director musical de la ciudad se ponía en riesgo al ser nombrado Telemann cantor. Telemann también ocupaba a muchos estudiantes en sus producciones operísticas, restándoles tiempo para participar en la música sacra promovida por Kuhnau.

Finalmente, Kuhnau denunció a Telemann por «músico de ópera», pero aun luego de la partida de este último, no logró recuperar a los intérpretes que había perdido.

Telemann abandonó Leipzig en 1705 para actuar como maestro de capilla en la corte del conde Erdmann II en Sorau.[2]​ Allí se familiarizó con el estilo francés de Lully y Campra, componiendo varias oberturas y suites durante los dos años que estuvo en el puesto. La invasión de Alemania por los suecos obligó a la corte de Erdmann a evacuar el palacio. Se cree que Telemann visitó París en 1707 y luego fue nombrado jefe de cantores en la corte de Eisenach, donde conoció a Johann Sebastian Bach. El principal cargo obtenido por Telemann fue su nombramiento en 1721 como director musical de las cinco principales iglesias de Hamburgo, puesto que conservará el resto de su vida. Allí escribió dos cantatas para cada liturgia dominical, así como otra música sacra para ocasiones especiales, además de enseñar canto y teoría de la música, y dirigir otro collegium musicum, que realizaba uno o dos conciertos por semana. Telemann también dirigió la ópera local durante unos pocos años, pero esto le significó una quiebra financiera.

Cuando el puesto de Kuhnau en Leipzig quedó vacante, Telemann se presentó como candidato, resultando aprobado por el concejo municipal de entre seis postulantes. Sin embargo, rechazó el nombramiento, aunque no sin antes usarlo como excusa para obtener un aumento de sueldo en su cargo de Hamburgo. Ante la persistencia de la vacante, el concejo de Leipzig seleccionó a Christoph Graupner, quien tampoco aceptó el nombramiento. El que asumió finalmente el puesto fue Johann Sebastian Bach. Telemann incrementó igualmente sus ingresos en Hamburgo con varios cargos menores en otras cortes y con la publicación de volúmenes de su propia música.

Su producción musical empezó a declinar a partir de 1740 y se enfocó más enérgicamente en escribir tratados teóricos. Durante esta época trabajó además con algunos jóvenes compositores, como Franz Benda y su ahijado, Carl Philipp Emanuel Bach.

Luego de la muerte de su hijo mayor Andreas en 1755, Telemann asumió la responsabilidad de criar a su nieto Georg Michael Telemann, iniciando la educación musical del futuro compositor. Muchos de sus oratorios provienen de esta época. En los últimos años, su vista empezó a deteriorarse, y este problema le llevó a disminuir su actividad a partir de 1762. A pesar de ello, siguió componiendo hasta su muerte, el 25 de junio de 1767 a sus 86 años de edad.