Hay poca información concreta disponible sobre la vida de Gerle. Su padre probablemente fue Conrad Gerle (fallecido en 1521), uno de los fabricantes de laúdes más conocidos de la ciudad. Gerle probablemente pasó toda su vida en Nuremberg.

Gerle publicó tres volúmenes de música para laúd a través de Hieronymus Formschneider, un editor de Nuremberg. Los dos primeros se publicaron en 1532-33 y el último en 1552; este tercer volumen se refiere a Gerle como "el mayor" en la portada, por lo que se presume que Gerle tuvo un hijo u otro pariente con el mismo nombre. La primera publicación contiene una introducción a la interpretación de laúd, viola da gamba (Grossgeigen) y rebec (Kleingeigen), así como una explicación de la notación musical, y es una fuente importante de información sobre la práctica de la interpretación. El libro se compone principalmente de intabulaciones de compositores alemanes como Ludwig Senfl, Johann Walter, Heinrich Isaac, Thomas Stoltzer y Paul Hofhaimer.

Su segundo volumen, para laúd solo, presenta obras de muchos compositores más antiguos, como Hayne van Ghizeghem, Josquin des Prez, Isaac y Jacob Obrecht, así como contemporáneos populares como Claudin de Sermisy, Adrian Willaert, Jean Mouton y Senfl. . El tercer volumen fue una transcripción a tablatura alemana de piezas que antes solo estaban disponibles en tablatura italiana, incluidas obras de Giovanni Maria da Crema, Domenico Bianchini, Simon Gintzler, Francesco Canova da Milano, Pietro Paolo Borrono y Alberto da Ripa.