Su padre, también llamado Ferdinand Rebay (1851-1914), fue un cantante, escritor y compositor austriaco, y fue socio de Adolf Robitschek en la editorial vienesa Rebay & Robitschek.

En 1890, a la edad de diez años, el joven Ferdinand Rebay se convirtió en corista en la abadía de Heiligenkreuz, al sur de Viena. Durante los siguientes cinco años recibió una completa educación musical y se convirtió en contraalto solista.

En 1901 se unió a la clase de piano de Joseph Hofmann en el Conservatorio de Viena (hoy Universität für Musik und darstellende Kunst). Luego estudió composición en el Conservatorio de Viena (de la Sociedad de Amigos de la Música) con Robert Fuchs, y también estudió con Josef Wöss y Eusebius Mandyczewski.

En 1904 concluyó sus estudios con su último trabajo académico, Erlkönig, para gran orquesta, que Fuchs calificó como el mejor trabajo producido en sus 29 años en el Conservatorio. Durante sus estudios con Fuchs, Rebay recibió varios premios, incluido el Premio Brahms y una Medalla de Plata de la Gesellschaft der Musikfreunde.

Después de graduarse en 1904, Rebay se convirtió en director de coro de los Wiener Chorvereins. Algunos años más tarde, en 1915, asumió el mismo cargo en la Wiener Schubertbund, permaneciendo en el cargo hasta 1920, cuando fue nombrado miembro de la Academia de Música de Viena. También fue profesor privado de piano y teoría e instructor en la escuela de piano de Schwender. Además, realizó arreglos de piano para Breitkopf & Härtel, Universal Edition, Schott (óperas de Korngold).

Desde 1921 fue profesor de piano y canto en la Academia de Música y Artes Escénicas de Viena, ahora Universidad, (también conocida como Academia de Música de Viena). Entre sus alumnos notables se encontraba la soprano Maria Tauberová. En 1929 se convirtió en profesor de métodos didácticos y literatura pedagógica y en 1933 miembro de la comisión disciplinaria. En 1938 su contrato no fue renovado y hasta 1945 no pudo reanudar la docencia en la Academia. Se jubiló en 1946 y murió en la pobreza el 6 de noviembre de 1953 en Viena. Una parte del patrimonio musical de Rebay se encuentra en la biblioteca musical del convento de Heiligenkreuz.