Nacido en París en el seno de una familia de artistas, Jolivet estudió violonchelo y, a continuación, composición con Paul Le Flem, con el que se concentró especialmente en obtener una sólida base en las formas clásicas de la armonía y el contrapunto.

Comenzó a interesarse por la atonalidad después de haber escuchado en concierto la música de Arnold Schoenberg. Recomendado por Paul Le Flem, se convirtió en el único estudiante europeo de Edgard Varèse, con el que profundizó en sus conocimientos de acústica musical, sistemas de composición atonales y orquestación.

En 1936 Jolivet, junto con los compositores Olivier Messiaen, Daniel Lesur e Yves Baudrier, fundó el grupo "La jeune France", con el que aspiraban a establecer un modo de componer más humano y menos abstracto. Desde ese momento comenzó a revelarse lo que sería su filosofía compositiva, o sea, la idea de devolver a la música su significado arcaico, el que poseía cuando se encontraba ligada a los fenómenos esotéricos o religiosos, reencontrando de esta forma un lado emocional estrechamente ligado con el aspecto ritual.

En 1945 publicó un artículo en el que declaraba que "la verdadera música francesa nada tenía que deber a Stravinski, y ello a pesar de que el músico ruso, como Jolivet, también se interesó vivamente por el tema del ritual en la música; esta toma de posición fue acompañada por un abandono del neoclasicismo en favor de un estilo compositivo menos académico y más relacionado con la esfera espiritual.

Durante los años de la Segunda Guerra Mundial la música de Jolivet se fue alejando progresivamente de la atonalidad para retomar un color más lírico y tonal. Después de unos años de trabajo en este estilo más simple, en los que compuso la ópera cómica Dolorès, ou Le miracle de la femme laide (1942) y el ballet Guignol et Pandore (1943), en su primera sonata para piano, compuesta en 1945, el músico intenta llegar a un compromiso entre ésta y su anterior forma de componer, más experimental, mostrando elementos de ambos universos compositivos.

Dando finalmente cumplimiento a una pasión juvenil (durante su juventud se había visto poderosamente atraído por el mundo del teatro), Jolivet se convierte en 1945 en director musical de la Comédie-Française, cargo que ejerce hasta 1959, componiendo numerosa música circunstancial para las obras de Molière, Jean Racine, Sófocles y Paul Claudel. Simultáneamente, continuó sus labores musicales destinadas a las salas de concierto, a menudo inspiradas en sus frecuentes viajes alrededor del mundo.

Durante los años cincuenta y sesenta André Jolivet compuso numerosos conciertos solistas con orquesta para instrumentos como la trompeta, el piano, la flauta, el arpa, el fagot, el violonchelo y las percusiones; estos trabajos denotan un uso virtuosístico de los instrumentos solistas.
Fue también uno de los pocos compositores que escribieron música para las Ondas Martenot, un instrumento electrónico inventado en Francia en 1928 por Maurice Martenot.

Jolivet fundó en 1959 el "Centre Français d'Humanisme Musical" en la localidad de Aix-en-Provence, y seis años más tarde fue nombrado profesor de composición del Conservatorio de París.

Falleció en su ciudad natal en 1974, dejando inconclusa su ópera "Bogomilé ou Le lieutenant perdu".