Fue un compositor, director de orquesta y profesor francés. Fue miembro de Les Six y uno de los compositores más prolíficos del siglo XX. Sus composiciones están influenciadas por el jazz y la música brasileña y utilizan ampliamente la politonalidad. Milhaud está considerado uno de los compositores modernistas más importantes.​ Profesor de renombre, enseñó a muchos futuros compositores de jazz y música clásica, como Burt Bacharach, Dave Brubeck, Philip Glass, Steve Reich, Karlheinz Stockhausen y Iannis Xenakis, entre otros.

Se casó con la actriz Madeleine Milhaud.

Nacido en Marsella, hijo de Sophie (Allatini) y Gad Gabriel Milhaud. Sin embargo, creció en Aix-en-Provence, que él consideraba su verdadera ciudad ancestral.​ La suya era una familia judía de larga tradición del Comtat Venaissin -una apartada región de Provenza- con raíces que se remontan allí al menos hasta el siglo XV. Empezó sus primeros estudios musicales, de violín, a los siete años, con Leo Bruguier, que lo incorporó a su cuarteto de cuerda. Ingresó en el Conservatorio de París en 1909. Fue alumno de Berthelier (violín), Xavier Leroux (armonía), André Gedalge (contrapunto), Paul Dukas, Vincent d'Indy (dirección de orquesta) y Charles-Marie Widor (composición). Allí conocerá a sus compañeros Georges Auric, Jean Wiener, Jacques Ibert y Arthur Honegger.