Brialy urodził się 30 marca 1933 r. w Aumale (Algieria) jako syn pułkownika armii francuskiej. Podczas swojej kariery, która trwała 40 lat wystąpił w ponad 100 filmach. Po raz pierwszy pojawił się na ekranie w 1956 r. w filmie "Helena i mężczyźni", w reżyserii Jeana Renoira. Później występował w filmach takich reżyserów jak Louis Malle, Claude Chabrol, Francois Truffaut, Eric Rohmer i wielu innych. Sam zrealizował dla telewizji i kin ok. 12 filmów. Był znanym bywalcem paryskich kół artystycznych i intelektualnych oraz właścicielem teatru "Les Bouffes parisiens". Napisał też kilka książek zawierających wspomnienia.