Né à Paris, le 21 octobre 1823.
Baron d'Audiffret, petit-neveu et fils adoptif du chancelier Pasquier, qui fut académicien, il hérita de son titre de duc. Fonctionnaire politique sous Louis-Philippe, député en 1871, il combattit les bonapartistes, écrivit un rapport et prononça un discours remarquable sur les marchés de la guerre. Il fut président de l'Assemblée nationale de Versailles et, nommé sénateur inamovible en 1875, président du Sénat.
Après avoir éprouvé un échec à l'Académie, le duc d'Audiffret-Pasquier fut élu par 22 voix le 26 décembre 1878 en remplacement de Mgr Félix Dupanloup, et reçu le 19 février 1880 par Charles de Viel-Castel. Cette élection fut essentiellement politique, le duc d'Audiffret-Pasquier n'ayant rien publié, il fut préféré à Leconte de Lisle.
Mort le 4 juin 1905.