Né à Paris, le 27 septembre 1752.
Membre de l'Académie des Inscriptions en 1779, il écrivit les Voyages pittoresques ; il remplaça d'Alembert à l'Académie française le 11 décembre 1783 et ne fut reçu par Condorcet que le 26 février 1784. Son élection provoqua une protestation de son collègue à l'Académie des Inscriptions, Anquetil-Duperron, qui l'accusait d'avoir, contrairement aux engagements des membres de cette compagnie, sollicité son admission à l'Académie française ; sa menace de déférer le comte de Choiseul au tribunal des Maréchaux de France pour infraction à sa parole n'eut par ordre du roi aucune suite.
Nommé ambassadeur à Constantinople en 1784, il refusa, en 1791, l'ambassade de Londres. Il était hors de France quand la Révolution éclata et il se réfugia à la cour de Catherine II et de Paul Ier ; il fut nommé directeur de l'Académie des Arts et des Bibliothèques impériales de Russie.
Il ne fit pas partie de l'Académie lors de l'organisation de 1803 ; mais seulement de la 3e classe de l'Institut. Il y rentra en vertu de l'ordonnance royale de 1816, en même temps qu'à celles des Beaux-Arts et des Inscriptions et reprit son fauteuil qui avait été occupé par Portalis, Laujon et Étienne ; ce dernier en avait été exclu par la même ordonnance. Le comte de Choiseul-Gouffier fut nommé pair de France, ministre d’État, membre du conseil privé.
Mort le 22 juin 1817.