Né le 21 mars 1937, à Angoulême, de son nom véritable Jean-Pierre Angremy.
Études primaires et secondaires au lycée Condorcet, latin, grec, beaucoup de littérature. Vacances d'été en Auvergne (Riom-ès-Montagnes, Cantal, dont son père est originaire). Étudiant à l'Institut d'études politiques de 1955 à 1958 ; à la Faculté de droit (licence, option " Sciences économiques ") et à la Sorbonne (Sociologie). Assistant de Herbert Marcuse à l'université de Brandeis (Massachusetts, États-Unis) ; puis élève de l'ENA (promotion "Saint-Just", 1963).
À partir de cette date, Pierre-Jean Remy commence une double carrière de diplomate et d'écrivain.
Le diplomate se trouve tour à tour en poste à Hong-Kong, où il est vice-consul archiviste de 1963 à 1964 ; à Pékin, où il est deuxième secrétaire d'ambassade de 1964 à 1966. L'Asie, la Chine, les écrivains français qui ont vécu en Chine ont, à ce moment-là, une influence décisive sur lui. Il rentre en Europe à la fin de 1966 pour être nommé deuxième secrétaire, puis premier secrétaire à Londres, où il séjourne jusqu'en 1971.
Après un bref passage à la direction générale des Relations culturelles du Quai d'Orsay où il s'occupe des échanges artistiques, il est détaché à l'O.R.T.F. en 1972, en qualité de directeur, adjoint au président-directeur général, chargé de l'harmonisation des programmes. À ce titre, il préside la Commission des coproductions cinéma-télévision de l'Office ; il est également membre de la Commission d'avances sur recettes du C.N.C. Il repart ensuite pour l'Angleterre, en 1975, et séjourne encore quatre ans à Londres, conseiller culturel, cette fois, auprès de l'Ambassade de France.
De 1979 à 1981, il est directeur du théâtre et des spectacles au ministère de la Culture. Chargé, à l'automne de 1981, des dossiers " Cité de la Musique " à la Villette et " Opéra Bastille ", il dirige pendant quelques mois l'équipe qui prépare le premier projet du nouvel Opéra de la Bastille et rédige la première étude, qui servira de fondement à cette entreprise. Il demeure ensuite deux ans en instance d'affectation avant d'être nommé, au début de 1985, consul général à Florence.
En avril 1987, il est nommé directeur général des Relations culturelles, scientifiques et techniques au ministère des Affaires étrangères.
D'avril 1990 à février 1994, il est ambassadeur, délégué permanent de la France auprès de l'UNESCO ; à partir d'octobre 1992, il est membre du Conseil exécutif de cette Organisation.
De mars 1994 à janvier 1997, il est directeur de l'Académie de France à Rome, Villa Médicis. De janvier 1997 à mars 2002, il est président de la Bibliothèque nationale de France. Il est également revenu en 2001 vers ses premières affections chinoises en devenant président des Années France-Chine 2003-2005.
La carrière littéraire de Pierre-Jean Remy s'inscrit essentiellement sous le signe du roman. Il a publié, depuis 1962, une quarantaine d'ouvrages. Le Sac du Palais d'Été lui a valu, en 1971, le prix Renaudot ; L'Orient-Express II, le prix de la Nouvelle de l'Académie française en 1984 ; Une Ville immortelle, le grand prix du Roman de l'Académie française en 1986.
L'intérêt qu'il porte au théâtre lui a fait collaborer pendant plusieurs années à l'hebdomadaire Le Point, en qualité de critique théâtral. De la même façon, il a assuré les chroniques régulières d'opéra et de musique lyrique dans divers magazines tels que Lyrica, Harmonie, Diapason, et La Revue des Deux Mondes. Il a d'ailleurs publié plusieurs ouvrages sur la musique, dont des biographies de Maria Callas et de Berlioz.
Collectionneur, enfin, de romans du XVIIIe siècle, il a participé à la réédition d'un certain nombre d'entre eux.
Pierre-Jean Remy a, en outre, collaboré à des films et à des séries de télévision (Orient-Express ; Le Diable au cœur ; Le Dernier Été).
Il a été élu à l'Académie française, le 16 juin 1988, au fauteuil de Georges Dumézil (40e fauteuil).
Mort le 27 avril 2010 à Paris.