Né à Paris, le 13 avril 1936, Pierre Rosenberg passe les années de la guerre dans le Lot-et-Garonne et en Gironde. Il doit la vie aux paysans qui abritèrent ses parents et surent le protéger. Il fait ses études secondaires au lycée Charlemagne à Paris. Licencié en droit, diplômé de la section supérieure de l’école du Louvre, il entre au département des Peintures du musée du Louvre en 1962. Il y fera toute sa carrière, du poste d’assistant à celui de conservateur du patrimoine chargé du département des Peintures. En octobre 1994, il sera nommé président-directeur du musée du Louvre, devenu établissement public en 1992. Il le quittera le 13 avril 2001. Il a été, de 1981 à 1993, conservateur du musée national de l’Amitié franco-américaine de Blérancourt.
Boursier Focillon à l’université de Yale en 1961-1962, il a été invité à séjourner à l’Institute for Advanced Study de Princeton en 1977 et à l’université de Cambridge (1987) en qualité de slade professor. Il a occupé la chaire de peinture française à l’école du Louvre en 1970-1971. Président de la Société de l’histoire de l’art français en 1982-1984, il a été élu président du Comité français d’histoire de l’art en 1984. Il fait partie du comité de rédaction de la Revue de l’art depuis sa fondation en 1969, de xviie siècle, de Print Quarterly, d’Artibus et Historiae, de Dialoghi, de Museum Management and Curatorship, de la Revue du Louvre, du Burlington Magazine. Il est membre étranger de l’American Academy of Arts and Sciences, de l’American Philosophical Society (Philadelphie), honorary fellow de la Royal Academy (Londres), membre étranger de l’Accademia Nazionale dei Lincei et de l’Accademia Nazionale di San Luca, ainsi que de l’Accademia del Disegno (Florence), de l’Accademia Pietro Vanucci (Pérouse), de l’Ateneo Veneto (Venise), de l’Istituto Veneto di Scienze, Lettere ed Arti (Venise) et de l’Accademia Clementina (Bologne). Il est président de la maison d’édition Arthena, et a été président du Festival de l'histoire de l’art de Fontainebleau et de l’Alliance française à Venise.
Ses travaux d’historien de l’art portent essentiellement sur le dessin et la peinture française et italienne des xviie et xviiie siècles ainsi que sur l’histoire du collectionnisme. Il a rédigé plus de deux cents articles dans les principales revues spécialisées, a collaboré aux Mélanges dédiés aux principaux historiens d’art français et étrangers de notre temps (R. Bacou, J. Bialostocki, F. Bologna, R. Bossaglia, G. Briganti, R. Causa, A. Chastel, B. Foucart, M. Gregori, W. Hoffmann, M. Laclotte, H. Marx, K. Oberhuber, C. Pietrangeli, A. Popham, G. Previtali, M. Rœthlisberger, A. Schnapper, S. Slive, Ch. Sterling, Ch. Thiem, M. Winner, P. Zampetti, F. Zeri, etc.) et a participé à quelques-uns des principaux colloques français et internationaux d’histoire de l’art de ces dernières années (consacrés à Watteau, Vouet, David, Titien, Léonard de Vinci, Callot, La Tour, Poussin, au Caravage, au Tintoret, etc.).
Il a prononcé, en avril et mai 1996, à la National Gallery de Washington, les Mellon Lectures (que le prédécesseur de son prédécesseur à l’Académie, Étienne Gilson, avait données en 1955). Son ouvrage Le Chat et la Palette (1987) a été traduit en plusieurs langues, ainsi que son Dictionnaire amoureux du Louvre (2007).
Pierre Rosenberg a organisé un grand nombre d’expositions en France, en Italie, en Allemagne, en Angleterre, aux États-Unis, au Canada, et en a rédigé, parfois intégralement, les catalogues. Il a par ailleurs milité pour la création de l’Institut national d’histoire de l’art, et en faveur de l’enseignement de l’histoire de l’art dans les établissements d’enseignement secondaire. Il a publié les catalogues raisonnés des dessins de Poussin, de Watteau et de David, en collaboration avec Louis Antoine Prat. Après avoir publié les catalogues raisonnés des tableaux des Le Nain, de Chardin et de Fragonard, il prépare celui des peintures de Poussin. Il publie le catalogue de la collection de dessins de Pierre-Jean Mariette, dont les volumes consacrés aux dessins français et espagnols viennent de paraître (2019), après les volumes consacrés aux dessins français (2011).
Il a été élu à l’Académie française, le 7 décembre 1995, au fauteuil d’Henri Gouhier (23e fauteuil), et reçu le 14 novembre 1996 par José Cabanis.