Né à Marseille, le 24 décembre 1755.
Ami de Buffon et d'Alembert, avocat, poète, traducteur, il fut reçu à l'Académie des Inscriptions en 1784, après avoir publié plusieurs mémoires, son Traité des lois pénales qu'il fit paraître sans nom d'auteur, obtint malgré cela le prix Montyon distribué pour la première fois. Député de Paris à l'Assemblée législative, il en fut le premier président ; procureur général syndic du Directoire de Paris, il fut ministre de l'Intérieur en 1791 pendant peu de temps. Lorsque Mirabeau mourut, Pastoret demanda que l'église Sainte-Geneviève devint le Panthéon et proposa l'inscription qui figure au fronton : « Aux grands hommes la Patrie reconnaissante ». Émigré pendant la Terreur, il rentra en 1795, fut proscrit au 18 Fructidor, se réfugia en Suisse chez Necker, puis à Venise, député du Var au Conseil des Cinq-Cents, sénateur en 1809, membre et vice-président de la Chambre des pairs en 1814, ministre d’État en 1826, il fut le dernier chancelier de la Restauration en 1829 et le tuteur des enfants du duc de Berry.
Membre de l'Institut, élu dans la deuxième classe, le 10 décembre 1795, il en devint président ; il fit partie de l'Académie des Inscriptions et de celle des Sciences morales et politiques, élu le 8 juin 1820 à l'Académie française en remplacement du comte de Volney, il fut reçu le 24 août 1820 par Jean-Louis Laya qui prononça à cette occasion un discours très hostile aux romantiques. En 1819, Pastoret donna, en gardant l'anonymat, une somme de 1 500 francs pour un éloge de Malesherbes ; il reçut Guiraud et Brifaut. Traducteur de Tibulle, historien et analyste des législations anciennes, il écrivit une Histoire de la Législation en onze volumes et fut professeur au Collège de France et à la Sorbonne.
Mort le 28 septembre 1840.