Né à Saint-Junien (Haute-Vienne), le 9 mai 1877.
Jean Tharaud grandit avec son frère aîné en Charente. Après ses études secondaires au lycée d’Angoulême, il échoua au concours de Saint-Cyr et s’installa à Paris pour préparer le concours de l’Inspection des finances. Après un nouvel échec, il modifia sa trajectoire et se lança dans les lettres, commençant avec son frère, Jérôme Tharaud, une carrière d’écrivains inséparables.
Dans le sillage de son aîné, il rencontra Barrès dont il fut le secrétaire lors des absences de Jérôme. Il partit également avec ce dernier suivre l’expédition Lyautey au Maroc.
La carrière de ce chroniqueur, romancier et mémorialiste est inséparable de celle de son frère avec lequel il cosigna tous ses ouvrages.
Jean Tharaud fut élu à l’Académie française le 14 février 1946 par 13 voix contre 7 à Maurice Bedel au fauteuil de Louis Bertrand. Il fut reçu le 12 décembre 1946 par Louis Madelin.
« Pour la deuxième fois en deux ans, on voyait un frère rejoindre son aîné », écrit, à propos de cette élection, le duc de Castries, dans La Vieille Dame du quai Conti. Avec Maurice et Louis de Broglie (élus respectivement en 1934 et 1944), Jérôme et Jean Tharaud constituaient le second duo fraternel à siéger sous la Coupole, au XXe siècle.
Mort le 8 avril 1952.