Né à Ruelle (Charente), le 3 mai 1864.
Neveu d’Hippolyte Taine par sa mère, André Chevrillon passa une partie de son enfance en Angleterre. De retour en France, il fit ses études secondaires à Paris, à l’École alsacienne, puis au lycée Louis-le-Grand. Il entra à la Sorbonne, où il obtint sa licence d’Histoire. Il fut d’autre part reçu premier à l’agrégation d’anglais en 1887, et soutint une thèse de doctorat sur Sydney Smith et la Renaissance des idées libérales en Angleterre au XIXe siècle. Il enseigna un temps à l’École navale, puis à la Faculté de lettres de Lille, mais renonça à l’enseignement dès 1894, pour se consacrer à la littérature.
Grand voyageur, il parcourut le monde, séjournant aux Indes, en Amérique, en Afrique du Nord et en Palestine.
Collaborateur à La Revue des deux mondes, André Chevrillon a laissé de nombreux ouvrages, qui révèlent ses multiples centres d’intérêt, ainsi que ses talents de critique et de philosophe : Dans l’Inde, Terres mortes : Thébaïde, Judée, Études anglaises, Sanctuaires et Paysages d’Asie, Un crépuscule d’Islam, La Pensée de Ruskin, l’Angleterre et la guerre, Trois études sur la littérature anglaise, La Bretagne d’hier, Les Puritains du désert, Taine, formation de sa pensée, Visions du Maroc, Rudyard Kipling, etc.
André Chevrillon fut élu à l’Académie française, le 3 juin 1920, au fauteuil d’Étienne Lamy, au premier tour par 18 voix, contre 7 à l’historien Imbart de la Tour, et 5 à Émile Fabre, administrateur de la Comédie française.
Il fut reçu le 21 avril 1921 par Pierre de La Gorce.
L’un de ses confrères, François Mauriac, a écrit dans son Bloc-notes tout le bien qu’il pensait d’André Chevrillon, à qui il rendait hommage en ces termes : « Entre tous mes aînés, Quai Conti, il n’en était aucun qui m’inspirât plus de respect que ce neveu de Taine. Je ne crois pas le lui avoir jamais manifesté ; il paraissait comme isolé par la grande vieillesse : l’esprit jeune et vivant de Prométhée était lié à un corps en ruine. Mais sa tristesse devait avoir d’autres sources : le monde qu’il avait décrit dans ses livres ne ressemblait plus à l’image qu’il en avait donnée. Il était l’historien et le témoin d’un empire qui se défaisait sous ses yeux. Les cartes qui avaient servi à ce voyageur n’eussent plus servi à personne. »
André Chevrillon devait recevoir André Maurois sous la coupole, en 1939.
Mort le 9 juillet 1957.