Né le 30 août 1929, en Chine, François Cheng est issu d'une famille de lettrés et d'universitaires — ses parents comptaient parmi les premiers étudiants boursiers envoyés aux États-Unis. Études secondaires à Chongqing de 1937 à 1945. La guerre terminée, la Chine sombre peu après dans la guerre civile qui jeta la jeunesse dans le désarroi ou la révolte. Après un temps d'errements, il entre à l'Université de Nankin.
Début 1948, son père participe, en tant que spécialiste des sciences de l'éducation, à la fondation de l'UNESCO, grâce à laquelle il peut venir en France. Il se consacra à l'étude de la langue et de la littérature françaises. Il dut cependant traverser une assez longue période d'adaptation marquée par le dénuement et la solitude avant d'obtenir en 1960 un emploi stable au Centre de linguistique chinoise (devenu plus tard le Centre de recherches linguistiques sur l'Asie orientale à l'École des hautes études en sciences sociales). Parallèlement à son travail, il s'est employé à traduire les grands poètes français en chinois et à rédiger sa thèse de doctorat.
En 1969, il a été chargé d'un cours à l'Université de Paris VII. À partir de là, il mènera de front l'enseignement et une création personnelle. Il sera naturalisé français en 1971. En 1974, il devient maître de conférences, puis professeur à l'Institut national des langues et civilisations orientales, tandis que ses travaux se composent de traductions des poètes français en chinois et des poètes chinois en français, d'essais sur la pensée et l'esthétique chinoises, de monographies consacrées à l'art chinois, de recueils de poésies, de romans et d'un album de ses propres calligraphies.
Il se verra attribuer le prix André Malraux pour Shitao, la saveur du monde, le prix Roger Caillois pour ses essais et son recueil de poèmes Double chant, le prix Femina pour son roman Le Dit de Tianyi et le Grand prix de la Francophonie pour l'ensemble de son œuvre. Docteur honoris causa de l’université de Bergame (Italie) et de l’Institut catholique de Paris (2007).
Il a été élu à l'Académie française, le 13 juin 2002, au fauteuil de Jacques de Bourbon Busset (34e fauteuil), et reçu le 19 juin 2003 par Pierre-Jean Rémy.