Né à Grenoble, il étudie avec son père Théodore Fantin-Latour (1805-1872), peintre, puis à la petite École de dessin de Paris avec Louis-Alexandre Péron et Horace Lecoq de Boisbaudran.
Il entre à l'École des beaux-arts en 1854. Il a pour condisciples Edgar Degas, Alphonse Legros et Jean-Charles Cazin.
En 1861, il fréquente brièvement l'atelier de Gustave Courbet, rue Notre-Dame-des-Champs. Il épouse en 1876 Victoria Dubourg qui est peintre comme lui. Il passe ensuite ses étés dans la résidence de la famille de sa femme à Buré en Basse-Normandie.
Membre du groupe dit « de 1863 », puis du Cénacle des Batignolles d'où surgira l'Impressionnisme, il est un peu, remarquait Gustave Kahn, le chaînon qui unit les peintres d'aujourd'hui à la peinture romantique.
En 1867, il fait également partie des 9 membres de la « Société japonaise du Jinglar » avec Carolus Duran et les céramistes Bracquemond et Solon, qui se réunissaient pour dîner à la japonaise.
" On éprouvait toujours en l'abordant un petit sentiment de frayeur, à cause de ces façons rudes que les artistes de sa génération affectaient souvent comme inséparables d'une noble indépendance ", dira Blanche, un ami peintre de la génération suivante.
Fantin rénove le portrait collectif avec de grands tableaux-manifestes : Hommage à Delacroix, 1864 ; Le Toast, hommage aux peintres réalistes, 1865, qu'il détruisit lui-même en ne conservant que les fragments de trois portraits conservés à la Freer Callery de Washington, au musée d'Orsay et son autoportrait dans une collection privée néerlandaise ; Un atelier aux Batignolles, hommage à Manet, 1870 ; Un coin de table, hommage aux poètes parnassiens, 1872, dont Verlaine et Rimbaud ; Autour du piano, hommage aux musiciens et musicologues, 1885.
Ses natures mortes, fleurs ou fruits, ont souvent trouvé acquéreur ; ses scènes d'intérieur sont réalisées dans une gamme quasi monochrome de gris et de brun. C'est son ami Whistler qui a attiré en Angleterre l'attention sur Fantin, à une époque où la peinture impressionniste française était peu appréciée dans ce pays. Il l'a ainsi mis en relation avec son beau-frère Francis Seymour Haden et avec le graveur Edwin Edwards.
Passionné de musique, notamment de Berlioz, Schumann et Wagner, Fantin cherche à la transcrire par des peintures fluides exécutées en longues touches (Trois filles du Rhin, 1876), et lui consacre la plupart de ses lithographies. Ses portraits de sa femme Victoria Dubourg, ou de ses amis, Manet, Verlaine, ont un réalisme harmonieux et incisif.
Il est enterré à Paris au cimetière du Montparnasse.