O Yo La Tengo nasceu junto com a paixão entre os jovens Ira Kaplan (ex-crítico de música) e Georgia Hubley. Formada em 1984, em Hoboken, New Jersey, a banda lançou em 1996 o seu primeiro álbum 'Ride the Tiger', pela Coyote Records, com produção de  Clint Conley (baixista do Mission of Burma). Na sequência vieram os discos 'New Wave Hot Dogs' (1987) e 'President Yo La Tengo' (1989). Tendo como influências principais o Velvet Underground e Beatles, a grupo americano se situa no folk-rock, com belas melodias e experimentalismo.

Em 1990, o Yo La Tengo lançou 'Fakebook', um álbum com uma sonoridade acústica, centrado no folk-pop.

No início da carreira, vários músicos tocaram com Ira Kaplan e Georgia Hubley. Foi somente a partir do quinto álbum de estúdio, 'May I Sing with Me' (1992) com a entrada de James McNew, que a banda adquiriu a sua formação clássica: Ira Kaplan (vocais – guitarra), Georgia Hubley (vocais – bateria) e James McNew (baixo – vocais).

Foi durante os anos 90, que o Yo La Tengo conseguiu o status de grande banda alternativa, com os elogiados álbuns 'Painful' (1993), 'Electr-O-Pura' (1995) e 'I Can Hear the Heart Beating as One' (1997), lançados pela Matador Records.

No ano 2000, o trio lançou o nono disco, 'And Then Nothing Turned Itself Inside-Out'.

Na primeira década dos anos 2000, o Yo La Tengo lançou os álbuns 'Summer Sun' (2003),  'I Am Not Afraid of You and I Will Beat Your Ass' (2006) e 'Popular Songs' (2009).

Produzido por John McEntire, 'Fade', o décimo terceiro álbum da banda, saiu em janeiro de 2013. 'Stuff Like That There', um disco que mistura canções da banda e covers - "Friday I'm in Love" (The Cure), "I'm So Lonesome I Could Cry" (Hank Williams), "I Can Feel the Ice Melting" (The Parliaments), entre outras - foi lançado em 2015.

Em 2018, a banda lançou 'There's a Riot Going On', seu décimo quinto álbum de estúdio.