1925-ben született Massachusetts államban, gyerekkorában sokat betegeskedett. A Harvard Egyetemen szerzett diplomát, majd a haditengerészetnél szolgált. Kezdetben rádiós és televíziós műsorokban szerepelt, az ötvenes évek közepén tűnt fel a Broadway-n és ekkor kezdett filmezni is, a Mr. Roberts című produkcióban nyújtott alakításáért Oscar-díjat kapott. Az igazi áttörést az 1959-es Van, aki forrón szereti jelentette, ezt követően játszott a Legénylakás és az Irma, te édes című Billy Wilder-filmekben is.

Számos alkalommal játszott együtt Walter Matthauval, olyan alkotásokban szerepeltek együtt, mint a Sógorom a zugügyvéd, a Furcsa pár, a Szenzáció!, a Haver, haver, A szomszéd nője mindig zöldebb és a Tengerre, tata! Rendezőként a Csakazértis nagypapa című filmet jegyzi, a főszereplő Matthau volt. Második Oscar-díját a Mentsük meg a tigrist! című filmért kapta. További ismert szerepei: Airport '77, JFK - A nyitott dosszié, Tizenkét dühös ember. Kétszer nősült és két gyermeke született, karrierje során minden rangos filmes díjat begyűjtött. 2001-ben hunyt el, Kaliforniában nyugszik Walter Matthau mellett.