Martin Henry Balsam néven született New Yorkban, részben orosz felmenőkkel rendelkező családban. A második világháborúban katonaként szolgált, a negyvenes években szerepelt először színpadon és filmen is. Olyan klasszikus alkotásokban játszott, mint a Psycho, a Tizenkét dühös ember, A 22-es csapdája, Az elnök emberei, vagy a Gyilkosság az Orient expresszen. Az 1965-ös Ezer bohóc című filmért Oscar-díjban részesült legjobb mellékszereplő kategóriában. Háromszor nősült, három gyermeke született. Olaszországi nyaralása során hunyt el 1996-ban, halálát agyvérzés okozta.