Porijeklom Poljak, legendarni strip-crtač koji se bavio stripom od svoje 16. godine, prvi je posao u branši dobio 1938, kad je imao tek 11 godina, a u prestižnom se DC Comicsu zaposlio u ranim 40-im godinama prošloga vijeka, kad još nije bio napunio ni 18 godina.
U kratkom je roku pridonio rađanju popularnog superheroja te decenije, Hawkmana. Nakon toga je uslijedio ‘Narednik Rock’, koji se događa za vrijeme Drugog svjetskog rata, te nedugo potom praistorijski čovjek Tor, neka vrsta hibrida između Conana i Tarzana.
Svojim stripovima ‘Fax from Sarajevo’ iz 1996, o opsadi toga grada i njegovom prijatelju Ervinu Rustemagiću, i ‘Yossel: April 19, 1943’ iz 2003, u kojem pokušava zamisliti kakav bi život imala njegova porodica da nije emigrirala u SAD prije uspona nacističkog režima, inaugurirao je novi oblik stripa, grafičku novelu.
Godine 1976. zajedno sa suprugom Muriel utemeljio je svjetski poznatu prestižnu školu stripa Joe Kubert School of Cartoon and Graphic Art, koja je dosad iznjedrila brojna velika imena te industrije kao što su Amanda Conner, Stephen Bissette, Alex Maleev, Shane Davis i Rags Morales.
Dobitnik je brojnih nagrada, među kojima i najznačajnijih stripovskih nagrada Eisner Award i Harvey Award, a 2010. i nagrade za životno djelo Milton Caniff Lifetime Achievement Award. Godine 1997. primljen je u dvoranu slavnih svijeta stripa Jack Kirby Hall of Fame te 1998. u Will Eisner Comic Book Hall of Fame.
U crtačkom poslu naslijedili su ga sinovi Andy i Adam Kubert, takođe velika crtačka imena.