V Cleveland se je družina preselila, ker je oče, po poklicu kovač, družinskemu proračunu pomagal tudi s prepovedano žganjekuho. Igranja na harmoniko se je začel učiti, ko je bil star devet let in sprva mu ni šlo. Vztrajal je in s 15 leti je že nastopal po slovenskih domovih v Clevelandu. Svoj prvi orkester je ustanovil leta 1932.
S svojo prvo soprogo June, ki mu je rodila osem otrok, je leta 1941 kupil bar v predelu Colinwood, kmalu zatem pa je oblekel uniformo in se udeležil zaključnih bojev druge svetovne vojne v Evropi.
Po vrnitvi je leta 1946 podpisal pogodbo z založniško hišo Columbia Records, prvo ploščo pa je posnel v New Yorku. Pesem Just Because se je hitro prodala v milijon izvodih, kmalu pa v 2,5 milijona.
Yankovic je bil v času po drugi svetovni vojni najpopularnejši izvajalec posebnega sloga polka glasbe, to je clevelandskega sloga, ki je mešanica evropske polke, ameriške plesne glasbe, big band glasbe, jazza in seveda Slovenije.
Plošče so se prodajale kot za med, Yankovic je s svojimi orkestri nastopal po vseh ZDA, slaven je bil v Hollywoodu in glasbena industrija ga je za življenjsko delo leta 1986 nagradila z grammyjem. Kategorijo polka glasbe so sicer po letu 2009 ukinili.
Potovanja so pustila sled na družinskem življenju in Yankovic se je ločil, pozneje pa še dvakrat poročil. Imel je skupaj deset otrok. Umrl je leta 1998 in za seboj pustil 200 izdanih plošč.
Njegovo dediščino ohranjajo v dvorani slavnih in muzeju polke v Clevelandu, ki ga vodi Joe Valencic.
