Rodil se je 23. julija 1932 v vasi Jordankal v občini Mirna Peč. Otroštvo je večinoma preživel pri stari mami; Slakova družina je namreč štela deset otrok in Lojze je moral zaradi mamine bolezni od doma, še preden je preživel prvo leto življenja. Prav to je vplivalo na njegovo poznejšo kariero in uspeh.
Stric Ludvik Barbo je imel harmoniko, s katero je igral na vaških slavjih in porokah. Mladi Lojze je bil navdušen nad stričevo diatonično harmoniko, in še preden je prvič odšel v šolo, je znal več kot ducat pesmi ter tako navduševal, še preden je ustvaril nepozabne viže.
