Urodził się 23 II 1917 r. w Piekielniku na Orawie, dawne woj. nowosądeckie. Pochodził z wielodzietnej rodziny góralskiej o tradycjach muzykowania. Jego ojciec był skrzypkiem grającym na weselach i zabawach wiejskich. Od niego też jako młody chłopak Józef Szczerba uczył się wygrywać pierwsze melodie.

Mając 17 lat, za zarobione przez siebie pieniądze kupił skrzypce. Grał ze słuchu naśladując starszych uzdolnionych muzykantów. Miał dobry słuch muzyczny, duże poczucie rytmu, piękny wysoki głos, co sprawiło, że dość szybko dał się poznać jako dobry skrzypek i śpiewak, którego chętnie zapraszano na wiejskie zabawy i na ,,skubarki” (darcie pierza). W okresie Bożonarodzeniowym chodził też z rówieśnikami po kolędzie, od domu do domu, w każdym przygrywając nie tylko pastorałki i powinszowania, ale i melodie do tańca. Wkrótce utworzył własną kapelę, w której był prymistą lub sekundzistą. Kapela J. Szczerby szybko zyskała rozgłos i chętnie była zapraszana na wesela i zabawy na całej Orawie, koncertowała na Podhalu i po drugiej stronie granicy, na Orawie Słowackiej.

Granie w kapeli nie mogło zapewnić mu utrzymania rodziny. Po objęciu niewielkiego gospodarstwa po ojcu starał się je powiększyć, by stać się bogatszym gazdą. Muzykowania jednak nie zaniedbywał. Kiedy w Jabłonce w 1952 r. powstał Zespół Regionalny „Orawa” przy Podhalańskiej Spółdzielni Cepelii w Nowym Targu, został jego członkiem. W zespole grał w kapeli, śpiewał, tańczył. Był niezrównanym wykonawcą tańca ,,wałaskiego”, którego nauczył młodszych członków zespołu. Dzięki jego staraniom w grupie orawskiej z Jabłonki wchodzącej w skład zespołu „Małe Podhale”, powstały dwie kapele.

Wieloletni okres przynależności do zespołów folklorystycznych pozwolił J. Szczerbie uczestniczyć w wielu festiwalach, przeglądach i konkursach folklorystycznych. Najczęściej uczestniczył w imprezach odbywających się w Zakopanem, Bukowinie Tatrzańskiej, Nowym Targu, Nowym Sączu, Żywcu, Krakowie i in., które miały najczęściej pozaregionalny charakter: były to festiwale ogólnopolskie i międzynarodowe, jak np. Festiwal Folklorystyczny Ziem Górskich, Festiwal Folklorystyczny Górali Polskich, ,,Sabałowe Bajania”, ,,Święto Pasterskie” itp. Wyjeżdżał też na Ogólnopolskie Festiwale Kapel i Śpiewaków Ludowych do Kazimierza Dolnego. Uczestniczył w wielu występach w różnych miastach Polski. Z zespołami kilka razy wyjechał za granicę: Czechosłowacja, Jugosławia, Niemcy, Węgry, Austria. Podczas występów grał na skrzypcach, grę przeplatał śpiewem piosenek i przyśpiewek, których znał niezliczoną ilość, popisywał się też tańcami góralskimi. Otrzymał wiele nagród, dyplomów, wyróżnień. Był nagrywany przez PR i TV.

Józef Szczerba zmarł w 1993 roku.

Agnieszka Pokropek