Baleto menu B. Kelbauskas susižavėjo dar vaikystėje, Pirmojo pasaulinio karo metus su šeima praleidęs Charkove. Baleto mokslus jis pradėjo vietos baleto mokykloje, čia atskleidė neeiliniai berniuko gabumai šokiui. Po karo grįžęs į Kauną, jaunuolis atėjo į Valstybės teatro baletmeisterės ir pedagogės Olgos Dubeneckienės baleto studiją. Nuo 1922 m. B. Kelbauskas šoko pirmuose Valstybės operos pastatymuose, o 1925 metais - ir pirmajame lietuvių baleto - Leo Delibes "Kopelijos" pastatyme.
Jaunasis šokėjas baleto meno mokėsi pas garsius to meto šokėjus, tobulinosi Paryžiuje. 1935 m. su lietuvių baletu gastroliavo Monte Karle, ten pasiliko šokti ilgesniam laikui. Po trupės gastrolių Londone B. Kelbauskas pasiliko šokti žymaus impresarijaus Renė Bliumo "Rusų baleto" trupėje, kuri gastroliavo Europos ir Afrikos miestuose. Lietuvių šokėjas šoko su pasaulinio garso baleto balerinomis Monte Karle ir Paryžiaus "Grand Opera" scenoje.
Grįžęs į Kauną, B. Kelbauskas pradėjo reikštis ir kaip gabus choreografas. 1937-1938 m. lankydamasis Maskvoje, jis buvo supažindintas su kompozitoriumi Sergejumi Prokofjevu, tuo metu kūrusiu baletą "Romeo ir Džuljeta", o tuometiniame Leningrade (dabar Sankt Peterburge) jam didelį įspūdį paliko garsiausios rusų baleto pedagogės Agripinos Vaganovos pamokos, rusų kompozitorių siužetiniai baletai.
Net pusę šimtmečio B. Kelbauskas dirbo teatre. Čia jis šoko romantiškus klasikinių baletų princus, temperamentingą ispaną Bazilį "Don Kichote", plastišką negrą "Šecherezadoje", vėliau - aistra kunkuliuojantį chaną "Bachčisarajaus fontane". Iš jo pastatytų 30-ties baletų kritikai išskiria Nikolajaus Rimskio-Korsakovo "Šecherezadą", Boriso Asafjevo "Bachčisarajaus fontaną", Reingoldo Gliero "Raudonąją aguoną", Juozo Pakalnio baletą "Sužadėtinė". 1965 m. B. Kelbauskas savitai perstatė Juozo Gruodžio baletą "Jūratė ir Kastytis". Kelbauskas taip pat kūrė šokius ir televizijoje, cirke, žydų teatre.
Pasak baleto vertintojų, B. Kelbausko kūryba buvo realistinės krypties, savo pastatymuose jis stengėsi išryškinti veikėjų charakteringuosius bruožus, nacionalinį koloritą. Šoko temperamentingai, plastiškai, klasikinį šokį derino su liaudies šokių elementais.
B. Kelbausko pedagoginio ir kūrybinio darbo dėka atsiskleidė garsių balerinų Genovaitės Sabaliauskaitės ir Tamaros Sventickaitės talentas, kitų baleto solistų individualybės.
B. Kelbauskas teatre dirbo iki 1973 metų. Mirė Vilniuje 1975 metų vasarą.