Оно ведет свое начало от тюркского «balci» — «продавец меда, пасечник». Согласно другой гипотезе, фамилия восходит к гидрониму Балжи — река в Монголии, богатая рыбой. В таком случае предок Балжи мог родиться или жить недалеко от этой реки.