Фамилия Бильце — редкий пример, когда прозвище перешло в неизменную форму без типичных русских суффиксов -ов, -ин или -ский. Корень здесь украинский: слово «бильця» (уменьшительное от «бильце») означает невысокое ограждение по краям лестницы, балкона или мостика — те самые перила, за которые держатся рукой. Скорее всего, прозвище Бильце получил плотник или резчик по дереву, который специализировался именно на изготовлении таких фигурных перил и балясин. В украинских говорах слово «бильце» могло также обозначать спинку кровати или скамьи, так что ремесло предка могло быть шире — работа с мебелью и внутренней отделкой дома.

Сама форма фамилии — на -це — необычна для русского уха, но органична для украинской ономастики, где прозвища в среднем роде (типа «Коцюбинське», «Віконце») иногда закреплялись как фамилии без дополнительных суффиксов. Встречается Бильце преимущественно в западных и центральных областях Украины, а также среди потомков украинских переселенцев на Кубани и в Сибири. В русских переписных книгах XVIII—XIX веков такая фамилия почти не фиксируется — это говорит о том, что её носители долго оставались в крестьянской или ремесленной среде украинских губерний, где и сложилась эта модель именования.