Фамилия Байш, вероятно, образована от аналогичного прозвища, которое восходит к средненемецкому глаголу bischen - «успокаивать, качать на руках (ребёнка)». Исходя из этого, можно предположить, что основатель рода Байш часто нянчился с детьми. Согласно другой версии, Байш — это фонетический вариант еврейской фамилии-аббревиатуры Баш, образованной от выражения «бэн Шимон», то есть «сын Шимона». Наконец, возможно, что Байш — это вариант немецкой фамилии Байс (Beis), которая восходит к названию реки Байс. Она протекает в центральной части Германии, в регионе Восточный Гессен. В таком случае основатель рода Байш мог быть выходцем с берегов этой реки.