Фамилия Кельдыбай образована от аналогичного имени, состоящего из двух частей: «кельды» и «бай». Первая из них берет начало от древнетюркского глагола «кельды» со значением «пришел, родился». Вторая часть имени Кельдыбай восходит к древнетюркскому существительному «бай», то есть «господин, богатый человек». Таким образом, именование Кельдыбай можно трактовать как «родился хозяин». Имя Кельдыбай широко распространено у марийцев. Так, например, в Книге памяти Республики Марий Эл упоминаются Илья Афанасьевич Кельдыбай, родившийся в 1889 году в деревне Б.Ашламаш Ронгинского района Марийской АССР, Михаил Николаевич Кельдыбай, родившийся в 1907 году там же.