Фамилия Янкоиский — один из тех случаев, когда написание подсказывает больше, чем произношение. Сразу заметна необычная концовка: не «-ский», а «-иский». В русской ономастике суффикс «-иский» встречается реже, чем «-овский» или «-инский», и часто указывает на то, что фамилия образована от географического названия, оканчивающегося на «-и», «-ы» или «-ой». Если бы предки происходили из села Янково, фамилия звучала бы как Янковский. Форма Янкоиский намекает на топоним вроде Янкой, Янкои или Янкоя — возможно, название хутора, урочища или местечка на западе России, в Беларуси или на Украине, где встречаются подобные «икающие» окончания.

Основа «Янк-» восходит к имени Ян — западнославянской и южнославянской форме от Иван. В польском, чешском, белорусском и украинском языках Ян так же распространён, как Иван в русском. Уменьшительное Янко — это «Ваня», «Янек». Таким образом, прозвище Янко мог получить человек по имени Ян, а его потомки, переселившись в другое место, стали «людьми с Янкоя» или «из Янкои», что и закрепилось в фамилии с окончанием «-иский». Вторая версия, менее вероятная, но не исключённая: фамилия могла возникнуть от прозвища, данного по характерному говору или акценту (например, «якающему» произношению), но тогда логичнее ждать формы Якавский или Яковский.

Географически фамилия редкая. В современных базах данных она встречается единично, преимущественно на северо-западе России и в Беларуси. Это подтверждает версию о происхождении от небольшого локального топонима, который не сохранился на картах или существует только в местной памяти. Сословно носители такой фамилии, скорее всего, были крестьянами или мещанами: польская и белорусская шляхта часто носила фамилии на «-ский», но обычно от более крупных имений (Яновский, Янковский). Форма Янкоиский с «и» выглядит как народная адаптация — так могли записать фамилию в церковной книге или при переписи, когда писарь передал на слух местное произношение названия деревни Янкой.

Если коротко: фамилия Янкоиский — это указание на «человека из места Янкой», а само место названо по имени Ян (Иван). Искать корни стоит в западных областях России, в Беларуси или на востоке Польши, где топонимы с основой «Янк-» не редкость.