Фамилия Караханян — армянская, но её основа тюркского происхождения. В армянской традиции фамилии, оканчивающиеся на «-ян», указывают на принадлежность к роду (по-армянски «азганун» — имя клана). То есть Караханян означает «из рода Караханов» или «потомок Карахана».

В основе фамилии лежит сложносоставное восточное имя Карахан. Оно распадается на две части: «кара» и «хан». «Кара» в тюркских языках — «чёрный», «тёмный», а также «вороной» (масть коня). «Хан» — титул верховного правителя или вождя племени, особенно распространённый у кочевых народов Ирана и Афганистана. Имя Карахан в разные эпохи носили реальные исторические личности, чаще всего правители тюркских государств, например Караханидского каганата.

В армянской среде имя Карахан могло закрепиться как прозвище или личное имя родоначальника. Вероятнее всего, основатель рода Караханян был человеком уважаемым, пользовался авторитетом, и его имя стало родовым знаком. При этом не стоит буквально понимать «хан» как указание на царское происхождение — в быту так могли назвать человека властного, справедливого или просто зажиточного. Фамилия распространена среди армян, исторически связанных с регионами, где тюркское влияние было особенно сильным: в Западной Армении, Нагорном Карабахе, а также среди армянской диаспоры, вышедшей из этих земель.