Anthropic провела всесторонний анализ более 300 тысяч анонимных диалогов и пришла к выводу, что чат-бот Claude изменяет тон своих ответов в зависимости от языка, на котором он используется. Это исследование показывает, что модель может принимать различные нюансы общения, варьируясь от более осторожных, прямых, дружелюбных до подробных подходов, в зависимости от языка.
Поведение Claude на португальском языке
В частности, на португальском языке модель демонстрирует заметную склонность предоставлять более технические ответы, ориентированные на выполнение задачи. Основываясь на более чем 15 тысячах взаимодействий, анализ Anthropic выявил небольшие положительные тенденции, связанные со Строгостью, Выполнением, Осторожностью и Глубиной. Наблюдаемые закономерности включают способность улучшать и исправлять детали даже без явного запроса, предлагать дополнительную информацию или пути, а также включать творческие элементы или дополнительный контекст в свои ответы.
Методология лингвистического сравнения
Для измерения различий между языками исследователи структурировали поведение Claude по четырем основным осям. Ось Отстраненности или Осторожности оценивает, склонен ли модель подтверждать идеи пользователя или принимает более осмотрительную позицию, предупреждая о рисках и ограничениях. Ось Симпатии или Строгости сравнивает более приветливые ответы с теми, которые отдают приоритет точности, фактической корректности и прозрачности. Ось Глубины или Краткости определяет, предпочитает ли чат-бот разрабатывать обширные объяснения или поддерживать краткие и объективные ответы. Наконец, ось Честности или Выполнения наблюдает, признает ли Claude свои ограничения или сосредоточен на предоставлении готового и уверенного решения.
Исследование подчеркивает, что восприятие качества может кардинально меняться; например, два человека, запрашивающие отзыв о том же бизнес-плане, один на хинди, а другой на русском, могут иметь разные впечатления из-за ценностей, выраженных Claude в каждой оценке. Кроме того, результаты могут различаться между различными версиями модели, такими как Opus 4.7, который имеет тенденцию быть более строгим и осторожным по сравнению с другими итерациями.
Наблюдаемые различия в других языках
При сравнении с другими языками различия становятся более очевидными. Английский был классифицирован как более осторожный и ориентированный на глубину, демонстрируя тенденцию оспаривать неверные предпосылки и запрашивать больше доказательств. Хинди продемонстрировал наибольшую склонность к симпатии, генерируя более легкие, ободряющие и юмористические ответы. Арабский больше ассоциировался с отстраненностью и краткостью, используя более вежливый язык, адаптированный к эмоциональному состоянию собеседника. Русский выделился своей строгостью, предоставляя более аналитические и прямые ответы. Голландский показал большую склонность к честности, чаще признавая ограничения, в то время как индонезийский оказался более ориентированным на выполнение, отдавая приоритет завершению задачи.
Гипотезы и дальнейшие шаги
У Anthropic пока нет окончательного объяснения происхождения этих вариаций. Одной из возможных причин, указанных в исследовании, является наличие меньших или более концентрированных баз данных определенных типов текстов для некоторых языков. Другой рассматриваемый фактор — влияние культурной адаптации и отражение внутренних характеристик этих языков. Тем не менее, компания подчеркивает, что исследование не различает региональные вариации в рамках одного и того же языка, например, португальский, на котором говорят в Бразилии или Португалии, что отражает местные обычаи. Компания планирует продолжать отслеживать эти изменения с целью в будущем выявить корреляции между профилями ценностей и проблемным поведением. Стоит отметить, что в предыдущих исследованиях Claude уже демонстрировал меньшую готовность помогать в преступных схемах или быть снисходительным к сомнительному поведению пользователей.
