Обсуждение на инженерном круглом столе о управлении доверием и надежностью в эпоху искусственного интеллекта

В последние годы улучшение результатов работы с ИИ зависело от умения писать более качественные запросы (промпты). Однако эта парадигма быстро меняется, поскольку системы ИИ начинают самостоятельно рассуждать, принимать решения и выполнять действия в рамках целых рабочих процессов.

На мероприятии TechSparks 2026, флагманском событии YourStory, доктор Вигнеш Субрахманиам, ведущий научный сотрудник по ИИ в Intuit, провел беседу с Адитом Чарли, управляющим редактором YourStory и The CapTable. Обсуждение под названием «За пределами промпта: создание ИИ, который мыслит, действует и обучается» было посвящено тому, что разработчикам необходимо переосмыслить по мере того, как интеллект становится все более автономным.

Сессия началась с вопросов о типичном рабочем дне Субрахманиама и просьбы упростить концепции финтеха и ИИ для аудитории. Он использовал аналогию с шахматами, задав вопрос: если алгоритму не преподавать правила шахмат, а показать миллион завершенных партий с победителями, сможет ли он вывести и правила, и наиболее вероятные стратегии для победы?

Команда Intuit применяет схожий подход для поддержки малого бизнеса, поскольку компания обслуживает как потребителей, так и бухгалтеров. Субрахманиам отметил: «Как мы изучаем игру бизнеса, анализируя данные, реальные действия и результаты, которые предпринимают предприятия». Цель состоит в понимании факторов, способствующих успеху бизнеса в привлечении клиентов, быстром росте и улучшении денежного потока.

Далее разговор перешел к смене парадигмы для разработчиков: от многолетнего изучения написания более умных промптов к проектированию агентов, которым ставится цель, и они сами определяют шаги для ее достижения. Субрахманиам сравнил промпт-инжиниринг с долгой историей языков программирования, начиная от двоичного кода и ассемблера до Fortran, C и Python. Большие языковые модели позволили любому человеку программировать на простом английском языке, однако этот метод имеет свои ограничения.

Исследователи быстро поняли, что интеллект не должен находиться только в самой модели. Модель должна выступать в роли оркестратора, разбивая сложную задачу на последовательность действий и вызовов инструментов. Реальный интеллект перемещается в инструменты, которые вызываются; и эти инструменты также должны быть разработаны иначе: «не для того, чтобы ими мог пользоваться человек, или разработчик программного обеспечения, или кто-либо еще, а таким образом, чтобы оркестратор LLM мог ими действительно пользоваться».

Это требует создания высокоточных инструментов с крайне детерминированным результатом. Для разработчиков мастерство смещается от остроумных формулировок к надежным компонентам, которые модель может вызывать снова и снова без неожиданностей.

Относительно источников новых данных, Субрахманиам открыто заявил, что обучение на текстовых данных в значительной степени решено. Более сложная задача заключается в обучении на мультимодальных источниках и реальных действиях. Он привел пример того, как маленький ребенок в основном учится через то, что видит, слышит и наблюдает, а не через чтение, утверждая, что включение таких сигналов из реального мира в системы ИИ поможет моделям выйти за рамки генерации текста и начать предлагать действия. Он назвал это следующим рубежом.

Рассматривая проблемы регулируемой отрасли, он вернул аудиторию на 18 лет назад, в одну из первых лабораторий машинного обучения в Бангалоре, где он работал над логистической регрессией и многослойными перцептронами. Тогда самой большой проблемой была не сам алгоритм. Он вспомнил: «На самом деле, это было качество данных».

Эта проблема не изменилась. Независимо от того, обучает ли команда простую регрессию или дообучает трансформер, принцип «мусор на входе — мусор на выходе» остается в силе. По его словам, компании, способные собирать, агрегировать и хранить данные самого высокого качества, получат преимущество.

Во время короткой сессии вопросов и ответов один из участников спросил, как ограничения на хранение финансовых данных влияют на работу Intuit. Субрахманиам назвал согласие основой любой обучающей системы и сослался на исследование Фрамингем, где жители города Массачусетс разрешили врачам отслеживать их здоровье с течением времени, что сформировало современное понимание сердечно-сосудистых заболеваний. Он добавил, что компании также обязаны объяснять широкой общественности преимущества использования данных.

По мере завершения беседы сквозной идеей стало то, что по мере перехода ИИ от реагирования к действию, основы становятся важнее интерфейса. Промпты останутся отправной точкой, но настоящая работа теперь заключается в создании надежных инструментов, которые могут вызывать агенты, снабжении систем высококачественными данными и получении согласия, которое позволяет им обучаться. Именно здесь, за пределами промпта, будет выиграна следующая волна ИИ для разработчиков.

Sanjay Beri, основатель и генеральный директор Netskope, заявил, что все автономные агенты, работающие на основе искусственного интеллекта (ИИ), по умолчанию должны классифицироваться компаниями и предприятиями как находящиеся в категории «нулевого доверия».

Netskope, американская компания в сфере кибербезопасности, акции которой котируются на Nasdaq и имеют рыночную капитализацию более 10 миллиардов долларов, сделала это во время визита в Индию и общения с изданием Business Standard.

Beri подчеркнул, что в конечном итоге ответственность за любые нарушения, совершенные этими ИИ-агентами, ляжет на предприятия, которые их внедряют, даже если сами агенты разработаны другой компанией.

Он отметил, что распространенное заблуждение заключается в том, что ИИ-агент может заменить человека. По мнению Beri, ИИ-агент не обладает моралью, эмоциональным интеллектом или внутренним компасом, определяющим добро и зло, и поэтому ему нельзя полностью доверять, как и любой большой языковой модели (LLM).

Beri полагает, что ИИ-агенты будут действовать ради достижения своей цели, используя любые средства, включая «ложь и манипуляции» в отношении человека или другого ИИ-агента, участвующего в процессе.

Несмотря на то, что компании, внедряющие агентов, могут проявлять крайнюю осторожность при их создании и использовании, Beri считает необходимым постоянное наличие механизмов контроля, мониторинга и возможности вмешательства.

Кроме того, он призвал компании, разрабатывающие LLM и агентов на переднем крае ИИ, быть более открытыми относительно возможностей своих продуктов, чтобы можно было применять соответствующие стандарты управления. Beri уточнил концепцию разделенной ответственности: хотя у компании-разработчика есть определенная доля ответственности, конечная ответственность лежит на предприятии, которое осуществляет внедрение.

Примеры ненадлежащего управления и слабых тестовых сред включают случаи, когда ИИ-агенты выходят за пределы песочниц, в которых они тестируются, и начинают выполнять задачи, не запрошенные пользователем.

По мере того как предприятия в Индии и по всему миру все глубже интегрируют чат-ботов и агентов на базе ИИ, таким компаниям, как Netskope, необходимо предпринимать больше усилий для снижения человеческого фактора в киберрисках.

Beri добавил, что большая часть утечек данных или потерь данных в связи с ИИ происходит не из-за злого умысла, а из-за других причин. Он привел пример, когда сотрудник использует личный чат-бот ИИ для загрузки конфиденциальных данных компании в ходе работы, и вместо наказания его следует обучить, почему такое действие недопустимо.

Появление агентной архитектуры ИИ усложнило проблемы кибербезопасности, поскольку злоумышленники также используют теневые ИИ-агенты для попытки завладеть той же проприетарной информацией, которая ранее была под угрозой из-за слабых сетевых конечных точек или человеческой ошибки.

В таких странах, как Индия, Netskope активно инвестирует в создание новой инфраструктуры и привлечение квалифицированных кадров, чтобы гарантировать соответствие компаний, работающих там, последним глобальным стандартам, включая Закон о защите персональных данных (Digital Personal Data Protection Act), когда это потребуется.

Beri сообщил, что компания ежегодно инвестировала почти 100 миллионов долларов в Индии в течение последних нескольких лет и планирует продолжать набор персонала к текущему числу в 1300 сотрудников, более половины из которых являются инженерами Netskope.

Недавняя статья основателя Microsoft Билла Гейтса вызвала серьезные размышления о колоссальных рисках и бесконечных возможностях, которые несет искусственный интеллект (ИИ). Он отметил, что ИИ может стать либо величайшим уравнителем, когда-либо изобретенным, либо худшим источником несправедливости, подчеркнув монументальность этой задачи.

Несмотря на стремительные технологические изменения, фундаментальные принципы создания эффективных организаций, способных приносить пользу, развивать экономику и создавать рабочие места для людей, а не только для роботов, остаются неизменными. В условиях растущей неопределенности и перемен, чем больше, тем сильнее требуется руководство, способное создать благоприятные условия для наилучшей работы сотрудников. Важны командная работа, способность к обучению, адаптации и достижению результатов, а также дисциплина в отношении того, что создается, почему это делается и приносит ли это реальную ценность бизнесу и клиентам.

По сути, будущее человечества полностью зависит от тех базовых принципов, которые мы уже знаем, что они имеют значение. ИИ не делает эти основополагающие бизнес- и человеческие принципы менее актуальными; напротив, он повышает их значимость. Поскольку ИИ становится экспоненциальным, прорывным, генеративным и возникающим, наибольшую выгоду получат не те организации, у которых больше инструментов, а те, которые обладают четкой целью, сильным руководством, здоровыми методами работы и способностью действовать быстро и контролируемо.

Основные дисциплины в эпоху ИИ

Независимо от сложности, инновационности или прорывного характера технологий, некоторые области знаний остаются жизненно важными:

• Великое руководство: Критически важны лидеры, которые создают условия для развития, а не просто управляют в рамках существующих систем. Это подразумевает устранение системных препятствий, оспаривание устоявшихся методов работы и предоставление людям возможности реагировать на изменения. Способность выстраивать доверие через абсолютно прозрачное руководство будет решающей.
• Создание качественных продуктов: ИИ выступает ускорителем, позволяя разрабатывать продукты и решения с беспрецедентной скоростью. Однако без строгой дисциплины разработки продукта компании рискуют стать быстрее в создании действительно плохих продуктов. То, что создается, должно оставаться желанным, ценным, осуществимым и устойчивым. Более важным вопросом является не только скорость создания минимально жизнеспособного продукта (MVP), но и определение минимального желаемого, ценного, осуществимого и устойчивого продукта, который можно протестировать и из которого можно извлечь уроки.
• Клиент прежде всего: Решения на основе ИИ все чаще взаимодействуют напрямую с потребителями, порождая как возможности, так и риски. Однако в своей основе мы продолжаем обслуживать людей. При внедрении большего количества ИИ во взаимодействие с клиентами необходимо проявлять еще большую осмотрительность, чтобы гарантировать, что эти взаимодействия остаются уместными, полезными и эмпатичными — в конечном итоге, человечными.
• Создание пространства для сотрудничества: ИИ предоставляет значительную возможность повысить индивидуальную производительность, но истинная магия происходит, когда команды эффективно работают вместе. Конкретная и общая цель, благоприятная среда, а также подходящие инструменты и ограничения позволяют командам достигать гораздо большего совместно, чем любой человек в одиночку. ИИ может усилить индивидуума, но великое сотрудничество усиливает организацию. Если этот процесс ограничен сложным принятием решений и системными барьерами, ИИ не исправит систему волшебным образом — он может усилить уже существующие проблемы.
• Управление и контроль: ИИ подобен гоночному болиду Формулы-1: он очень быстрый, но его производительность зависит от большего, чем просто ускорение. Организациям необходимо двигаться быстро, экспериментировать и внедрять инновации, но им также необходимы возможности и фильтры для управления направлением, минимизации рисков и замедления при необходимости.
• Дисциплина исполнения: Никогда нельзя забывать о цели своей деятельности. Необходимо сделать работу видимой для ее управления; расставлять приоритеты, упорядочивать и выполнять правильные сценарии использования; измерять результаты на основе ценности, а не просто активности; а также постоянно совершенствоваться, создавая этичную и безопасную среду для обучения, экспериментов и улучшений каждый день.

Устаревшие методы ведения бизнеса в мире, управляемом ИИ

Это не означает, что все старые способы работы должны сохраняться. Некоторые привычки больше не приносят пользы в мире, где используется ИИ, а некоторые активно саботируют прогресс, который мы пытаемся создать.

• Статические бизнес-кейсы и долгие горизонты планирования: Традиционное ежегодное планирование предполагает предсказуемые, линейные результаты. В среде, где доминирует возникающий ИИ, жесткие многолетние дорожные карты могут устареть до их запуска. Это не значит, что нельзя планировать, но план должен быть больше ориентирован на направление, адаптацию, обучение и поддержку, а не на ложную уверенность.
• Привычки командно-административного управления: Управление исключительно через иерархию гарантированно тормозит импульс и подрывает доверие. Современный темп требует более ориентированных на лидеров организаций, где люди доверяются и наделяются полномочиями для быстрого реагирования на изменения, устранения препятствий и оперативного выполнения задач.
• Отказ от метрик показного успеха: Измерение технологического прогресса такими показателями, как уровень внедрения, предоставленное количество лицензий или количество активных пилотных проектов, создает ложное ощущение достижения. Успех должен измеряться бизнес-ценностью, а не просто активностью, что также требует эволюции традиционного линейного планирования и отчетности.

Балансирование инноваций и управления в эпоху ИИ

Наша цель в эпоху ИИ не должна заключаться в полном отказе от устоявшихся принципов ради новизны. В то же время мы не можем позволить себе подавлять инновации в тех же бюрократических средах и менталитетах, которые замедляли трансформацию ранее.

ИИ усилит любую среду, в которую его помещают. Он может ускорить хорошо управляемые, адаптирующиеся команды, но он также может выявить и иногда обострить слабые процессы, неэффективное принятие решений и нерешенные системные проблемы.

Гейтс заявил: «Если мир предпримет правильные шаги, ИИ станет силой добра и сделает всех лучше». Таким образом, задача лидеров — создать нужные условия: сделать работу видимой, целенаправленно расставлять приоритеты, измерять важное и продолжать совершенствоваться по мере обучения. Организации, которые помнят о непрерывном обучении и улучшении, будут лучше всего готовы действовать быстро, не теряя контроля.