Современные системы искусственного интеллекта способны выполнять сложные задачи, выходя за рамки простого ответа на запросы. Приводится пример, когда ИИ обрабатывает 80 000 файлов и генерирует презентацию с графиками, изображениями и четким повествованием, либо создает детализированную 3D-сцену с помощью кода без использования специализированного программного обеспечения для рендеринга.
На мероприятии TechSparks 2026 Раджеш Шивани, руководитель отдела клиентского инжиниринга ИИ для цифровых аборигенов, стартапов и ИТ-компаний в Google Cloud, представил, как Gemini применяется в области голосового ИИ, автономных агентов и разработки программного обеспечения.
Его мастер-класс был посвящен тому, как предприятия могут перейти от использования ИИ для получения ответов к делегированию ему выполнения рабочих задач. Изначально инструменты ИИ набирали популярность благодаря чат-интерфейсам, отвечавшим на вопросы. Следующим этапом является агентный ИИ, который позволяет системам планировать задания, получать доступ к информации и использовать инструменты для действий от имени пользователя.
Раджеш объяснил, что «агент — это теперь всего лишь модель плюс каркас», описывая инфраструктуру вокруг модели, которая управляет памятью, контекстом, разрешениями и выполнением задач. Создание полезных агентов требует четырех компонентов: цели, четких инструкций, релевантных знаний и инструментов для применения этих знаний. Данные внутренней компании особенно важны, поскольку общецелевые модели могут не иметь доступа к специфическим процессам или информации о клиентах этой компании.
Шивани также рассказал об Открытом формате знаний Google (Open Knowledge Format, OKF), который призван предоставить организациям структурированный способ сделать информацию доступной для агентов ИИ.
Одним из ключевых демонстрационных примеров стало использование голосового ИИ. Система, разработанная для сингапурской компании Grab, помогала пассажирам и водителям координировать встречи в аэропорту, преодолевая языковые барьеры. Эта демонстрация показала, как голосовой ИИ может поддерживать взаимодействие более чем на 85 языках.
Другой пример продемонстрировал возможность ИИ озвучивать видео на английском языке на маратхи и малаялам, одновременно синхронизируя движения губ и мимику. Такие функции могут помочь компаниям в производстве многоязычных учебных материалов, маркетинговых видео и коммуникаций с клиентами с меньшим количеством производственных этапов.
Раджеш Шивани подчеркнул, что «голос становится новым пользовательским интерфейсом», указывая на растущую значимость голосового взаимодействия для клиентов и сотрудников.
Он также представил виртуального банковского помощника, созданного для розничного банковского обслуживания Citibank. В ходе демонстрации аватар ИИ объяснил варианты погашения срочного депозита и оформил продление после выбора клиентом 12-месячного срока.
Помимо голосовых функций, Шивани осветил инструменты Google для кодирования и кибербезопасности. Инструмент Antigravity помогает разработчикам создавать приложения, а CodeMender способен обнаруживать уязвимости в коде, генерировать исправления и тестировать их в песочнице.
В одной из демонстраций Gemini проанализировал 80 000 файлов из открытых архивов NASA, включая данные о погоде на Марсе и телеметрию вертолетов, и подготовил презентацию, используя предоставленный шаблон и руководящие принципы дизайна.
Другая демонстрация показала, как модель генерировала детализированную сцену библиотеки в 3D с использованием Python и NumPy, без необходимости в специализированном программном обеспечении для рендеринга или внешних ресурсах.
Для компаний, рассматривающих затраты на внедрение ИИ, Шивани отметил, что самый мощный модель не всегда необходим. Он пояснил, что «не нужно иметь передовую модель для всего», поскольку более простые задачи могут выполняться более быстрыми и менее затратными моделями.
По мере того как агенты берут на себя больше работы, предприятиям потребуется пересмотреть методы управления разрешениями, безопасностью, расходами и автоматизированной деятельностью. Шивани настоятельно призвал организации задуматься о будущем, в котором с их системами будут взаимодействовать агенты, а не только люди. Он предположил, что разработчики все чаще смогут выступать в роли менеджеров агентов, вместо того чтобы самостоятельно выполнять каждый шаг.
Главная задача заключается уже не просто в выборе способной модели ИИ, а в предоставлении агентам нужных знаний и инструментов, при этом обеспечивая надежное и безопасное выполнение ими задач.
