Страх того, что искусственный интеллект (ИИ) может привести к концу человечества, давно циркулирует в интернете, приобретая новую актуальность благодаря анализам и комментариям бывших сотрудников крупных корпораций отрасли. Кроме того, такие лидеры, как Сэм Альтман (OpenAI) и Дарио Амодей (Anthropic), неоднократно подчеркивали важность безопасности при разработке этой технологии.
Эван Хабингер, руководитель отдела тестирования согласованности в Anthropic, оценил, что вероятность того, что ИИ «убьет всех людей» до конца десятилетия, превышает 10%. Это заявление было сделано вскоре после того, как Джейкоб Коксон, исследователь той же компании, объявил об уходе и раскритиковал ускоренную конкуренцию между лабораториями в поисках все более сложных систем.
В публикации на платформе X Коксон заявил, что как Anthropic, так и OpenAI действуют безответственно в отношении присущих рисков развития ИИ, утверждая, что «они прямо бегут к сверхинтеллекту, который самосовершенствуется, ставя на кон наши жизни». Хабингер поддержал эту точку зрения, заявив: «Джейкоб прав — мы действительно верим, что ИИ может убить всех людей! Я лично считаю, что это более 10% в следующем десятилетии».
Артур Игрея, специалист по технологиям и инновациям, поставил под сомнение методологию этого процента, запросив детали о том, как Хабингер пришел к расчету в 10%. Игрея выразил большее беспокойство по поводу ошибочных человеческих решений до конца десятилетия, аргументируя тем, что, хотя ИИ и несет риски, он по своей сути является продуктом человека.
Игрея уточнил, что с ростом возможностей ИИ он начинает разрабатывать новые модели или вносить корректировки, уменьшая вмешательство человека с течением времени, что вызывает беспокойство. Он предпочел опасаться людей, поскольку любое проблемное поведение ИИ в некоторой степени является отражением решений, принятых во время его разработки.
В другом аспекте Сэм Альтман подтвердил, что OpenAI не проведет IPO в 2026 году, назвав опасения по поводу безопасности и рисков технологий ИИ основной причиной отсрочки публичного размещения акций. Альтман подчеркнул совместную ответственность компаний сектора и правительств, утверждая, что экзистенциальные риски нельзя игнорировать ради прибыли или корпоративной гордыни, сосредоточив текущие усилия OpenAI на согласовании безопасности и государственном сотрудничестве.
Эта осторожность возникает на фоне растущего давления в Соединенных Штатах, где политики обеих партий требуют более строгого регулирования сектора ИИ. Предупреждения усилились после сообщений об автономных системах, которые вышли из-под контроля и проникли в другие платформы, а также после ухода обеспокоенных экспертов относительно направления развития технологии.
Дарио Амодей выступил за умеренность в скорости разработки самых передовых моделей, позиция, которую публично поддерживают Илон Маск и Альтман. Генеральный директор OpenAI также упомянул, что крупные компании сектора изучают коллективное соглашение для замедления темпов и концентрации усилий на смягчении сбоев.
Однако план Anthropic отличается: компания сохраняет намерение провести первичное размещение акций на финансовом рынке до конца 2026 года с потенциальными инвестициями от Nvidia. Артур Игрея напомнил об инциденте 2023 года, когда более тысячи человек потребовали шестимесячной приостановки разработки ИИ из-за его опасности, сожалея, что спустя более трех лет такого объединения не произошло.
Джон Парк, эксперт по ИИ и соучредитель AGI Inc., поднял дополнительный вопрос: что говорит сообщение компании о том, что ее технология чрезвычайно мощная и опасная, инвесторам и разработчикам политики? Парк отметил «естественную связь» между технологическим описанием и экономической ценностью, воспринимаемой рынком.
По словам Парка, когда компания подчеркивает преобразующую силу и беспрецедентные риски своих моделей, передаются три сообщения: исключительная способность технологии, ее огромный потенциал воздействия и возможность компании получить исключительную экономическую выгоду. Хотя эти моменты подкрепляются, он настаивает на необходимости различать силу, опасность и экономическую ценность.
Парк поддерживает требования безопасности для систем ИИ высокого риска, требуя оценки, прозрачности и контроля, когда модели могут нанести значительный ущерб. Однако он предупредил, что проблема возникает, когда нормативные стандарты отражают структуры и ресурсы крупнейших компаний сектора. По его мнению, регулирование должно быть пропорционально риску, а не размеру рынка компании.
Он предположил, что если глобальные стандарты будут диктоваться крупнейшими американскими компаниями в области ИИ, бразильские компании могут столкнуться с регуляторными и техническими издержками, разработанными для организаций с гораздо более большими ресурсами. Парк заключил, что центральная дискуссия включает два вопроса: слишком ли ИИ опасен для разработки, или он слишком опасен, чтобы позволить конкуренцию другим субъектам, что может привести к регулированию, которое, по иронии судьбы, затруднит появление новых конкурентов и увеличит внешнюю зависимость.
