Дэвид Робинсон, покинувший OpenAI, выразил обеспокоенность текущей культурой индустрии искусственного интеллекта, как подробно описано в редакционной статье, опубликованной в The Atlantic на этой неделе. Его мнение актуально, поскольку Робинсон отвечал за подготовку отчетов по безопасности, прилагаемых к крупным выпускам моделей ИИ, разработанных OpenAI, создателем ChatGPT.
По мнению Робинсона, проблема, с которой сталкивается сектор, очень серьезная, до такой степени, что простое регулирование — то есть создание стандартов для обучения моделей ИИ — не является полным решением. Он утверждал, что искусственный интеллект нуждается в защите, эквивалентной защите ядерных установок.
ИИ требует мер безопасности уровня атомной станции
Робинсон заявил, что, учитывая существующие риски, передовые лаборатории должны функционировать с той же осторожностью, что и атомные электростанции или очень загруженные аэропорты. Это подразумевает наличие нескольких уровней резервирования и тщательного, длительного планирования, направленного на предотвращение того, чтобы человеческая ошибка, хотя и предсказуемая, привела к катастрофе.
Он раскритиковал атмосферу Кремниевой долины, описав ее как работающую с «чрезмерной уверенностью» и «вечными спринтами». По словам Робинсона, такой подход заставляет отрасль создавать все более крупные и продвинутые модели под «безграничным оптимизмом», игнорируя или преуменьшая потенциальные проблемы.
Кроме того, Робинсон предположил, что крайне важно, чтобы компании, занимающиеся ИИ, развивали чувство скромности и расширяли свое видение за пределы ограниченной технологической экосистемы, которая доминирует менталитетом «действуй быстро и ломай вещи».
Это предупреждение Робинсона прозвучало после того, как ряд специалистов и исследователей по безопасности покинули свои должности в ведущих компаниях в области ИИ. Джейкоб Коксон был одним из первых, кто ушел из Anthropic. Его коллега, Эван Хабингер, написал в X/Twitter, что ИИ «может убить нас всех до конца десятилетия».
Хабингер добавил свое личное убеждение, что существует более чем 10%-ный шанс, что ИИ вызовет гибель всех в ближайшие десять лет, признавая усилия Anthropic, но указывая, что четкого плана по решению проблемы согласования сверхинтеллекта еще нет.
После ухода Коксона появились другие предупреждения от Роберта О'Каллахана, Била Чуттаи и Джоша Энгельса, оба из Google DeepMind, а также Джо Бентона из Anthropic. Новость о том, что компаниям ИИ нужны правила, подобные правилам атомных электростанций, по словам бывшего сотрудника OpenAI, была первоначально опубликована в Olhar Digital.