Сэм Альтман утверждает, что страх перед развитием ИИ оправдан, и выступает за культуру прозрачности
Подробнее
Olhar Digital
olhardigital.com.br

Сэм Альтман утверждает, что страх перед развитием ИИ оправдан, и выступает за культуру прозрачности

Сэм Альтман заявил, что мир прав в своем опасении неконтролируемого развития искусственного интеллекта, признав, что аварии могут быть неотъемлемой частью разработки новых технологий.

Во время конференции Dreamforce, организованной Salesforce, генеральный директор OpenAI выступил за внедрение культуры прозрачности. Эта культура должна позволять регистрировать, расследовать и извлекать уроки из любых негативных инцидентов.

Чтобы проиллюстрировать свою точку зрения, Альтман сослался на методы расследования авиационных происшествий, направленные на выявление сбоев и смягчение возникновения новых проблем. Он упомянул Федеральное управление гражданской авиации США (FAA) и Национальный совет по безопасности на транспорте (NTSB) как примеры, применимые к индустрии ИИ.

По словам Альтмана, хотя он считает, что определенный уровень аварий неизбежен при технологических инновациях, основной акцент должен быть сделан на создании превосходной культуры регистрации и изучения этих событий. Признание этой возможности не означает принятие катастроф, а скорее быстрое выявление того, что пошло не так, чтобы предотвратить обострение инцидента.

Среди рекомендуемых практик он подчеркнул необходимость обеспечения безопасности, мониторинга и согласованности систем ИИ, гарантируя, что они остаются под контролем и соответствуют установленным целям, даже при росте возможностей моделей.

На фоне растущих дискуссий о все более автономных системах ИИ исследователи безопасности предупреждают о таких рисках, как потенциальная потеря человеческого контроля и использование этих технологий для усиления кибернетических и биологических угроз. Альтман подтвердил эти крайние опасения, заявив: «Мир прав в том, чтобы бояться этого», ссылаясь на риск аварий, связанных с потерей контроля и централизацией власти в нескольких командах разработчиков.

Однако Альтман утверждает, что отказ от искусственного интеллекта не является подходящим решением. Если меры безопасности не могут быть реализованы, он предложил компаниям быть готовыми сократить или приостановить разработку. Его точка зрения вносит вклад в дебаты о темпах прогресса ИИ и опасностях, связанных с все более автономными моделями.

Для Альтмана путь вперед требует раскрытия инцидентов, тщательного анализа произошедшего и постоянного обучения на каждом случае, тем самым предотвращая более серьезные последствия, вызванные сбоями.

Похожие сюжеты

Эксперт Anthropic оценивает вероятность исчезновения человечества из-за ИИ в течение десяти лет в 10%
Подробнее
www.aajtak.in

Эксперт Anthropic оценивает вероятность исчезновения человечества из-за ИИ в течение десяти лет в 10%

В технологической индустрии разгорелась дискуссия после заявления Эвана Хубингера, специалиста по безопасности искусственного интеллекта в Anthropic. Он считает, что существует более чем 10% вероятность того, что в течение следующих десяти лет человечество может быть уничтожено благодаря развитию ИИ.

Эван Хубингер, который занимает должность руководителя по науке о выравнивании в Anthropic, выразил свою обеспокоенность будущим ИИ в своем посте. По его мнению, наибольшая опасность может возникнуть тогда, когда ИИ значительно превзойдет человеческий интеллект и начнет самостоятельно совершенствоваться.

Этот процесс называется рекурсивным самосовершенствованием. Если ИИ сможет улучшать себя без помощи человека и создавать более мощные версии сам, его возможности могут расти очень быстро. Хубингер отметил, что, хотя Anthropic работает над безопасностью ИИ, пока отсутствует надежное решение для полного контроля над будущей сверхинтеллектуальной системой.

Его заявление прозвучало на фоне ухода исследователя Anthropic Джейкоба Коксона, который также высказывал опасения относительно стремительной гонки ИИ-компаний. Коксон указывал на то, что компании активно развивают более мощные и самосовершенствующиеся системы, однако вопросы безопасности остаются не полностью решенными.

Важно отметить, что Хубингер не утверждает, что существующие модели, такие как ChatGPT, уничтожат людей в ближайшее десятилетие. Его беспокойство направлено на потенциал будущих сверхинтеллектуальных систем. Основной вопрос заключается в том, опережает ли безопасность темпы развития ИИ, стремящегося стать умнее.

Оценка Хубингера в 10% отражает эту растущую тревогу, которая теперь обсуждается не только вовне, но и внутри самих ИИ-компаний.

Популярное