ИИ может уничтожить человечество
Axios сообщает, что Джейкоб Коксон ушёл 8 сентября с должности исследователя ИИ в компании Anthropic – именно для того, чтобы публично забить тревогу. Вскоре после ухода из компании он опубликовал своё предупреждение в X.
«Люди, которые создают ИИ, всерьёз считают, что к концу десятилетия он может убить всех нас. Это не маркетинговый трюк. Более того, многие руководители и старшие исследователи в прессе будут формулировать свои мысли так, чтобы звучать рассудительно, – но в частных разговорах я слышу от тех же людей, что они испытывают страх. Ни одна другая деятельность человека не представляет собой опасности такого масштаба», – написал Коксон.
Двое его бывших коллег поддержали его в той же ветке. Эван Хубингер, возглавляющий направление исследований по согласованию ИИ (alignment) в Anthropic, написал: «Джейкоб здесь прав – мы действительно всерьёз считаем, что ИИ может уничтожить всё человечество! Лично я оцениваю вероятность этого в течение следующего десятилетия более чем в 10%. Я считаю, что Anthropic делает всё возможное, но у нас пока нет плана, позволяющего решить проблему согласования со сверхразумом, и мы не можем сказать, что уверенно движемся к её решению».
Сэмюэл Маркс, руководитель направления масштабируемого надзора (scalable oversight) в Anthropic, добавил свою оценку: «Разработчики ИИ считают, что их технология может привести к вымиранию человечества (или к столь же катастрофическим последствиям). Это может произойти в ближайшие несколько лет. В целом, чем выше должность сотрудника, тем сильнее его обеспокоенность».
Ведущие учёные OpenAI уже несколько раз предупредили: отрасль должна двигаться вперёд с «чрезвычайной осторожностью».
Однако не все воспринимают эти предупреждения безоговорочно. Критики отмечают, что обе компании заинтересованы в том, чтобы преувеличивать мощь и опасность своих продуктов: драматические заявления могут способствовать росту их оценочной стоимости и подталкивать регуляторов к принятию правил, которые будут выгодны уже состоявшимся игрокам и создадут дополнительные барьеры для новых конкурентов.
Комментариев нет:
Отправить комментарий