Команда OpenAI считает, что для защиты человечества от риска случайного создания чего-то, способного его уничтожить, необходим аналог Международного агентства по атомной энергии (МАГАТЭ).
В короткой заметке, опубликованной на сайте компании, соучредители Грег Брокман и Илья Суцкевер, а также исполнительный директор Сэм Альтман призвали к началу работы над инспекцией, аудитом и соответствию стандартам безопасности, чтобы снизить риск, который могут представлять ИИ.
«Можно предположить, что в течение следующих 10 лет системы ИИ превзойдут уровень квалификации экспертов в большинстве областей и будут выполнять столько же продуктивной деятельности, сколько одна из крупнейших современных корпораций. С точки зрения как потенциальных плюсов, так и минусов сверхинтеллект будет более мощным, чем другие технологии, с которыми человечеству приходилось сталкиваться в прошлом. Мы можем иметь значительно более процветающее будущее; но для этого нам придется управлять рисками. Учитывая возможность экзистенциального риска, мы не можем просто реагировать», – говорится в обращении
В более краткосрочной перспективе разработчики призвали к «определенной степени координации» между компаниями, работающими на передовой исследований в области ИИ, чтобы гарантировать, что разработка все более мощных моделей будет плавно интегрироваться в общество, уделяя при этом первостепенное внимание безопасности.
Такая координация может осуществляться, например, через проект под руководством правительства или через коллективное соглашение об ограничении роста возможностей ИИ.
Как отмечает The Guardian, исследователи предупреждают о потенциальных рисках сверхинтеллекта уже на протяжении десятилетий. Базирующийся в США Центр безопасности ИИ (CAIS), который работает над «снижением рисков искусственного интеллекта в масштабах общества», описывает восемь категорий «катастрофических» и «экзистенциальных» рисков, которые может представлять развитие ИИ. Причем уничтожение человечества далеко не единственный.
Например, вариант в котором системам ИИ добровольно передается все больше труда, может привести к тому, что человечество «потеряет способность к самоуправлению и станет полностью зависимым от машин», что называется «ослаблением». При этом небольшая группа людей, контролирующих мощные системы, может «сделать ИИ централизующей силой», что приведет к «фиксации ценностей» – вечной кастовой системе между управляемыми и управляющими.
Однако лидеры OpenAI верят, что дальнейшее развитие мощных систем стоит риска. А в остальном – «люди во всем мире должны демократическим путем определять границы и значения по умолчанию для систем ИИ», правда при этом признают, что «еще не знают, как разработать такой механизм».
