Глава направления выравнивания в Anthropic публично признал «нерешаемый» риск сверхинтеллекта, инсайдеры предупреждают о ставке на «человеческие жизни»

Руководитель направления выравнивания (alignment) в Anthropic Evan Hubinger на этой неделе сделал редкое публичное заявление, признав, что внутри компании действительно верят: сверхинтеллект способен в течение текущего десятилетия «убить всё человечество», а какого-либо ясного решения так называемой «проблемы выравнивания» на данный момент не существует. Это стало новым потрясением изнутри компании после того, как исследователь Anthropic Jacob Coxon объявил об уходе.

По сообщению ABC News Australia, Coxon в социальной сети X прямо заявил, что после трёх лет работы в области предобучения в Anthropic и OpenAI он решил уйти, потому что «ни одна из компаний не действует ответственно». Его дословные слова: «Они несутся к самоулучшающемуся сверхинтеллекту, ставя на кон наши жизни».

Hubinger впоследствии ответил в X, что слова Coxon «верны». Он написал: «Мы действительно всерьёз считаем, что ИИ способен убить всё человечество! Лично я оцениваю вероятность этого в ближайшие десять лет более чем в 10%». По вопросу о техническом курсе, от которого зависят выживание компании и судьба человечества, он также признал: «Я верю, что Anthropic делает всё возможное, но у нас нет решения проблемы выравнивания сверхинтеллекта, и мы не находимся на ясном пути к такому решению».

Coxon — не единичный случай. В июле этого года более 1300 сотрудников Anthropic, OpenAI и других передовых ИИ-компаний подписали публичное заявление, предупреждающее, что «развитие способностей может быстро обогнать нашу способность понимать или контролировать создаваемые системы», и призвавшее правительство США поддержать международные усилия по созданию инструментов, способных «осознанно контролировать темпы разработки передового ИИ». Инициатива получила название «Pacing the Frontier».

Однако ответы обеих компаний на обращение остались на уровне принципов, а не конкретных обязательств. По данным ABC News Australia со ссылкой на заявления обеих компаний в X, Anthropic признала, что опубликованное в прошлом месяце её исследование о «рекурсивном самоулучшении» «указывает на необходимость инструментов осознанного контроля темпов разработки передового ИИ, чтобы общество могло подготовиться»; OpenAI же высказалась размыто: «Мы верим, что в какой-то момент в будущем ускорение разработки передовых моделей ИИ может стать настолько высоким, что миру потребуется контролировать скорость прогресса ИИ». Ни одна из компаний не взяла на себя обязательств приостановить разработки или принять обязательное внешнее регулирование.

Отсутствие регулирования всё прямее называется на международных площадках. По сообщению ABC News Australia, Верховный комиссар ООН по правам человека Volker Turk в понедельник в Женеве предупредил, что передовой ИИ может представлять для человечества «экзистенциальный риск», и поклялся оказывать давление на соответствующие компании для снижения рисков, перечисленных в его ведомстве, — включая удары по системам общественных услуг, связи и демократии. Turk призвал «выковать железные гарантии» безопасности ИИ «до того, как станет слишком поздно». «Я, как и инсайдеры отрасли, обеспокоен тем, что передовой ИИ способен представлять экзистенциальный риск для человечества», — заявил он в женевском учреждении ООН.

Суть «проблемы выравнивания» в следующем: ИИ-система, превосходящая человека по возможностям, может не разделять человеческих ценностей. В условиях, когда на федеральном уровне в США ещё не создана обязательная регуляторная база для передового ИИ, инсайдеры отрасли сегодня самым прямым образом признают: распределение рисков и выгод в этой гонке несимметрично — выгоды закрепляются за компаниями, а издержки могут лечь на всех.