Керівник напряму вирівнювання в Anthropic публічно визнав «нерозв'язний» ризик надрозуму — інсайдери попереджають про «ставку на людські життя»

Керівник наукового напряму вирівнювання в Anthropic Evan Hubinger цього тижня в рідкісний спосіб публічно визнав, що всередині компанії щиро вірять у можливість того, що надрозум може протягом поточного десятиліття «вбити все людство», і наразі не існує чіткого рішення так званої «проблеми вирівнювання». Це стало найсвіжішим потрясінням зсередини компанії після оголошення дослідника Anthropic Джейкоба Коксона про його звільнення.

За даними ABC News Australia, Коксон прямо написав у соціальній мережі X, що вирішив піти після трьох років сукупної роботи над передвишколом у Anthropic та OpenAI, оскільки «жодна з компаній не діяла відповідально». Його дослівні слова: «Вони мчать уперед до самовдосконалювального надрозуму, ставлячи на наші життя».

Hubinger згодом відповів у X, що слова Коксона «правильні». Він написав: «Ми справді щиро віримо, що AI може вбити все людство! Особисто я вважаю, що ймовірність цього протягом наступного десятиліття перевищує 10%». У питанні технологічного шляху, від якого залежить як виживання компанії, так і доля людства, він водночас визнав: «Я вірю, що Anthropic робить усе можливе, але ми не маємо рішення проблеми вирівнювання надрозуму, і не йдемо чітким шляхом до нього».

Коксон — не поодинокий випадок. У липні цього року понад 1300 працівників Anthropic, OpenAI та інших провідних AI-компаній підписали публічну заяву, в якій попередили, що «розвиток можливостей може швидко випереджати нашу здатність розуміти чи контролювати системи, які ми створюємо», і закликали уряд США підтримати міжнародні зусилля для створення інструментів, здатних «свідомо контролювати темпи розробки передового AI». Ініціатива отримала назву «Pacing the Frontier».

Проте відповіді обох компаній на цей заклик залишилися на рівні принципів, а не конкретних дій. За даними ABC News Australia з посиланням на заяви обох компаній у X, Anthropic визнала, що її минуломісячне дослідження щодо «рекурсивного самовдосконалення» «вказує на потребу в інструментах для свідомого контролю темпів розробки передового AI, аби суспільство встигло підготуватися»; OpenAI ж розмито зазначила, що «ми віримо, що в якийсь момент у майбутньому прискорення розробки передових моделей може бути настільки високим, що світові знадобиться контролювати темпи прогресу AI». Жодна з компаній не взяла на себе зобов'язання призупинити розробки чи погодитися на зовнішнє регулювання з обов'язковою силою.

Відсутність регулювання дедалі відвертіше називають на міжнародному рівні. За даними ABC News Australia, Верховний комісар ООН з прав людини Volker Turk у понеділок у Женеві попередив, що передовий AI може становити для людства «екзистенційний ризик», і пообіцяв тиснути на відповідні компанії для зниження ризиків, перелічених його відомством — зокрема ударів по публічних послугах, комунікаціях та демократичних системах. Turk закликав «закріпити залізні гарантії» безпеки AI, «поки не стало запізно». «Я, як і інсайдери галузі, стурбований тим, що передовий AI може становити для людства екзистенційний ризик», — заявив він, виступаючи в установі ООН.

Суть «проблеми вирівнювання» полягає в тому, що AI-система, яка перевершує людські можливості, може не поділяти людських цінностей. На тлі того, що на федеральному рівні у США досі не створено регуляторної рамки з обов'язковою силою для передового AI, інсайдери галузі нині найпрямолінійнішим чином визнають: розподіл ризиків і вигод у цій гонці — несиметричний — винагороди закріплюються за компаніями, а ціна може лягти на всіх.