Anthropic 정렬 책임자 "해결책 없는" 초지능 위험 공개 인정, 업계 "인간 생명에 내기" 경고

Anthropic 정렬 과학 책임자 Evan Hubinger가 이번 주 보기 드물게 공개적으로 인정했다. 회사가 진심으로 초지능이 향후 10년 내에 "전 인류를 죽일" 수 있으며, 이른바 "정렬 문제"에 대한 명확한 해결책이 현재로서는 없다고. 이는 Anthropic 연구원 Jacob Coxon의 퇴사 발표 이후 기업 내부에서 나온 최신 충격이다.

ABC News Australia 보도에 따르면, Coxon은 소셜 미디어 X에서, Anthropic과 OpenAI에서 누적 3년간 사전훈련 연구에 종사한 후 떠나는 이유를 "두 회사 모두 책임감 있게 행동하지 않았다"고 직설적으로 밝혔다. 그의 원문은 다음과 같다. "그들은 자기 개선 초지능을 향해 일직선으로 돌진하고 있으며, 내기하고 있는 것은 우리의 생명이다."

이후 Hubinger은 X에서 Coxon의 발언이 "정확하다"고 응답했다. 그는 이렇게 적었다. "우리는 진심으로 AI가 전 인류를 죽일 수 있다고 믿습니다! 저는 개인적으로 향후 10년 내에 발생할 확률이 10%를 넘을 것으로 생각합니다." 기업의 생존과 인류 운명이 걸린 기술 노선 문제에 대해, 그는 동시에 인정했다. "저는 Anthropic이 최선을 다하고 있다고 믿지만, 우리는 초지능 정렬 문제에 대한 해결책을 아직 갖고 있지 않으며, 그 해결책으로 향하는 명확한 길도 걸어가고 있지 않습니다."

Coxon은 유일한 사례가 아니다. 지난 7월, Anthropic, OpenAI 및 기타 최첨단 AI 회사의 직원 1300명 이상이 공동 성명에 서명해 "능력 발전이 우리가 이해하거나 통제하는 시스템의 능력을 빠르게 추월할 가능성이 있다"고 경고하고, 미국 정부에 국제적 노력을 지원해 "최첨단 AI 개발 속도를 의식적으로 통제할 수 있는 도구"를 마련할 것을 촉구했다. 이 행보는 "Pacing the Frontier"라는 이름을 붙였다.

그러나 두 회사의 연대 서명에 대한 대응은 모두 원칙적 차원에 머물렀을 뿐, 구체적 행동 약속은 아니었다. ABC News Australia가 두 회사의 X 플랫폼 성명을 인용한 바에 따르면, Anthropic은 지난달 발표한 "재귀적 자기 개선"에 관한 연구가 "사회가 준비할 수 있도록 최첨단 AI 개발 속도를 의식적으로 통제하는 도구가 필요함을 가리킨다"고 인정했고, OpenAI는 막연하게 "우리는 미래의 어느 시점에, 최첨단 모델 개발의 AI 가속이 매우 높아져서 세계가 AI 진보 속도를 통제해야 할 필요가 있을 것이라 믿는다"고 밝혔다. 두 회사 모두 개발 중단이나 구속력 있는 외부 규제 수용을 약속하지 않았다.

규제 부재가 국제 무대에서 점점 더 직접적으로 지적되고 있다. ABC News Australia 보도에 따르면, UN 인권 고등판무관 Volker Turk는 월요일 제네바에서, 첨단 AI가 인류에 "실존적 위험"을 구성할 수 있다고 경고하며, 공공 서비스, 통신 및 민주주의 체계에 대한 충격을 포함해 자신의 사무국이 제시한 위험을 줄이기 위해 관련 회사에 압력을 행사하겠다고 다짐했다. Turk는 "때가 늦기 전에" AI 안전을 위해 "강철 같은 보장"을 마련할 것을 촉구했다. "저는 업계 내부 인사들과 마찬가지로 첨단 AI가 인류에 실존적 위험을 구성할 수 있다는 점에 우려를 갖고 있습니다"라고 그는 UN 기구에서 발언했다.

"정렬 문제"의 본질은 이렇다. 인간의 능력을 초월하는 AI 시스템이 인간의 가치를 공유하지 않을 수 있다는 점이다. 미국 연방 차원에서 아직 최첨단 AI에 대한 구속력 있는 규제 프레임워크가 마련되지 않은 가운데, 업계 내부는 이제 가장 직설적인 방식으로 인정하고 있다. 이 경쟁의 위험과 보상의 분포는 비대칭적이며, 수익은 기업이 확보하고 비용은 모든 사람에게 돌아갈 수 있다는 것이다.