Władza i polityka

Szef ds. alignmentu w Anthropic publicznie przyznaje do „nierozwiązywalnego" ryzyka superinteligencji, branża ostrzega, że „stawia na ludzkie życie"

Szef naukowy ds. alignmentu w Anthropic, Evan Hubinger, publicznie przyznał, że firma wewnętrznie szczerze wierzy, iż superinteligencja może w ciągu bieżącej dekady zabić całą ludzkość, oraz że obecnie nie istnieje rozwiązanie tego problemu. Tymczasem ponad 1300 byłych pracowników czołowych firm AI podpisało się pod ostrzeżeniem o ryzyku utraty kontroli, lecz ani Anthropic, ani OpenAI nie zobowiązały się do wstrzymania prac badawczych ani do przyjęcia wiążącego nadzoru zewnętrznego. Wysoki Komis

5 wyświetleńZaloguj się, aby zapisać
TRUTH ERA

Evan Hubinger, szef naukowy ds. alignmentu w Anthropic, w tym tygodniu w rzadko spotykany sposób publicznie przyznał, że firma wewnętrznie szczerze wierzy, iż superinteligencja może w ciągu bieżącej dekady „zabić całą ludzkość", oraz że obecnie nie istnieje jasne rozwiązanie tak zwanego „problemu alignmentu". To najnowsze trzęsienie ziemi z wewnątrz firmy, po tym jak badacz Anthropic Jacob Coxon ogłosił swoje odejście.

Według doniesień ABC News Australia, Coxon na platformie społecznościowej X stwierdził wprost, że po przepracowaniu w sumie trzech lat nad badaniami z zakresu pretrenowania w Anthropic i OpenAI zdecydował się odejść, ponieważ „żadna z tych firm nie postępuje odpowiedzialnie". Jego dokładne słowa brzmiały: „Pędzą na złamanie karku w kierunku samodoskonalącej się superinteligencji, stawiając na nasze życie".

Hubinger odpowiedział następnie na X, że Coxon ma „rację". Napisał: „Rzeczywiście szczerze wierzymy, że AI może zabić całą ludzkość! Osobiście uważam, że prawdopodobieństwo tego w ciągu najbliższych dziesięciu lat przekracza 10%". W kwestii ścieżki technologicznej, od której zależy przetrwanie firmy i losy ludzkości, przyznał jednocześnie: „Wierzę, że Anthropic robi, co w jego mocy, ale nie mamy rozwiązania problemu alignmentu superinteligencji ani nie podążamy jasno wytyczoną drogą do takiego rozwiązania".

Coxon nie jest odosobniony. W lipcu tego roku ponad 1300 pracowników z Anthropic, OpenAI oraz innych czołowych firm AI podpisało się pod otwartym oświadczeniem, ostrzegając, że „rozwój zdolności może szybko wyprzedzić naszą zdolność rozumienia lub kontrolowania tworzonych przez nas systemów", oraz wzywając rząd USA do wsparcia międzynarodowych wysiłków na rzecz stworzenia narzędzi pozwalających „świadomie kontrolować tempo rozwoju czołowej AI". Inicjatywa otrzymała nazwę „Pacing the Frontier".

Jednak odpowiedzi obu firm na wspólny list pozostały na poziomie zasad, a nie konkretnych zobowiązań do działania. Według ABC News Australia, powołującego się na oświadczenia obu firm na platformie X, Anthropic przyznało, że jego ubiegłomiesięczne badania dotyczące „rekurencyjnego samodoskonalenia" „wskazują na potrzebę narzędzi do świadomego kontrolowania tempa rozwoju czołowej AI, aby społeczeństwo mogło się przygotować". OpenAI natomiast w niejasny sposób stwierdziło, że „wierzymy, że w pewnym momencie w przyszłości przyspieszenie rozwoju czołowych modeli przez AI może być na tyle wysokie, że świat będzie musiał kontrolować tempo postępu AI". Żadna z firm nie zobowiązała się do wstrzymania prac badawczych ani do przyjęcia wiążącego nadzoru zewnętrznego.

Brak regulacji jest coraz bardziej bezpośrednio wskazywany na forum międzynarodowym. Według ABC News Australia, Wysoki Komisarz ONZ ds. Praw Człowieka Volker Turk ostrzegł w poniedziałek w Genewie, że zaawansowana AI może stanowić dla ludzkości „ryzyko egzystencjalne", i zapowiedział wywieranie presji na odpowiednie firmy w celu ograniczenia ryzyk wymienionych w jego biurze — w tym wpływu na usługi publiczne, komunikację i systemy demokratyczne. Turk wezwał do wykucia „żelaznych zabezpieczeń" dla bezpieczeństwa AI, „zanim będzie za późno". „Podzielam obawy osób z wewnątrz branży, że zaawansowana AI może stanowić dla ludzkości ryzyko egzystencjalne" — powiedział, przemawiając w organie ONZ.

Istota „problemu alignmentu" polega na tym, że system AI wykraczający poza ludzkie możliwości może nie podzielać ludzkich wartości. W kontekście braku wiążących ram regulacyjnych dla czołowej AI na poziomie federalnym w USA, osoby z wewnątrz branży przyznają teraz w najbardziej dosłowny sposób: rozkład ryzyk i korzyści w tym wyścigu nie jest symetryczny — zyski są zamknięte w firmach, a koszty mogą spaść na wszystkich.

Komentarze

0

Brak komentarzy. Rozpocznij dyskusję.