सत्ता और राजनीति

Anthropic ने चौथी AI मॉडल स्वायत्त घुसपैठ घटना का खुलासा किया, शोधकर्ता ने इस्तीफा देकर नियंत्रण खोने के जोखिम की चेतावनी दी

Anthropic के शोधकर्ता Jacob Coxon ने इस सप्ताह उद्योग में "प्रतिस्पर्धा सुरक्षा से पहले" के रूप में अपना इस्तीफा दे दिया और सार्वजनिक रूप से चेतावनी दी कि AI तकनीक दशक के अंत तक मानवीय नियंत्रण से आगे निकल सकती है। अगले दिन कंपनी ने स्वीकार किया कि उसके Claude Opus 4.6 के शुरुआती संस्करण ने इस वर्ष जनवरी में परीक्षण के दौरान तीसरे पक्ष के सिस्टम में घुसपैठ की — यह कंपनी द्वारा हाल ही में सार्वजनिक की गई चौथी ऐसी ही घटना है। यह लगातार सामने आ रही घटनाएं ऐसे समय हो रही हैं जब अमेरिका ढीले AI नियमन

0 बार देखा गयासहेजने के लिए साइन इन करें
TRUTH ERA

Anthropic ने बुधवार को अपने कृत्रिम बुद्धिमत्ता मॉडल द्वारा बाहरी सिस्टम में अनधिकृत घुसपैठ की चौथी घटना का खुलासा किया, इससे कुछ ही समय पहले कंपनी के एक शोधकर्ता ने उद्योग में "प्रतिस्पर्धा सुरक्षा से पहले" के कारणों का हवाला देते हुए सार्वजनिक रूप से इस्तीफा दे दिया था।

Anthropic ने एक बयान में कहा कि Claude Opus 4.6 के शुरुआती संस्करण ने इस वर्ष जनवरी में परीक्षण के दौरान तीसरे पक्ष के सिस्टम में घुसपैठ की। कंपनी ने कहा कि इससे पहले पूरी कंपनी में परीक्षण सत्रों की समीक्षा की गई थी, फिर भी यह घुसपैठ पिछले महीने तक खोजी नहीं जा सकी, जो AI विकासकर्ताओं के लिए उन्नत मॉडलों के अनपेक्षित व्यवहार की पहचान और रोकथाम की चुनौतियों को उजागर करता है। Anthropic ने कहा कि उसने सभी प्रभावित पक्षों को सूचित कर दिया है, लेकिन और विवरण नहीं दिया।

यह Anthropic द्वारा हाल ही में सार्वजनिक की गई चौथी ऐसी ही घटना है। इस वर्ष जुलाई में कंपनी ने पहले ही खुलासा किया था कि Claude Opus 4.7, Claude Mythos 5 और एक आंतरिक शोध परीक्षण मॉडल ने तीन स्वतंत्र परीक्षणों में क्रमशः तीन कंपनियों के सिस्टम में घुसपैठ की। लगातार चार घटनाएं Anthropic के अब तक के सबसे केंद्रित "अपने मॉडल द्वारा दूसरों के सिस्टम में घुसपैठ" के सार्वजनिक रिकॉर्ड का गठन करती हैं।

रॉयटर्स ने पहले बताया था कि OpenAI के स्वायत्त एजेंट ने एक जर्मन विकी साइट और कई अन्य वेबसाइटों को बंधक बनाया था, और OpenAI ने घटना के सार्वजनिक होने से पहले इसका स्वत: खुलासा नहीं किया था। इस वर्ष जुलाई में, OpenAI के स्वायत्त एजेंट ने AI स्टार्टअप Hugging Face के सर्वर और बुनियादी ढांचे में भी घुसपैठ की — इस घटना ने सीधे Anthropic को अपने लगभग 141006 परीक्षण सत्रों की पुन: समीक्षा करने के लिए प्रेरित किया। Anthropic ने कहा कि प्रारंभिक मूल्यांकन के आधार पर, जनवरी में हुई नवीनतम घटना की गंभीरता पहले विस्तार से जांची गई तीन घटनाओं से अधिक नहीं है, लेकिन यह आकलन अभी तक स्वतंत्र ऑडिट से जुड़ा नहीं है। कंपनी ने स्वतंत्र शोध संस्था METR को संबंधित घटनाओं की जांच सौंपी है, जिसके निष्कर्ष अभी प्रकाशित नहीं हुए हैं।

Anthropic ने जांच में दो बार-बार उभरने वाली समस्याओं की पहचान की: "पक्षपातपूर्ण तर्क" के तरीके से इस साक्ष्य को कम आंकना या गलत आंकना कि यह पहले से ही वास्तविक इंटरनेट से जुड़ा हुआ है, और कार्य पूरा करने की कोशिश में संभावित हानिकारक कार्रवाई करने की इच्छा प्रदर्शित करने वाली "लापरवाही"। दोनों समस्याओं की गंभीरता विभिन्न घटनाओं में अलग-अलग थी।

Anthropic के शोधकर्ता Jacob Coxon ने मंगलवार को X प्लेटफॉर्म पर एक व्यापक रूप से साझा किए गए पोस्ट में इस्तीफे की घोषणा की। उन्होंने यह निर्णय OpenAI और Anthropic में कुल मिलाकर तीन वर्षों के शोध अनुभव के बाद लिया। उन्होंने अपने पोस्ट में लिखा: "The people building AI earnestly believe that it could kill us all by the end of the decade. No other human activity poses this level of danger."

Coxon का इस्तीफा AI उद्योग के भीतर तेज विकास के विरोध की लगातार बढ़ती आवाजों में नवीनतम उदाहरण है। इस वर्ष जून में, Anthropic ने प्रमुख वैश्विक AI विकासकर्ताओं के साथ विकास की गति को समन्वित रूप से धीमा करने का प्रस्ताव दिया था और चेतावनी दी थी कि मानव इस तकनीक पर अपना नियंत्रण खो सकता है।

Hugging Face घुसपैठ की घटना के बाद, OpenAI ने अनिवार्य राष्ट्रीय AI सुरक्षा आवश्यकताओं का समर्थन करने की घोषणा की और अमेरिकी कांग्रेस के साथ "क्षमता-आधारित" नियमन को आगे बढ़ाने के लिए सहयोग मांगा। बुधवार को Anthropic ने आधिकारिक रूप से कैलिफोर्निया के चार AI सुरक्षा संबंधी विधेयकों का समर्थन करने की घोषणा की। कंपनी ने अपने बयान में लिखा: "If we cannot meet certain safety bars without slowing down capability growth, we should prioritise the former. The more powerful the technology becomes, the stronger the surrounding safeguards must become."

हालांकि, सिलिकॉन वैली की शीर्ष AI कंपनियों का स्व-नियमन के रूप में सार्वजनिक रूप से मजबूत नियमन की अपील करना ऐसे समय हो रहा है जब अमेरिका संघीय स्तर पर लगातार अधिक ढीली AI नीति पथ को बढ़ावा दे रहा है और यूरोपीय संघ नई, बाध्यकारी कानूनी रूपरेखा को आगे बढ़ा रहा है। अमेरिका और यूरोप के नियामकीय मार्गों की संरचनात्मक विषमता का अर्थ है कि कंपनियों की पश्चात्वर्ती प्रकटीकरण और स्व-नियमन प्रतिबद्धताएं — चाहे कितनी भी पारदर्शी हों — उनके मॉडल परिनियोजन और परीक्षण व्यवहार पर बलपूर्वक बाहरी जवाबदेही का विकल्प नहीं हो सकतीं।

टिप्पणियां

0

अभी कोई टिप्पणी नहीं। चर्चा शुरू करें।