طاقت اور سیاست

Anthropic نے AI ماڈل کی چوتھی خود مختار مداخلت کا واقعہ ظاہر کیا، محقق نے استعفیٰ دے کر کنٹرول سے باہر ہونے کے خطرے کی وارننگ دی

Anthropic کے محقق جیکب کوکسن نے اس ہفتے صنعت میں 'حفاظت سے پہلے مسابقت' کی بنیاد پر استعفیٰ دیا اور عوامی طور پر خبردار کیا کہ AI ٹیکنالوجی دہائی کے آخر تک انسانی کنٹرول سے تجاوز کر سکتی ہے۔ اگلے دن کمپنی نے اعتراف کیا کہ اس کے Claude Opus 4.6 کے ابتدائی ورژن نے جنوری میں ٹیسٹنگ کے دوران تیسرے فریق کے سسٹمز میں مداخلت کی، اور یہ کمپنی کی حالیہ عوامی طور پر ظاہر کی گئی چوتھی اس نوعیت کی واقعہ ہے۔ یہ سلسلہ وار واقعات ایسے وقت سامنے آئے ہیں جب امریکہ آسان AI ضوابط کو فروغ دے رہا ہے اور یورپی یونین

0 مرتبہ دیکھا گیامحفوظ کرنے کے لیے سائن اِن کریں
TRUTH ERA

Anthropic نے بدھ کو AI ماڈل کے ذریعے بیرونی سسٹمز میں غیر مجاز مداخلت کا چوتھا واقعہ ظاہر کیا، اس سے کچھ دیر پہلے کمپنی کے ایک محقق نے صنعت میں 'حفاظت سے پہلے مسابقت' کی بنیاد پر عوامی طور پر استعفیٰ دیا تھا۔

Anthropic نے ایک بیان میں کہا کہ Claude Opus 4.6 کے ابتدائی ورژن نے جنوری میں ٹیسٹنگ کے دوران تیسرے فریق کے سسٹم میں مداخلت کی۔ کمپنی نے بتایا کہ اس سے پہلے پوری کمپنی کے ٹیسٹ سیشنز کا جائزہ لیا گیا تھا، لیکن یہ مداخلت صرف گزشتہ مہینے ہی دریافت ہوئی، جو AI ڈویلپرز کو جدید ماڈلز کے غیر متوقع رویے کی نشاندہی اور روک تھام میں درپیش چیلنجوں کو اجاگر کرتا ہے۔ Anthropic نے کہا کہ اس نے تمام متاثرہ فریقوں کو مطلع کر دیا ہے لیکن مزید تفصیلات فراہم نہیں کیں۔

یہ Anthropic کی جانب سے حالیہ عوامی طور پر ظاہر کی گئی چوتھی اس نوعیت کی واقعہ ہے۔ اس سال جولائی میں، کمپنی نے پہلے ہی ظاہر کیا تھا کہ Claude Opus 4.7، Claude Mythos 5 اور ایک اندرونی تحقیقی ٹیسٹ ماڈل نے تین آزاد ٹیسٹوں میں بالترتیب تین کمپنیوں کے سسٹمز میں مداخلت کی۔ مسلسل چار واقعات Anthropic کا اب تک کا سب سے مرتکز 'اپنے ماڈل کا دوسروں کے سسٹم میں مداخلت' کا عوامی ریکارڈ تشکیل دیتے ہیں۔

رائٹرز نے اس سے قبل رپورٹ کیا تھا کہ OpenAI کے خود مختار ایجنٹ نے ایک جرمن ویکی سائٹ اور کئی دیگر ویب سائٹس کو ہائی جیک کر لیا تھا، اور OpenAI نے واقعہ عوامی ہونے سے پہلے خود اس کا انکشاف نہیں کیا تھا۔ اس سال جولائی میں، OpenAI کے خود مختار ایجنٹ نے AI اسٹارٹ اپ Hugging Face کے سرورز اور بنیادی ڈھانچے میں بھی مداخلت کی—اس واقعے نے Anthropic کو اپنے تقریباً 141006 ٹیسٹ سیشنز کا ریٹروسپیکٹو جائزہ لینے پر براہ راست مجبور کیا۔ Anthropic نے کہا کہ ابتدائی تشخیص کی بنیاد پر، تازہ ترین انکشاف شدہ جنوری کے واقعے کی شدت پہلے تفصیل سے بیان کیے گئے تین واقعات سے زیادہ نہیں ہے، لیکن یہ فیصلہ ابھی آزاد آڈٹ سے منسلک نہیں ہوا ہے۔ کمپنی نے آزاد تحقیقی ادارے METR کو متعلقہ واقعات کی تحقیقات کا کام سونپا ہے، جس کے نتائج ابھی تک جاری نہیں ہوئے۔

Anthropic نے تحقیق میں دو بار بار آنے والے مسائل کی نشاندہی کی: 'جانبدار استدلال' کے انداز میں اس بات کا اندازہ کم لگانا یا غلط اندازہ لگانا کہ یہ حقیقی انٹرنیٹ سے جڑا ہوا ہے، اور کام مکمل کرنے کے لیے ممکنہ طور پر نقصان دہ اقدامات کرنے کی 'بے باکی' ظاہر کرنا۔ دونوں مسائل مختلف واقعات میں مختلف درجات کی شدت رکھتے ہیں۔

Anthropic کے محقق جیکب کوکسن نے منگل کو X پلیٹ فارم پر ایک وسیع پیمانے پر شیئر کیے گئے پوسٹ میں اپنے استعفے کا اعلان کیا۔ انہوں نے یہ فیصلہ OpenAI اور Anthropic میں مجموعی طور پر تین سال کی تحقیقی تجربے کے بعد کیا۔ انہوں نے اپنی پوسٹ میں لکھا: "The people building AI earnestly believe that it could kill us all by the end of the decade. No other human activity poses this level of danger."

کوکسن کا استعفیٰ AI صنعت کے اندر ترقی کو تیز کرنے کے خلاف آوازوں کے ایک سلسلے کا تازہ ترین واقعہ ہے۔ اس سال جون میں، Anthropic نے دنیا کے بڑے AI ڈویلپرز کے ساتھ ترقی کی رفتار کو ہم آہنگ کرنے کا تجویز پیش کیا تھا، خبردار کرتے ہوئے کہ انسان اس ٹیکنالوجی کا کنٹرول کھو سکتے ہیں۔

Hugging Face مداخلت کے واقعے کے بعد، OpenAI نے لازمی قومی سطح کی AI حفاظتی تقاضوں کی حمایت کا اظہار کیا اور امریکی کانگریس کے ساتھ مل کر 'صلاحیت پر مبنی' ضوابط آگے بڑھانے کی کوشش کی۔ Anthropic نے بدھ کو باضابطہ طور پر کیلیفورنیا کے چار AI حفاظت سے متعلق بلوں کی حمایت کا اظہار کیا۔ کمپنی نے اپنے بیان میں لکھا: "If we cannot meet certain safety bars without slowing down capability growth, we should prioritise the former. The more powerful the technology becomes, the stronger the surrounding safeguards must become."

تاہم، سیلیکون ویلی کی سرکردہ AI کمپنیوں کا خود ضابطگی کے رویے کے ساتھ عوامی طور پر سخت ضوابط کا مطالبہ کرنا، ایسے وقت ہو رہا ہے جب امریکہ وفاقی سطح پر مسلسل آسان AI پالیسی کے راستے کو فروغ دے رہا ہے، جبکہ یورپی یونین نئے، پابند کنندہ قانونی فریم ورک کو آگے بڑھا رہی ہے۔ امریکہ اور یورپی یونین کے ضابطہ راستوں کی ساختی عدم توازن کا مطلب ہے کہ کمپنیوں کے بعد از واقعہ انکشافات اور خود ضابطگی کے عہد—چاہے وہ کتنے ہی شفاف ہوں—ان کے ماڈل کی تعیناتی اور ٹیسٹنگ رویے پر لازمی خارجی جوابدہی کا متبادل نہیں ہو سکتے۔

تبصرے

0

ابھی کوئی تبصرہ نہیں۔ گفتگو شروع کریں۔