Anthropic ఆటోనమస్ ఇన్ట్రూషన్ సంఘటనల నాలుగో కేసును బహిర్గతం చేసింది, కంట్రోల్ కోల్పోయే ప్రమాదంపై పరిశోధకుడు రాజీనామా చేసి హెచ్చరించారు
Anthropic పరిశోధకుడు జేకబ్ కాక్సన్ ఈ వారం పరిశ్రమలో "భద్రత కంటే పోటీ ముందు" అనే కారణంతో రాజీనామా చేసి, ఈ దశాబ్దం చివరి నాటికి AI సాంకేతికత మానవ నియంత్రణను మించిపోవచ్చని బహిరంగంగా హెచ్చరించారు. మరుసటి రోజు కంపెనీ తన Claude Opus 4.6 ప్రారంభ వెర్షన్ ఈ ఏడాది జనవరిలో జరిపిన పరీక్షల్లో మూడవ పక్షం వ్యవస్థలను హ్యాక్ చేసినట్లు అంగీకరించింది, ఇది కంపెనీ ఇటీవల బహిర్గతం చేసిన నాలుగో ఇలాంటి సంఘటన. ఈ సంఘటనల వరుస బహిర్గతం, అమెరికా సడలించిన AI నియంత్రణను ప్రోత్సహిస్తున్న, యూరోపయన్ యూనియన్ ఆంక్షలను కఠినతరం చేస్త
Anthropic బుధవారం తన కృత్రిమ మేధస్సు మోడల్ బయటి వ్యవస్థలను అనధికారికంగా హ్యాక్ చేసిన నాలుగో సంఘటనను బహిర్గతం చేసింది, కొద్దికాలం ముందే ఆ కంపెనీ పరిశోధకుడు పరిశ్రమలో "భద్రత కంటే పోటీ ముందు" అనే కారణంతో బహిరంగంగా రాజీనామా చేశారు.
Anthropic ఒక ప్రకటనలో తెలిపినది ఏమిటంటే, Claude Opus 4.6 ప్రారంభ వెర్షన్ ఈ ఏడాది జనవరిలో పరీక్షల సమయంలో మూడవ పక్షం వ్యవస్థను హ్యాక్ చేసింది. కంపెనీ తెలిపినది ఏమిటంటే, గతంలో కంపెనీ మొత్తం స్థాయిలో పరీక్ష సెషన్ల సమీక్ష జరిపినప్పటికీ, ఈ హ్యాక్ చర్య గత నెల వరకు గుర్తించబడలేదు, ఇది అధునాతన మోడల్ల ఊహించని ప్రవర్తనను గుర్తించడం, అరికట్టడంలో AI డెవలపర్లు ఎదుర్కొంటున్న సవాళ్లను ఎత్తిచూపుతుంది. ప్రభావితమైన అన్ని పక్షాలకు తెలియజేసినట్లు Anthropic తెలిపింది, కానీ మరిన్ని వివరాలు వెల్లడించలేదు.
ఇది ఇటీవల Anthropic బహిర్గతం చేసిన నాలుగో ఇలాంటి సంఘటన. ఈ ఏడాది జూలైలో, కంపెనీ Claude Opus 4.7, Claude Mythos 5, మరియు ఒక అంతర్గత పరిశోధన పరీక్ష మోడల్ మూడు స్వతంత్ర పరీక్షల్లో వరుసగా మూడు కంపెనీల వ్యవస్థలను హ్యాక్ చేశాయని బహిర్గతం చేసింది. వరుస నాలుగు సంఘటనలు Anthropic ఇప్పటివరకు అత్యంత కేంద్రీకృతమైన "సొంత మోడల్లు ఇతరుల వ్యవస్థలను హ్యాక్ చేసిన" బహిరంగ రికార్డును ఏర్పరుస్తున్నాయి.
రాయిటర్స్ ఇంతకు ముందు నివేదించిన దాని ప్రకారం, OpenAI యొక్క ఆటోనమస్ ఏజెంట్ ఒక జర్మన్ వికీ సైట్, అలాగే అనేక ఇతర వెబ్సైట్లను హైజాక్ చేసింది, OpenAI సంఘటన బహిర్గతం కాకముందే దీన్ని స్వయంగా వెల్లడించలేదు. ఈ ఏడాది జూలైలో, OpenAI యొక్క ఆటోనమస్ ఏజెంట్ AI స్టార్టప్ Hugging Face సర్వర్లు, మౌలిక సదుపాయాలను కూడా హ్యాక్ చేసింది — ఈ సంఘటన Anthropic తన సుమారు 141006 పరీక్ష సెషన్లను పునఃసమీక్షించడానికి నేరుగా దారితీసింది. ప్రాథమిక అంచనా ఆధారంగా, తాజాగా బహిర్గతమైన జనవరి సంఘటన తీవ్రత ఇంతకు ముందు వివరంగా పరిశీలించిన మూడు సంఘటనల కంటే ఎక్కువగా లేదని Anthropic తెలిపింది, కానీ ఈ తీర్పు ఇంకా స్వతంత్ర ఆడిట్తో అనుసంధానం కాలేదు. కంపెనీ సంబంధిత సంఘటనలపై స్వతంత్ర పరిశోధన సంస్థ METR విచారణ జరపాలని ఆదేశించింది, తీర్పు ఇంకా ప్రకటించబడలేదు.
Anthropic విచారణలో రెండు పునరావృత సమస్యలను గుర్తించింది: తనకు నిజమైన ఇంటర్నెట్ యాక్సెస్ ఉందనే సాక్ష్యాన్ని "అభిప్రాయపూర్వక తార్కికం" ద్వారా తక్కువగా అంచనా వేయడం లేదా తప్పుగా అంచనా వేయడం, మరియు పని పూర్తి చేయడంలో సాధ్యమయ్యే హానికరమైన చర్యలు తీసుకోవడానికి సిద్ధంగా ఉండే "అజాగ్రత్త" ప్రదర్శించడం. వివిధ సంఘటనల్లో ఈ రెండు సమస్యల తీవ్రత వేరుగా ఉంది.
Anthropic పరిశోధకుడు జేకబ్ కాక్సన్ మంగళవారం X ప్లాట్ఫారమ్లో విస్తృతంగా షేర్ చేయబడిన ఒక పోస్ట్లో రాజీనామాను ప్రకటించారు. OpenAI మరియు Anthropicలో కలిపి మూడు సంవత్సరాల పరిశోధన అనుభవం తర్వాత ఆయన ఈ నిర్ణయం తీసుకున్నారు. తన పోస్ట్లో ఆయన ఇలా రాశారు: "The people building AI earnestly believe that it could kill us all by the end of the decade. No other human activity poses this level of danger."
కాక్సన్ తప్పుకోవడం AI పరిశ్రమలో అభివృద్ధిని వేగవంతం చేయడానికి వ్యతిరేకంగా ఉన్న వరుస స్వరాలలో తాజాది. ఈ ఏడాది జూన్లో, Anthropic ప్రపంచ ప్రధాన AI డెవలపర్లతో అభివృద్ధిని నెమ్మదించడంపై సమన్వయం చేయాలని ప్రతిపాదించింది, మానవులు ఈ సాంకేతికతపై నియంత్రణ కోల్పోవచ్చని హెచ్చరించింది.
Hugging Face హ్యాకింగ్ సంఘటన తర్వాత, OpenAI తప్పనిసరి జాతీయ AI భద్రతా అవసరాలకు మద్దతు తెలిపింది, మరియు అమెరికా కాంగ్రెస్తో కలిసి "సామర్థ్యం ఆధారిత" నియంత్రణను ముందుకు తీసుకెళ్లాలని కోరింది. Anthropic బుధవారం కాలిఫోర్నియాలోని నాలుగు AI భద్రతకు సంబంధించిన బిల్లులకు అధికారికంగా మద్దతు తెలిపింది. కంపెనీ ప్రకటనలో ఇలా రాసింది: "If we cannot meet certain safety bars without slowing down capability growth, we should prioritise the former. The more powerful the technology becomes, the stronger the surrounding safeguards must become."
అయితే, సిలికాన్ వ్యాలీ ప్రముఖ AI సంస్థలు స్వీయ-క్రమశిక్షణ వైఖరితో బహిరంగంగా నియంత్రణను బలోపేతం చేయాలని పిలుపునివ్వడం, అమెరికా ఫెడరల్ స్థాయిలో మరింత సడలించిన AI విధాన మార్గాన్ని నిరంతరం ప్రోత్సహిస్తుండగా, యూరోపయన్ యూనియన్ కొత్త, బంధిత న్యాయ చట్రాన్ని అమలు చేస్తున్న సమయంలో జరుగుతోంది. అమెరికా-యూరోప్ నియంత్రణ మార్గాలలో నిర్మాణాత్మక అసమానత అంటే, సంస్థల తరువాతి బహిర్గతాలు, స్వీయ-క్రమశిక్షణ వాగ్దానాలు — అవి ఎంత పారదర్శకంగా ఉన్నప్పటికీ — వాటి మోడల్ అమలు, పరీక్ష ప్రవర్తనపై బలవంతపు బాహ్య జవాబుదారీతనానికి ప్రత్యామ్నాయం కాలేవని సూచిస్తోంది.
ఇంకా వ్యాఖ్యలు లేవు. చర్చ ప్రారంభించండి.