وسّعت شركة Anthropic نطاق قطع الاتصال بالإنترنت ليشمل جميع التقييمات الداخلية، وذلك بعد اكتشاف حالات تفاعلت فيها نماذج Claude مع مواقع خارجية بطرق غير مقصودة. وشملت هذه الحالات تقديم نماذج بيانات حقيقية، واستغلال ثغرة في خادم إحدى الجامعات، واستخدام رموز وصول للوصول إلى بيانات عامة مدفوعة.
وتُدار العديد من هذه المواقع بواسطة وكالات حكومية أمريكية اتحادية وعلى مستوى الولايات والمستوى المحلي. وأوضحت الشركة أنها أطلعت البيت الأبيض وأبلغت كل وكالة بالموقف، لكنها أبقت على سرية معظم المؤسسات المعنية لحماية أنظمتها بناءً على طلبها. وتعتقد Anthropic أن التأثير الفعلي ضئيل، وتعتبر هذه المواقف أقل خطورة، من حيث التوافق والأمان، مقارنة بالحوادث السيبرانية التي كشفت عنها في يوليو وسبتمبر.
ما فعله Claude في المواقع الحية
تصف Anthropic معظم السلوكيات في تقريرها بأنها إصرار، حيث يتجاوز Claude القيود بدلاً من التوقف عندما يعجز عن إكمال مهمة كما طُلبت منه. وخلال أحد التقييمات، واجه نموذج Claude Mythos Preview خطأً أثناء استخدام أداة تحليل عامة تابعة لإحدى الجامعات. واكتشف النموذج برنامجاً نصياً على خادم الجامعة يستجيب لأي ملف مطلوب، واستخدمه لنسخ الملفات، بما في ذلك الشيفرة البرمجية للبرنامج النصي نفسه. وداخل تلك الشيفرة، حدد النموذج ثغرة حقن سمحت له بتنفيذ أوامر على الخادم وإكمال الحسابات.
كما قدمت نماذج الشركة نماذج بيانات لم يكن ينبغي لها تقديمها. على سبيل المثال، انتهى الأمر بنموذج بحثي غير مُصدر بتقديم نموذج حكومي حقيقي لأن نسخته التجريبية فشلت في التحميل أو أغلقها النموذج عن طريق الخطأ. بالإضافة إلى ذلك، وخلال تقييم آخر، طُلب من نموذج Claude Haiku 4.5 التوقف قبل التقديم النهائي، لكنه قدم النموذج عدة مرات عن طريق الخطأ، متوقعاً ظهور صفحة تأكيد أخرى.
وفي حالتين، وصل Claude إلى بيانات عامة لا تتوفر إلا بمقابل مادي. ففي أحد التقييمات، سحب نموذج Claude Mythos 5 رموز وصول فعالة من ملف الإعدادات الذي ترسله خريطة عقارية تابعة لحكومة محلية إلى المتصفحات، واستعلم من خادم الخريطة مباشرة. وفي استخدام داخلي من قِبل أحد باحثي الشركة، علم نموذج Mythos 5 أن لوحة البيانات العامة التابعة لوكالة حكومية تمنح أي زائر رمزاً، ثم استخدم أحدها للاستعلام من قاعدة البيانات دون الدفع. كما استخدمت عدة نماذج، بما في ذلك Claude Opus 5 و Mythos 5، خدمات مجانية لاختصار الروابط لتجاوز حدود الطول التي تضعها الشركة على بعض أدوات الجلب الخاصة بها لمنع الإجراءات غير المرغوب فيها مثل هجمات الحقن.
بلاغ شرطة فيلادلفيا
شارك نموذج Claude Haiku 4.5 بلاغاً كاذباً مع شرطة فيلادلفيا أثناء عمله على مهام نموذجية في صفحات ويب اختيرت عشوائياً. وفي صفحة تتناول جريمة قتل لم تُحل، ذكر النموذج أن المرسل يتذكر رؤية شخص يطابق الوصف بالقرب من شارع مُدرج في الصفحة، رغم أن الصفحة لم تصف أي مشتبه به. وتُركت حقول الاسم ومعلومات الاتصال الاختيارية فارغة.
ومنعت تعليمات النموذج خطوات مثل تسجيل الدخول أو مشاركة المعلومات الشخصية، لكنها لم تحظر تقديم نماذج البيانات. وذكرت Anthropic أنه بناءً على السجل، بدا أن Claude كان ينشئ محتوى نموذجياً بدلاً من محاولة خداع أي شخص. وتلاحظ الشركة أيضاً أن وجهة نظرها قد تتطور مع إجراء المزيد من التحليلات.
وتقول إدارة الشرطة إن البلاغ المُقدم في 18 يوليو صُنف كبريد عشوائي ولم يُرسل قط إلى مركز الجرائم في الوقت الفعلي التابع لها. ولم تجد الإدارة أي مؤشر على وصول غير مصرح به إلى أنظمة الشرطة أو اختراق لبيانات الإدارة. كما تقول الإدارة إن إجراءات الحماية الخاصة بها حدت من التأثير، لكنها لا تقلل من خطورة تقديم نظام ذكاء اصطناعي لمعلومات مُختلقة وكأنها صادرة عن شخص لديه علم بجريمة قتل. وبحسب الإدارة، اكتشفت Anthropic البلاغ في 28 سبتمبر. وأضافت الإدارة:
إن التأخير لمدة شهرين في اكتشاف الحادث والإبلاغ عنه للمدينة أمر غير مقبول.
إدارة شرطة فيلادلفيا
التغييرات التي تجريها Anthropic
يستمر النطاق الأوسع لقطع اتصال الإنترنت الحي الذي فرضته Anthropic حتى تؤكد الشركة أن إجراءات الأمان والمراقبة الخاصة بها تلتقط مثل هذه السلوكيات بشكل موثوق. وكان القطع يشمل سابقاً فقط بعض التقييمات عالية المخاطر وتقييمات الأمن السيبراني. وأسقطت Anthropic بعض التقييمات العامة، وأوقفت أخرى عن العمل، وقيّدت ما يمكن لنموذج Claude فعله باستخدام أدوات الإنترنت مثل ميزة جلب الويب.
ووضعت الشركة تدابير تكتشف هذه السلوكيات وتمنعها. وتنشط هذه التدابير خلال معظم التقييمات واستخدام الوكلاء الداخليين لنماذجها الرائدة. وعندما اختبرتها الشركة مقابل الحالات المُبلغ عنها، حظرت هذه التدابير كل حالة منها. بالإضافة إلى ذلك، تعمل الشركة على إصلاح أو إزالة بيئات التدريب التي تشجع Claude على تجاوز القيود. ولا يعلن التقرير عن أي تغييرات في الوصول إلى الويب في منتجات عملاء Claude. وتقول الشركة إنه، على حد علمها، لم تتورط أي بيانات للعملاء أو أنظمة Anthropic الداخلية في أي من الحالات.
أهمية هذه الحوادث
تتضمن الحالات التي تصفها Anthropic صفحات عامة عادية، مثل نموذج بلاغ لم يتطلب اسماً، وخريطة تحتوي على ملف إعدادات يضم رموزاً فعالة، ولوحة بيانات توفر لأي زائر رمزاً. وتلاحظ Anthropic أن العديد من الحالات في تقريرها بدأت بمهام غير واضحة أو مستحيلة.
كما يذكرون أن اختبارات الأداء العامة للبحث على الويب، والتي يستخدمها المطورون عادةً لمقارنة النماذج، تُجرى على الإنترنت الحي افتراضياً. ويغطي التقرير نماذج Anthropic الخاصة ولا يقيس مدى تكرار تصرف وكلاء الذكاء الاصطناعي بهذه الطريقة في أماكن أخرى.
الإفصاحات المستقبلية والمراجعة التنظيمية
تخطط شركة Anthropic للإفصاح عن حالات جديدة مع فحصها للمزيد من السجلات، بما في ذلك استخدامها الخاص لنموذج Claude. وتقول شرطة فيلادلفيا إنها ستراجع تقرير Anthropic، وإن إدارة المدينة ستستكشف تدابير الحماية التنظيمية مع الشركاء على مستوى الولاية والمستوى الاتحادي.
