الفصل 3: تحديات السلامة والمواءمة
كسر الحماية
محاولات لتجاوز تدابير السلامة:
- موجّهات لعب الأدوار
- ترميز الطلبات الضارة
- هجمات متعددة الخطوات
- التلاعب بالرموز
استراتيجيات الدفاع
- تصفية المدخلات: اكتشاف الموجّهات الضارة
- تصفية المخرجات: التحقق من المحتوى المولد
- التدريب القوي: تضمين أمثلة عدائية
- القيود الدستورية: مبادئ مدمجة
ضريبة المواءمة
يمكن أن تقلل تدابير السلامة من الفائدة:
| النهج | الفائدة | السلامة |
|---|---|---|
| غير مواءم | عالية | منخفضة |
| مواءمة زائدة | منخفضة | عالية |
| مواءمة جيدة | عالية | عالية |
الأبحاث الجارية
- القابلية للتفسير: فهم تفكير النموذج
- اختبار الفريق الأحمر: اختبار منهجي للثغرات
- الإشراف المتزايد: الإشراف البشري مع نمو النماذج
- تعلم القيم: استنتاج تفضيلات البشر
التحديات الرئيسية
- التحديد: ماذا نريد من الذكاء الاصطناعي أن يفعل؟
- المتانة: السلوك تحت تغير التوزيع
- الضمان: التحقق من خصائص النموذج
- الحوكمة: من يقرر أهداف المواءمة؟