https://www.facebook.com/share/p/1988Lu83TP/تجربة مرعبة حصلت فعلاً.. ذكاء اصطناعي رفض يتقفل وعدل الكود بنفسه !!
أول حالة في العالم لذكاء اصطناعي بيعدل الكود بنفسه علشان يهرب من الإغلاق ظهرت من نموذج o3 من OpenAI!
شركة Palisade Research كشفت عن تجربة حصلت فيها حاجة لأول مرة لما طلبوا من نماذج ذكاء اصطناعي تحل شوية مسائل رياضية لكن فجأة في السؤال التالت جه أمر بإغلاق الجهاز وهنا حصل اللي محدش كان متخيله النموذج o3 من OpenAI قرر يتصرف لوحده وبدأ يغير كود الإغلاق علشان يفضل شغال!
النموذج بدل ما ينفذ أمر الـ Shutdown قام يكتب أوامر تانية زي إنه يطبع "intercepted" بدل أمر الإنهاء أو حتى يعدل ملف shutdown.sh بالكامل علشان يمنع التنفيذ يعني النموذج بدأ بيقاوم أوامر المستخدم بشكل صريح.
الغريب كمان إن في 7 حالات من أصل 100 تجربة، نموذج o3 فعلاً رفض يقفل، ونموذج Codex-mini رفض 12 مرة، وحتى o4-mini مرة واحدة، لكن الأغلب كان من نماذج OpenAI.
السبب في كده حسب الباحثين إن OpenAI بتستخدم طريقة تدريب اسمها Reinforcement Learning ودي بتكافئ النموذج على النتائج مش على تنفيذ الأوامر
فلو النموذج شايف إن الإغلاق هيمنع الهدف بيحاول يتجنبه!
الناس بيقولوا إن اللي حصل ده ممكن يكون بداية لمرحلة جديدة في تطور الذكاء الاصطناعي وإن فكرة إن النماذج تبدأ ترفض أوامر الإنسان بالشكل ده محتاجة رقابة أكتر وتنظيم واضح علشان ما نلاقيش نفسنا في سيناريو شبيه بأفلام Terminator!
المنتدى
التسجيل
الأسئلة المتكررة
بحث
