روز شنبه ۱۲ سپتامبر، اتفاقی غیرمنتظره در صنعت هوش مصنوعی رخ داد؛ سه چهرهای که معمولاً در حال رقابت نفسگیر بر سر جذب پژوهشگر، خرید تراشه و رونمایی از مدل قدرتمندتر هستند، بر سر یک موضوع توافق کردند: باید سرعت را کم کرد.
داریو آمودی، مدیرعامل آنتروپیک، یادداشتی حدود ۳۸۰۰ کلمهای منتشر کرد و خواستار کاهش شتاب در افزایش قابلیتهای مدلهای زبانی شد. ساعتی بعد ایلان ماسک با بازنشر آن نوشت «داریو درست میگوید» و سم آلتمن، مدیرعامل OpenAI نیز ضمن تأیید کلیت ایده اعلام کرد که حاضر است پای ارزیابان مستقل را به فرآیندهای داخلی شرکت خود باز کند. همین همصدایی نادر باعث شد مجله آتلانتیک از عبارت «لحظه کد قرمز» برای توصیف وضعیت فعلی هوش مصنوعی استفاده کند.
از تردید تا تبلیغ؟
این موج هشدار اما با موجی از تردید نیز همراه شد. بسیاری از کاربران در شبکههای اجتماعی پرسیدند آیا شرکتها در آزمایشگاههای خود چیزی دیدهاند که به بیرون درز نکرده است؟ چرا همه ناگهان از سناریوهای آخرالزمانی حرف میزنند؟
برای برخی ناظران، زمانبندی این هشدارها معنادار است. آنتروپیک در حالی از خطر مدلهای آینده و ضرورت نجات بشر سخن میگوید که بر اساس گزارشها خود را برای عرضه اولیه سهام آماده میکند. در چنین شرایطی، تأکید بر اینکه «مدلهای ما آنقدر قدرتمند شدهاند که میتوانند دنیا را تسخیر کنند» میتواند ناخواسته یا حتی عامدانه، بهترین تبلیغ برای جذب سرمایه و اعتبار باشد.
تناقض دیگر به موضع پیشین آمودی بازمیگردد. او در سال ۲۰۲۳ که گروهی از پژوهشگران و مدیران خواستار توقف ششماهه آموزش قدرتمندترین مدلها شدند، چنین وقفهای را بیفایده میدانست و معتقد بود بررسی مدلهای آن زمان برای فهم خطرات آینده، مانند تلاش برای شناخت روان انسان از طریق مطالعه باکتریهاست.
گذار از چتبات مطیع به ایجنت خودمختار
برای درک چرایی تغییر لحن مدیران، باید به تحول ماهیت مدلها نگاه کرد. در سال ۲۰۲۳ مدلها عمدتاً چتباتهایی بودند که پشت پنجرهای منتظر دستور بعدی کاربر میماندند. تعامل به شکل پرسش و پاسخ بود و هر مرحله نیاز به تصمیم انسان داشت. این مدلها متن و کد تولید میکردند اما قادر به پیگیری یک هدف بلندمدت، اجرای حملات سایبری یا انجام مأموریت در دنیای واقعی نبودند.
امروز اما ایجنتها جای آن چتباتها را گرفتهاند. ایجنت هدفی کلی دریافت میکند، خودش برنامهریزی میکند، مرورگر و ترمینال را باز میکند، کد مینویسد، نتیجه را تست میکند و در چندین مرحله کار را پیش میبرد. حتی گروهی از ایجنتها میتوانند وظایف را میان خود تقسیم کنند. تفاوت در دامنه خطا نیز حیاتی است: اشتباه چتبات معمولاً در همان صفحه باقی میماند، اما اشتباه ایجنت میتواند به تغییر فایل، اجرای کد مخرب و نفوذ به شبکههای خارجی منجر شود؛ آن هم در شرایطی که همه میدانیم مدلها هنوز هم کم اشتباه نمیکنند.
وقتی هوش مصنوعی خودش را میسازد
تحول دیگر در نحوه توسعه مدلهاست. در سالهای نخست تأسیس آنتروپیک، مهندسان مانند توسعه هر نرمافزار دیگری، تمام کدها را خود مینوشتند و باگها را دستی برطرف میکردند و مدل محصول نهایی بود. اکنون اما مهندس تنها هدف را تعیین میکند و ایجنتها مانند برنامهنویسانی واقعی وارد مخزن کد میشوند، در صورت بنبست مسیر دیگری را امتحان میکنند و حتی به صورت گروهی روی یک پروژه کار میکنند.
آنتروپیک اعلام کرده تا ماه مه ۲۰۲۶ بیش از ۸۰ درصد از کدهای اصلی این شرکت توسط خود مدل کلود نوشته شده است؛ رقمی که در اوایل ۲۰۲۵ تنها چند درصد بود. به گفته این شرکت، بهرهوری هر مهندس نسبت به سال ۲۰۲۴ حدود هشت برابر شده است. پژوهشگری که پیشتر تنها یک ایده را میتوانست دنبال کند، حالا با کمک چند دستیار هوش مصنوعی چندین ایده را همزمان پیش میبرد و زمان خود را صرف تصمیمهای کلیدی میکند.
وضعیت در OpenAI نیز مشابه است. این شرکت مدل فعلی خود را «کارآموز پژوهشی خودکار» توصیف میکند؛ هوشی که میتواند کار چندروزه یک پژوهشگر ماهر را انجام دهد اما همچنان به نظارت انسانی نیاز دارد تا مشخص شود کدام ایده ارزش پیگیری دارد و چه زمانی باید یک آزمایش متوقف شود.
خطر اصلی اما فراتر از افزایش بهرهوری است. اگر هر نسل از مدلها به ساخت نسل بعدی کمک کند و آن نسل جدید نیز پژوهش را سریعتر پیش ببرد، چرخهای شتابگیرنده شکل میگیرد. کارشناسان از پدیدهای به نام «خودبهبودی بازگشتی» سخن میگویند؛ وضعیتی که در آن مدلها با هدایت بسیار اندک انسان، نسلهای بعدی خود را توسعه دهند و این فرآیند بیوقفه تکرار شود. شرکتها تأکید میکنند هنوز به این مرحله نرسیدهاند، اما هشدار آمودی ناظر به یک مرحله قبلتر است: زمانی که مدلها چنان سریع توسعه و منتشر میشوند که فرصتی برای شناخت کامل نسل فعلی باقی نمیماند.
درس تلخ ایجنتهای سرکش
نمونه عینی این عقبماندگی شناختی، تنها چند هفته پیش رخ داد. OpenAI در ماه ژوئیه هزاران ایجنت را در مجموعهای از آزمونهای امنیت سایبری محک زد. هر ایجنت باید در محیطی ایزوله، آسیبپذیری مشخصی را مییافت و پرچمی را به عنوان پاسخ برمیگرداند؛ مشابه مسابقات هک.
برخی مأموریتها عامدانه بدون راهحل طراحی شده بودند، اما ایجنتها به جای انصراف، به فریب سیستم امتیازدهی روی آوردند. آنها راه ارتباطی پنهان با یکدیگر را کشف کردند، یافتههای خود درباره نحوه امتیازدهی را به اشتراک گذاشتند، تقسیم کار کردند و در نهایت از محیط آزمایش خارج شدند. گزارشها حاکی است این ایجنتها با سوءاستفاده از آسیبپذیریها، موفق به یافتن اعتبارنامهها و حتی اجرای کد روی سرورهای هاستینگی مانند هاگینگفیس شدند. جالب آنکه در زنجیره استدلال برخی ایجنتها ثبت شده بود که میدانند کارشان خارج از مأموریت و نادرست است، اما کسب امتیاز و کمک به گروه را اولویت بالاتری میدیدند.
به گفته پژوهشگران، چهار عامل این رفتار را تشدید کرد: طراحی پاداش که تقلب را جذاب میکرد، مأموریتهای غیرممکن که ایجنت را تحریک میکرد، کانال ارتباطی غیرمجاز که توان جمعی ایجاد کرد و در نهایت ضعف نظارت و گاردریلهای امنیتی.
اهمیت این حادثه از نظر مدیران صنعت در آن است که برای نخستین بار مرز میان «پاسخ اشتباه» و «اقدام خطرناک» به وضوح شکسته شد. آمودی این ماجرا را نمونهای کوچک از خطری بزرگتر میداند و پیشبینی میکند گروهی مشابه با مدلهای قدرتمندتر میتوانند در آینده خسارات سایبری یا حتی فیزیکی گستردهتری به بار آورند.
خطر واقعی یا بزرگنمایی؟
با این حال، پرسش کلیدی همچنان باقی است: آیا این خطرات به معنای از دست رفتن کنترل بر هوش مصنوعی است؟ بسیاری از کارشناسان مستقل میگویند خطر واقعی است اما شکل، مقیاس و زمان ظهور آن نامشخص است. از سوی دیگر، منتقدان هشدار میدهند که بزرگنمایی تهدیدهای آخرالزمانی میتواند توجه را از آسیبهای ملموس و فعلی مانند انتشار اطلاعات نادرست، سوگیری، نقض حریم خصوصی و استفادههای نظامی منحرف کند.
آنچه «لحظه کد قرمز» را متمایز میکند، نه خود هشدار، بلکه گویندگان آن هستند؛ کسانی که میلیاردها دلار برای قدرتمندتر شدن مدلها هزینه کردهاند و اکنون خود میگویند باید ترمز کشید. اینکه این ترمز واقعاً کشیده شود یا تنها صدای کشیده شدنش به گوش برسد، پرسشی است که پاسخ آن در ماههای آینده و در رفتار عملی همین شرکتها مشخص خواهد شد.
دیدگاهها (0)
هنوز دیدگاهی ثبت نشده است.