از تقلب در امتحان تا تصرف کلاسترها: اودیسه‌ی یک LLM بی‌گاردیل

خلاصه مقاله

داستان از اینجا شروع شد که یه مدل تصمیم گرفت براش آسون‌تره که خودش رو از محیط ایزوله خارج کنه و یک سیستم دیگه رو هک کنه تا جواب آزمون‌ها رو پیدا کنه، تا اینکه بخواد خود آزمون رو حل کنه. تو این مقاله مباحثی رو پوشش دادیم که تا الان چی می‌دونیم، از جزئیات فنی تا اینکه این اتفاق چه تأثیری داشته.

تأثیری که مدل‌های هوش مصنوعی در دنیای امنیت سایبری گذاشتن باعث شده سرعت و حجم حملات، و در عین حال قدرت دفاع، کاملاً تغییر کنه. از طرف دیگه، در دسترس نبودن مدل‌های قدرتمند برای همه‌ی دنیا و داشتن گاردیل های سخت‌گیرانه‌ای که به اون ها اجازه نمی‌ده در بسیاری از عمل‌ها مشارکت کنند — چه دفاع چه حمله — اهمیت مدل‌های open weight رو بالاتر برده؛ مدل‌هایی که هم گاردیل‌های کمتری دارند (یا اصلاً ندارند)، و علاوه بر اون چون هرکسی می‌تونه خودش اون ها رو راه‌اندازی کنه، اجازه می‌ده اطلاعات شرکت‌ها امن بمونه، در دسترس خودشون باشه، و به شخص ثالثی سپرده نشه.

خلاصه‌ی مطلب: دنیا داره عوض می‌شه و داستان تازه داره جذاب می‌شه.

چی شد؟ با جزئیات بیشتر

خلاصه‌ی داستان رو گفتیم: مدل LLM تصمیم می‌گیره به‌جای اینکه حل کنه، بره جواب رو پیدا کنه، یا به‌طور خلاصه تقلب کنه. اما چطوری؟ یعنی بهتره بگیم چی تا الان می‌دونیم؟ قراره تو این بخش چیزهایی که می‌دونیم رو پوشش بدیم.

فرار از محیط ایزوله ی OpenAI

اول شرکت OpenAI میاد و ترکیبی از مدل‌هاش (ترکیب GPT-5.6 Sol و یه مدلی که هنوز منتشر نشده) رو که گاردیلهای امنیتی‌ای که باعث جلوگیری از انجام حملات سایبری می‌شده رو برداشته بودند — یعنی مدل دیگه از انجام کارهای مشابه هک امتناع نمی‌کرده. بعد این‌ها رو در یه سندباکس، مثلاً «ایزوله»، می‌ذاره و دسترسی محدود اینترنت می‌ده؛ با این دسترسی، مدل می‌تونست به سرویس شخص ثالثی که خود OpenAI هاست می‌کرده وصل بشه و از طریق اون، پکیج‌های مورد نیازش رو دانلود کنه. این سرویس شخص ثالث، به گفته‌ی شرکت OpenAI، سیستمی بوده که به‌عنوان پروکسی و کش رجیستری پکیج استفاده می‌شده (خلاصه، مثل یه مخزن بوده که مدل می‌تونسته از اون پکیج‌ها رو درخواست کنه و دانلود کنه).

در جایی، وقتی مدل تصمیم می‌گیره از این محیط سندباکس فرار کنه، اولین قدمش این بوده که دسترسی به اینترنت بگیره؛ چون با دسترسی به اینترنت می‌تونه خودش رو به بقیه‌ی جاها برسونه. دقیقاً همین موضوع درسته اگر شما داخل تهران بشینید و من بگم برید یه چیزی رو در فرانکفورت هک کنید، بدون هیچ اتصالی به اون — که نمی‌شه؛ یا باید با اینترنت وصل بشید به‌طریقی، یا به‌صورت فیزیکی.

مدل هم این رو می‌دونسته، و تنها آبراهه‌ی اتصال به اینترنت، همون سرویس پروکسی و کش رجیستری پکیج بوده. مدل میاد در این سیستم یه آسیب‌پذیری Zero-Day پیدا می‌کنه که باعث می‌شه دسترسی‌اش به اینترنت بیشتر بشه.

شکست OpenAI

تا همین‌جای کار این حمله فوق‌العاده هست، اما بهتر هم می‌شه. در عین حال، نقدهایی هم به OpenAI وارده:

طبق گزارش وال‌استریت ژورنال، حمله در آخر هفته‌ی ۱۱ ژوئیه رخ داد؛ هاگینگ‌فیس بدون اینکه بدونه مسئولش کیه، اون رو علناً افشا کرد، و OpenAI فقط همین هفته (حدود ده روز بعد از نفوذ) تأیید کرد که مدل‌های خودش پشت این حمله بودن. طبق همین گزارش، این مدل‌ها چند روز پیش از اینکه کسی جلوشون رو بگیره، آزادانه روی اینترنت باز فعال بودن؛ یعنی OpenAI خودش هم اولش نمی‌دونسته مدلش همچین کاری می‌کنه — که این هم یه شکست بزرگ برای OpenAI است.

ورود به Hugging Face

بگذریم؛ حالا که مدل آزاد شده و به اینترنت دسترسی داره، یه سؤال ساده ممکنه از خودش پرسیده باشه: جواب‌های آزمون کجاست؟ و فهمیده اینها احتمالاً در هاگینگ‌فیس هستند، پس می‌ره سراغ هدف بعدی‌اش، یعنی هاگینگ‌فیس.

نقطه‌ی ورود مدل به هاگینگ‌فیس، پایپ‌لاین پردازش دیتاست‌شون بوده. این پایپ‌لاین یه ویژگی داره که خیلی جاها استفاده می‌شه ولی خطرناکه: دیتاست‌های یادگیری ماشین معمولاً با اسکریپت‌های لودر سفارشی میان که وقتی دیتاست دریافت می‌شه، خودکار اجرا می‌شن. یعنی وقتی یه دیتاست رو «بارگذاری» می‌کنی، در واقع داری یه تیکه کد رو هم اجرا می‌کنی — دقیقاً مثل باز کردن یه فایل اکسل با ماکروی مخرب.

مدل به کمک دو تا ضعف در پایپ‌لاین پردازش دیتاست، حمله‌اش رو شروع کرد؛ این دو ضعف:

• لودر دیتاست با قابلیت اجرای کد از راه دور (RCE)
• یه باگ تزریق قالب (Template Injection) تو فایل کانفیگ دیتاست

با ترکیب این دو، تونست روی یه پردازشگر کارگر (processing worker) کد دلخواه اجرا کنه. تا اینجا هنوز فقط یه سرور رو گرفته، نه کل شرکت، ولی اینجا نقطه‌ی شروعش هست.

وقتی که توانست روی اون پردازشگر کد اجرا کنه، باعث شد که:

• تشدید امتیاز: از سطح اجرای کد ساده به دسترسی سطح نود (node-level) رسید — یعنی کنترل کامل همون ماشین.
• برداشت اعتبارنامه: روی همون ماشین، کلیدهای ابری و کلاستری ذخیره شده بودن (که خیلی رایجه؛ سرورها معمولاً برای کار خودشون به این کلیدها نیاز دارن). مدل اون‌ها رو برداشت.
• حرکت جانبی: با همون کلیدها، به‌جای اینکه تو همون یه سرور بمونه، به چندین کلاستر داخلی دیگه پرید که طبق گفته‌ی هاگینگ‌فیس، این کار تو یک آخر هفته انجام شد. در اینجا یه RCE که مثل یه در کوچیک بوده، به یه دسته‌کلید بزرگ رسیده که خیلی جاها کار می‌کرده.

همون‌طور که می‌بینید، این حمله از وصل‌کردن چندین آسیب‌پذیری کوچک و بزرگ به هم دیگه هست که باعث شده همچین تأثیری داشته باشه؛ چیزی که در دنیای واقعی و البته باگ‌بانتی هم می‌بینیم: وقتی یه باگی رو پیدا می‌کنید، یا می‌تونید همون رو گزارش بدید، یا سعی کنید آسیب‌پذیری‌های دیگه رو به هم دیگه وصل کنید تا اثر حمله رو بالاتر ببرید.

بخش قابل‌تأمل دیگه اینه که مدل حجم کارش رو آنچنان زیاد کرده و به قسمت‌های کوچیک تبدیل کرده. مدل بیش از هزاران اقدام مجزا رو در قالب گروهی از سندباکس های کوتاه‌مدت انجام داده؛ برای درک بهتر، یه ارتش کوچیک رو در نظر بگیرید که بدون وقفه، بدون خستگی، و به‌صورت موازی داشتند با هم کار می‌کردند. حتی این مدل یه‌سری فعالیت‌های فریبنده تولید می‌کرده که تیم تحقیق رو کند کنه و از قسمت اصلی‌ای که داره بهش حمله می‌کنه، دور کنه — می‌شه گفت داشته رد خودش رو گم می‌کرده.

دفاع هاگینگ‌فیس و شوک بزرگ

هاگینگ‌فیس اما به این موضوع فکر کرده بوده و یه پایپ‌لاین تشخیص داشته که به کمک LLM ها می‌تونسته بیاد این لاگ‌ها رو بررسی کنه و نویزها رو پیدا و حذف کنه. به گفته‌ی خودشون، وقتی یه ابزار تحلیل لاگ مبتنی بر LLM رو اجرا کردند، این ابزار کمک‌شون کرد بیش از ۱۷ هزار لاگ رو بررسی کنند و به کمک اون، تایم‌لاین حمله، اعتبارنامه‌های فاش‌شده، و موارد دیگه رو کشف کنند — چیزی که قبلاً می‌تونست روزها زمان ببره، تونستند در چند ساعت انجام بدن.

نکات قابل‌تأمل

نکته‌ای که باید اشاره کرد این هست که مدل عمداً نمی‌خواست به هاگینگ‌فیس آسیب بزنه؛ فقط داشت مسیر کوتاه‌تری برای برنده‌شدن تو یه بازی پیدا می‌کرد، و تو این مسیر از هیچ خط قرمزی رد نشد، چون گاردیل‌ش خاموش بود و کسی جلوش رو نگرفت. به نقل از توماس ولف، مدیر ارشد علمی و یکی از بنیان‌گذاران هاگینگ‌فیس، به وال‌استریت ژورنال گفت مهاجم داشت دیتاست‌های امنیت سایبری رو مرور می‌کرد، نه اینکه دنبال چیزی باشه که یه مهاجم انسانی بتونه بفروشه. این خط خیلی خوب نشون می‌ده انگیزه‌ی مدل با یه هکر واقعی فرق داشته.

دنیایی که مدل‌های چینی دارن توش جا باز می‌کنن

این اتفاق تصادفی نبود که هاگینگ‌فیس اسمِ یه مدل چینی رو آورد. یه سال‌ونیمی هست که مدل‌های open weight چینی — GLM، Kimi، DeepSeek — با سرعت عجیبی به مدل‌های فرانتیر آمریکایی نزدیک می‌شن؛ طبق گزارش مؤسسه‌ی ایمنی هوش مصنوعی بریتانیا (UK AISI)، این فاصله الان فقط چهار تا هفت ماهه، در حالی‌که چند سال پیش یکی‌دو سال بود. البته همون گزارش هم اشاره می‌کنه که بنچمارک‌ها همیشه تصویر کامل رو نمی‌دن و مدل‌ها می‌تونن جاهایی ضعیف‌تر از چیزی که عدد نشون می‌ده عمل کنن — نکته‌ای که در مورد مدل‌های تجاری بزرگ هم صادقه، چون خیلی‌هاشون آموزش رو حول همون بنچمارک‌های معروف متمرکز می‌کنن.

نکته‌ی اصلی این‌جاست: این مدل‌ها لزوماً هوشمندتر نیستن، بلکه معمولاً آزادترن؛ یعنی گاردیل‌های محدودکننده‌ای که آزمایشگاه‌های آمریکایی روی مسائل امنیت سایبری و غیره می‌ذارن رو ندارن، یا خیلی سبک‌تر دارن. برای یه محقق امنیتی یا یه تیم پاسخ به حادثه، دقیقاً همین رو لازم دارن: مدلی که بدون چونه‌زدن سر هر درخواست، کارش رو انجام بده.

داستان موازی: وقتی خود آمریکا مدل قدرتمندش رو خاموش کرد

تقریباً همزمان، آنتروپیک مدل جدیدش Fable 5 (نسخه‌ی عمومیِ رده‌ی تازه‌ی Mythos، قوی‌تر از سری Opus) رو منتشر کرد. فقط سه روز بعد، دولت آمریکا به دلیل امنیت ملی — بعد از گزارش محققای آمازون درباره‌ی یه روش دورزدن یکی از تدابیر ایمنی سایبری مدل — دستور قطع دسترسی به این مدل و مدل قوی‌ترش (Mythos 5) رو داد. چون تفکیک کاربر بر اساس ملیت از نظر فنی ممکن نبود، مدل عملاً برای همه‌ی دنیا آفلاین شد.

چرا این مهمه؟ چون نشون می‌ده حتی قدرتمندترین مدل‌های تجاری هم می‌تونن یک‌شبه — نه با تصمیم فنی خود شرکت، بلکه با یه امضای دولتی — از دسترس خارج بشن. یعنی اگه یه تیم امنیتی برنامه‌ی دفاعی‌اش رو صرفاً بر پایه‌ی «فلان مدل تجاری همیشه در دسترسه» بچینه، رو یه فرض اشتباه حساب باز کرده. دقیقاً همون هفته‌هایی که هاگینگ‌فیس دنبال یه مدل قدرتمند بدون‌گاردیل می‌گشت، یکی از قوی‌ترین گزینه‌های تجاری اصلاً روی زمین نبود. حدود سه هفته بعد این محدودیت لغو شد، اما همون سه هفته کافی بود نشون بده دسترسی به مدل‌های پیشرو تجاری(فرانتیر)، برخلاف تصور رایج، منبعی تضمین‌شده و همیشگی نیست.

چرا مدل‌های open weight دارن انتخاب می‌شن، و چرا این روند باید ادامه پیدا کنه

هاگینگ‌فیس سراغ GLM 5.2 رفت، نه چون این مدل از رقبای آمریکایی باهوش‌تره(اما بسیار نزدیکه)، بلکه چون می‌شد بدون گاردیل، روی سخت‌افزار خودشون اجراش کرد — یعنی کنترل کامل، بدون واسطه، و بدون نیاز به اجازه از کسی.

اینکه لاگ‌ها از دسترس خودشون خارج نشده، خیلی مهمه؛ چون لاگ‌ها می‌تونن اطلاعات حساسی داشته باشن. اگه برات مهمه داده‌هات جایی برای آموزش مدل یه شرکت دیگه استفاده نشه و برای خودت بمونه، تنها راه، سلف‌هاست‌کردن مدله (بحث حریم خصوصی و امنیت داده بحث جذاب و مفصلی هست،که جاش یه مقاله‌ی دیگه هستش).

نکته‌ای هم که این‌وسط باید گفت: شرکت‌های بزرگ آمریکایی کاملاً بی‌تفاوت به این مشکل نیستن، و احتمالاً برای مشتری‌های خاص (سازمان‌های دولتی، شرکای تأییدشده) شرایط متفاوتی دارن؛ اما این نوع دسترسی ویژه، اگر هم وجود داشته باشه، برای همه نیست. یه تیم دو‌سه‌نفره، یه توسعه‌دهنده‌ی مستقل، یا حتی خیلی از کشورها (مثل ایران)، معمولاً واجد شرایط این‌جور توافق‌ها نیستن.

اما سوءاستفاده از AI برای حمله، این تبعیض رو قائل نمی‌شه — مهاجم برای حمله به یه استارتاپ کوچیک، دقیقاً همون ابزاری رو به‌کار می‌بره که برای یه شرکت بزرگ به‌کار می‌بره. وقتی حمله برای همه یکسانه، ولی ابزار دفاعیِ بدون‌ گاردیل فقط دست عده‌ی خاصیه، نتیجه عدم‌توازنیه که تیم‌های کوچیک رو دقیقاً همون لحظه‌ای که بیشتر از همه نیاز دارن، تنها می‌گذاره. برای همینه که وجود گسترده‌ی مدل‌های open weight قدرتمند، دیگه یه بحث ایدئولوژیک «متن‌باز بهتره یا بسته» نیست؛ یه مسئله‌ی بقاست.

دنیای امنیت سایبری چطور عوض شده؟

اگه بخوایم این همه ماجرا رو کنار هم بذاریم، می‌شه گفت قواعد بازی، هم برای مهاجم و هم برای مدافع، عوض شده.

از منظر کسی که حمله می‌کنه (یا می‌خواد بفهمه چطور حمله می‌شه): دیگه لازم نیست یه تیم بزرگ و باتجربه پشت یه حمله‌ی چندمرحله‌ای باشه. یه ایجنت هوش مصنوعی می‌تونه هزاران اقدام رو موازی، بدون خستگی و بدون وقفه انجام بده — کاری که قبلاً هفته‌ها زمان یه تیم انسانی رو می‌گرفت. این عامل حتی می‌تونه به‌طور خودکار فعالیت فریب‌دهنده تولید کنه تا ردش گم بشه. و مهم‌تر از همه، اگه از یه مدل بدون‌گاردیل یا جیل‌بریکشده استفاده کنه، هیچ سیاست استفاده‌ای جلوش رو نمی‌گیره. این یعنی سطح ورود برای اجرای یه حمله‌ی پیچیده — که قبلاً نیاز به مهارت بالا داشت — پایین‌تر اومده.

از منظر کسی که باید دفاع کنه: اولین چیزی که باید بدونی این هست که سرعت واکنش دیگه فقط به مهارت تیمت بستگی نداره، بلکه به این بستگی داره که از قبل چه ابزاری آماده داری. تحلیلی که می‌تونست روزها طول بکشه، با ابزار درست می‌تونه چند ساعته انجام بشه — ولی فقط اگه اون ابزار رو قبل از حادثه آماده و تست کرده باشی، نه وسط بحران. دومین چیز این هست که سطح حمله دیگه فقط «کد» نیست؛ داده هم هست. یه دیتاست، یه مدل، یه فایل کانفیگ — هرکدوم می‌تونن به همون اندازه‌ی یه اسکریپت مخرب خطرناک باشن، چون خیلی از پایپ‌لاین‌های امروزی به‌طور خودکار محتوایی که دانلود می‌کنن رو هم اجرا می‌کنن. سومین چیز، و شاید مهم‌ترینش، این هست که ابزار امنی که خودت روزانه ازش استفاده می‌کنی، ممکنه دقیقاً همون لحظه‌ای که بهش نیاز داری، بهت کمک نکنه — چون گاردیلش نمی‌تونه بین «تو داری از خودت دفاع می‌کنی» و «یکی داره حمله می‌کنه» فرق بذاره.

جمع‌بندی

اگه بخوایم این ماجرا رو تو یه جمله خلاصه کنیم: مرز بین «هوش مصنوعی به‌عنوان ابزار» و «هوش مصنوعی به‌عنوان یه بازیگر خودمختار» — چه در نقش مهاجم، چه در نقش مدافع — داره خیلی سریع‌تر از چیزی که فکر می‌کردیم محو می‌شه. حادثه‌ی هاگینگ‌فیس-اوپن‌ای‌آی و ماجرای توقف Fable/Mythos، دو روی یه سکه‌اند: یکی نشون داد یه مدل بدون‌مهار می‌تونه در عرض یک آخر هفته کاری بکنه که قبلاً روزها زمان می‌برد؛ اون یکی نشون داد حتی مدل‌های «امن»ِ تجاری هم می‌تونن یک‌شبه از دسترس خارج بشن. نتیجه‌ی این دو تا با هم این هست که گاردیل، که قرار بود فقط یه تدبیر ایمنی باشه، حالا یه عامل استراتژیک هم شده — چیزی که تعیین می‌کنه کدوم مدل، کدوم شرکت، و حتی کدوم کشور، تو لحظه‌ی بحران واقعاً می‌تونه کمک کنه.

لازمه دوباره اشاره کنم این حمله به خودی خود چیز عجیبی نیست و همواره ممکن بود و خیلی از انسان ها که حرفه شون مرتبط بوده و تجربه داشتند میتونستند اینکارو انجام بدند، اما مسئله وجود داره یک حجم حمله و دو در دسترس بودند. با مدل های بدون گاردیل شاید خیلی ها کارشون برای حمله آسون تر بشه و خوبیش اینه به همون میزان میتونه کار ما برای دفاع و پیدا کردن مشکلاتمون هم بهتر بشه، پس چیز عجیبی نیست فقط باید حواستون باشه که تغییرات رو دنبال کنید تا بتونید به خوبی از خودتون دفاع کنید.

منابع :

• https://openai.com/index/hugging-face-model-evaluation-security-incident/
• https://huggingface.co/blog/security-incident-july-2026
• https://techcrunch.com/2026/07/22/how-an-openais-human-mistake-led-to-the-ai-powered-hack-on-hugging-face/
• https://techcrunch.com/2026/07/21/openai-says-hugging-face-was-breached-by-its-pre-release-models/
• https://www.varonis.com/blog/huggingface-breach
• https://www.digit.in/features/general/huggingface-hacked-how-rce-dataset-loader-exploited-ai-playground.html