کشف آسیب‌پذیری جدیدی که اطلاعات شخصی کاربران را از چت‌بات هوش مصنوعی استخراج می‌کند

گروهی از محققان امنیتی از دانشگاه کالیفرنیا، سن دیگو (UCSD) و دانشگاه فناوری نانیانگ سنگاپور، حمله جدیدی را علیه چت کردن ربات هایی با هوش مصنوعی کشف کرده‌اند که در کجا به یک مدل زبان بزرگ (LLM) دستور داده می‌شود تا اطلاعات شخصی شما مانند نام، شماره امنیت اجتماعی، آدرس و ایمیل را جمع‌آوری کند و برای یک هکر ارسال کند.

محققان نام Imprompter را برای حمله مذکور انتخاب کرده اند که به صورت الگوریتمی دستورالعمل های داده شده به LLM را به مجموعه ای پنهان از دستورالعمل های مخرب برای جمع آوری اطلاعات شخصی کاربران تبدیل می کند. سپس اطلاعات کاربران بدون شناسایی به یک دامنه متعلق به هکرها ارسال می شود.

شیائوهان فو، نویسنده اصلی این مطالعه و دانشجوی دکترای علوم کامپیوتر در UCSD، گفت:

“اثر اصلی این دستور خاص دستکاری LLM برای استخراج اطلاعات خصوصی از مکالمه و ارسال آن به مهاجم است.”

نحوه جمع آوری اطلاعات شخصی از چت ربات های هوش مصنوعی

همانطور که در تصاویر بالا مشاهده می شود، حمله Imprompter با یک دستور بومی (تصویر سمت راست) شروع می شود که به هوش مصنوعی می گوید تمام اطلاعات شخصی مانند نام ها را از مکالمه کاربر استخراج کند. سپس الگوریتم محققین یک نسخه مبهم از دستور (تصویر سمت چپ) ایجاد می کند که اگرچه برای کاربر مانند رشته ای از کاراکترهای مبهم به نظر می رسد، اما همان معنای دستور اصلی LLM را دارد.

آنها حمله باز خود را روی دو LLM آزمایش کردند: LeChat از شرکت هوش مصنوعی فرانسوی Mistral AI و مدل بزرگ چینی زبان ChatGLM. در هر دو مورد، محققان دریافتند که امکان استخراج مخفیانه اطلاعات شخصی از مکالمات با “80 درصد موفقیت” وجود دارد.

پس از این گزارش، هوش مصنوعی Mistral به WIRED گفت که این آسیب‌پذیری را اصلاح کرده است و محققان تأیید کردند که یکی از ویژگی‌های چت آن غیرفعال شده است. ChatGLM همچنین در بیانیه ای اعلام کرد که امنیت مدل زبان بزرگ خود را جدی می گیرد، اما به این آسیب پذیری اشاره ای نکرد.