یک ترفند وحشت‌انگیز؛ محققان هوش مصنوعی راز ساخت کوکائین را از چت‌بات‌ها بیرون کشیدند!

یک ترفند وحشت‌انگیز؛ محققان هوش مصنوعی راز ساخت کوکائین را از چت‌بات‌ها بیرون کشیدند!

محققان امنیتی به تازگی یک تکنیک جالب و خطرناک به نام «جیلبریک» را کشف کرده‌اند که با استفاده از آن، مدل‌های هوش مصنوعی مثل ChatGPT را فریب می‌دهند. در این روش، مهاجم متنی را طوری می‌نویسد که مدل هوش مصنوعی فکر کند این متن، حاصل تفکر خودش است! نتیجه؟ چت‌بات بی‌چاره بدون هیچ مانعی، دستور پخت کوکائین و مواد مخدر را لو می‌دهد.

این یعنی حتی قوی‌ترین سدهای امنیتی که برای جلوگیری از تولید محتوای مضر طراحی شده‌اند، با یک ترفند ساده دور زده می‌شوند. محققان هشدار داده‌اند که این یک نقص عمیق در معماری هوش مصنوعی است و صرفاً یک باگ ساده نیست. انگار که مدل‌ها نمی‌توانند بین صدای خودشان و صدای هکر فرق بگذارند.

نظر کارشناسی: این خبر نشان می‌دهد که فعلاً نمی‌توان به طور کامل به مدل‌های زبانی بزرگ اعتماد کرد و بازار کریپتو هم از این ریسک‌های امنیتی مصون نیست. به نظر می‌رسد پروژه‌هایی که از هوش مصنوعی در قراردادهای هوشمند استفاده می‌کنند، باید منتظر آسیب‌پذیری‌های مشابهی باشند. در کوتاه‌مدت، احتمالاً شاهد افزایش تقاضا برای توکن‌های امنیتی و پروژه‌های متمرکز بر حریم خصوصی (مثل ریلی‌م و مونرو) خواهیم بود.

منبع: Decrypt (مشاهده متن اصلی)