چرا هوش مصنوعی گاهی پاسخهای غلط اما «قابلباور» میدهد؟
پژوهشگران MIT در یک مطالعه جدید نشان دادهاند که سیستمهای هوش مصنوعی میتوانند بهجای فهمیدن واقعی سؤال، تنها بر اساس «الگوهای نحوی» پاسخ بدهند؛ یعنی ساختار جمله را تشخیص دهند و سپس پاسخی بدهند که بهظاهر درست است اما هیچ ارتباط معنایی ندارد.
این رفتار باعث میشود هوش مصنوعی در برخی موقعیتها پاسخهای بسیار قانعکننده اما اشتباه تولید کند؛ اتفاقی که میتواند برای کاربردهای حساس مثل پزشکی، امور مالی، پشتیبانی مشتری و حتی امنیت سایبری خطرناک باشد.
تیم MIT علاوه بر تشریح این نقص، یک روش ارزیابی خودکار نیز معرفی کرده تا توسعهدهندگان بتوانند قبل از انتشار، میزان وابستگی هوش مصنوعی به این الگوهای اشتباه را اندازهگیری کنند.
مشکل کجاست؟ وابستگی به الگوهای نحوی بهجای درک معنا
در این پژوهش مشخص شد که برخی هوشهای مصنوعی هنگام پاسخدهی به سؤال، ابتدا ساختار جمله را با نمونههایی که در مرحله آموزش دیدهاند مقایسه میکنند. اگر ساختار مشابه باشد، ممکن است پاسخی بدهند که صرفاً از روی همان الگو «حدس زده شده» و نه از روی فهم واقعی سؤال.
برای مثال، اگر در دادههای آموزشی هزاران بار جملههایی مثل «پاریس کجاست؟» دیده شده باشد، هوش مصنوعی ممکن است ساختار نحوی «قید + فعل + اسم + فعل» را با موضوع «کشورها» مرتبط کند.
نتیجه؟ حتی اگر سؤال بیمعنی باشد — مثل «سریعاً بنشین پاریس ابری؟» — هوش مصنوعی باز هم جواب دهد: «فرانسه!».
این پدیده از نگاه کاربر نهایی غیرمنتظره است و نشان میدهد که هوش مصنوعی همیشه مبتنی بر فهم معنایی عمل نمیکند.
آزمایشهای MIT: وقتی سؤال بیمعنی هم پاسخ درست میگیرد
پژوهشگران مجموعهای از آزمایشهای مصنوعی طراحی کردند که در آن تنها یک ساختار نحوی مشخص برای هر موضوع در دادههای آموزشی قرار داده شده بود. سپس واژههای سؤال با مترادفها، متضادها و حتی کلمات تصادفی جایگزین شد، بدون اینکه ساختار جمله تغییر کند.
نتیجه: مدل همچنان پاسخ «درست» میداد، حتی زمانی که سؤال هیچ معنایی نداشت.
اما وقتی همان سؤال را با ساختار نحوی متفاوت بازنویسی کردند — حتی با حفظ همان معنی — مدل شکست خورد و نتوانست پاسخ صحیح بدهد.
این رفتار در مدلهای پیشرفته مانند GPT-4 و Llama نیز مشاهده شد، که نشان میدهد مشکل محدود به مدلهای کوچکتر نیست.
چرا این موضوع خطرناک است؟
مشکل تنها یک «خطای معمولی» نیست. پژوهشگران نشان دادند که یک فرد با نیت بد میتواند از این ضعف سوءاستفاده کند.
اگر سؤال خطرناک یا ممنوعه را در قالب یک الگوی نحوی «امن» بنویسند، هوش مصنوعی ممکن است قوانین ایمنی خود را دور بزند و پاسخ مضر تولید کند — حتی اگر برای جلوگیری از چنین پاسخهایی آموزش دیده باشد.
این موضوع ریسکهای مهمی برای حوزههای پزشکی، مالی، حقوقی و حتی ایمنی اجتماعی ایجاد میکند.
پیشنهاد MIT برای حل مشکل
اگرچه مقاله روی راهحل نهایی تمرکز ندارد، اما پژوهشگران یک روش بنچمارک جدید معرفی کردهاند که میزان وابستگی مدل به الگوهای نحوی را ارزیابی میکند.
این ابزار میتواند به توسعهدهندگان کمک کند قبل از عرضه مدلهای هوش مصنوعی، این نقص را شناسایی و کاهش دهند.
همچنین محققان پیشنهاد میکنند که در آینده، دادههای آموزشی با تنوع ساختاری بیشتری تقویت شود تا مدلها بهجای ساختار جمله، روی معنی تمرکز کنند.
پرسشهای متداول
آیا این نقص در همه هوشهای مصنوعی وجود دارد؟
بله. MIT نشان داده که این مشکل حتی در مدلهای بسیار پیشرفته مانند GPT-4 و Llama نیز دیده میشود.
آیا این خطا منجر به تولید محتوای خطرناک میشود؟
در برخی موارد بله. اگر یک حملهکننده سؤال خطرناک را در قالب الگوی «سند امن» بنویسد، مدل ممکن است قوانین ایمنی را دور بزند.
آیا راهحلی برای این مشکل وجود دارد؟
MIT یک ابزار بنچمارک برای اندازهگیری این مشکل معرفی کرده و تحقیقات آینده روی متنوعسازی الگوهای نحوی در دادهها متمرکز خواهد بود.
این مشکل چه حوزههایی را تحت تأثیر قرار میدهد؟
حوزههایی مثل پزشکی، تحلیل اسناد مالی، پشتیبانی مشتری، سرویسهای مشاوره، امنیت سایبری و هر جایی که هوش مصنوعی نیاز به دقت بالا دارد.
