از دستیار هوشمند سؤالی می‌پرسید و پاسخی روشن و مطمئن می‌گیرید. چون روان نوشته شده، درست به نظر می‌رسد؛ اما روان‌بودن متن ربطی به درستی واقعیت‌هایش ندارد. در این راهنما یک روال کوتاه برای بررسی پاسخ مدل می‌بینید که با هر مدلی کار میکند: ادعاهای مهم را جدا کنید، همانها را با منبعی معتبر بسنجید و پاسخ مدل دوم را نه داور، بلکه هشدار بدانید.
چرا پاسخ مطمئن هم میتواند غلط باشد؟
مدل‌های زبانی برای تولید متنی روان ساخته شدهاند و روان‌بودن با درستی یکی نیست. پژوهشگرانی که این حوزه را مرور کرده‌اند توضیح میدهند که تولید متن با یادگیری عمیق به «توهم» گرایش دارد؛ یعنی متنی می‌سازد که کسی آن را نخواسته، و همین در کاربردهای واقعی کیفیت را پایین می‌آورد [1]. یک آزمون به نام TruthfulQA این مشکل را ملموس کرد: پرسش‌هایی که بعضی آدم‌ها به‌خاطر یک تصور غلط رایج پاسخ اشتباه میدهند. در آن آزمایشِ سال ۲۰۲۱، بهترین مدل در ۵۸ درصد پرسش‌ها پاسخ راست داد و آدم‌ها ۹۴ درصد [2]. نویسندگان دیدند که مدلها بسیاری از تصورهای غلط رایج را تکرار می‌کنند و ممکن است خواننده را گمراه کنند، و گزارش دادند که بزرگ‌ترین مدلها در آن آزمون به‌طور کلی کم‌راست‌گوترین بودند [2]. آن مدلها قدیمی‌اند؛ پس این عددها نمرهٔ دستیارهای امروز نیستند، بلکه یادآور سازوکارند: مدلی که از نوشته‌های انسان‌ها یاد گرفته میتواند اشتباه‌های انسانی را با لحنی بسیار قانع‌کننده تکرار کند.
پیش از هر بررسی، ادعاها را دسته‌بندی کنید
همهٔ جمله‌ها به یک اندازه توجه نمی‌خواهند. پاسخ را یک بار بخوانید و هر ادعا را در یکی از سه دسته بگذارید. دستهٔ اول واقعیتی است که می‌شود جستجویش کرد، مثل نام، تاریخ، عدد یا نقل‌قول. دستهٔ دوم استدلال است، یعنی نتیجه‌ای که یا از واقعیت‌ها درمی‌آید یا درنمی‌آید. دستهٔ سوم توصیه است، یعنی کاری که باید کرد. جای جزئیات ساختگی بیشتر در نام‌ها و عددهاست، پس نخست سراغ آن‌ها بروید. استدلال را خودتان می‌توانید بسنجید: آیا قدم‌ها واقعاً به نتیجه می‌رسند؟ توصیه به وضعیت شما بستگی دارد، پس بپرسید چه چیزی آن را عوض میکند. این دسته‌بندی ساده معمولاً یک پاسخ بلند را به سه چهار موضوع کوتاه می‌رساند که واقعاً باید بررسی شوند.
مهم‌ترین ادعاها را با منبعی قابل‌اعتماد بسنجید
چند واقعیتی را که پاسخ بر آن‌ها تکیه دارد جدا کنید و هرکدام را جایی ببینید که مسئول درست‌بودنش است: صفحه یا مستندات رسمی محصول، مقالهٔ اصلی، مرجع شناخته‌شده یا سند اصلی. اغلب جستجوی دقیق همان نام یا عدد کافی است. اگر مدل پیوندی داد، آن را باز کنید؛ پیوند ممکن است غلط باشد یا به صفحه‌ای برود که چنین چیزی نگفته، پس پیوند فقط سرنخ است و مدرک نیست. اگر هیچ ردی از یک نام، عنوان یا عدد پیدا نکردید، آن را تأییدنشده بدانید و تکرارش نکنید. دربارهٔ هر چیزی که به سلامت، پول، حق قانونی یا امنیت مربوط است جلوتر بروید و از یک متخصص بپرسید؛ در این موارد پاسخی که فقط درست به نظر می‌رسد کافی نیست.
پاسخ مدل دوم را هشدار ببینید، نه داور
عادت ساده‌ای که کمک میکند این است که همان پرسش را برای دو مدل متفاوت بفرستید و پاسخها را کنار هم بگذارید. در هویدای با یک حساب کاربری به مدل‌های پشتیبانی‌شدهٔ مختلف دسترسی دارید، پس امتحان‌کردن مدل دوم زحمت زیادی ندارد. هویدای همچنین می‌کوشد قابلیت‌ها و هزینهٔ مصرف مدلها را پیش از ارسال درخواست روشن نشان دهد، و این وقتی برای نظر دوم می‌خواهید مدلی ارزان‌تر انتخاب کنید به کار می‌آید. اگر دو پاسخ در یک واقعیت اختلاف داشتند، همان‌جا را اول بررسی کنید. اگر هم‌نظر بودند خیال‌تان کمی راحت‌تر می‌شود، اما این اثبات نیست؛ چون مدل‌هایی که از نوشته‌های مشابه انسانی یاد گرفته‌اند میتوانند یک تصور غلط را مشترکاً تکرار کنند، همان الگویی که نویسندگان TruthfulQA گزارش کرده‌اند [2]. همنظری را دلیلی برای کمی آرامش بدانید و اختلاف را دلیلی برای جستجو.
از مدل بخواهیم خودش را ارزیابی کند؟
وسوسه‌انگیز است که از دستیار بپرسید «مطمئنی؟». پژوهش پاسخی محتاطانه دارد. مطالعه‌ای در سال ۲۰۲۲ بررسی کرد که آیا مدل‌های زبانی میتوانند درستی ادعاهای خودشان را بسنجند. نتیجه این بود که در پرسش‌های چندگزینه‌ای و درست‌ونادرست، وقتی پرسش در قالب مناسب ارائه شود، اطمینانی که مدل‌های بزرگ‌تر اعلام می‌کنند با درستی واقعی پاسخ‌هایشان هم‌خوانی خوبی دارد؛ و پژوهشگران روشی را آزمودند که در آن مدل نخست پاسخی پیشنهاد میدهد و بعد احتمال درست‌بودن آن را برآورد میکند [3]. این نویدبخش است، ولی آزمایشی کنترلشده دربارهٔ احتمال‌هاست، نه تضمینی که اطمینان‌دادن یک دستیار در پنجرهٔ گفتگو قابل‌اتکا باشد. در عمل جملهٔ «بله، مطمئنم» اطلاعات کمی میدهد. مفیدتر است بخواهید فهرست کند به چه چیزی تکیه کرده، چه فرضی گرفته و چه چیزی را نمی‌توانسته بداند؛ چون به شما موردهای مشخصی برای بررسی میدهد.
روالی پنج‌دقیقه‌ای که تکرارش آسان است
روال را آن‌قدر کوتاه نگه دارید که واقعاً از آن استفاده کنید. پاسخ را یک بار بخوانید و ادعاهایش را دسته‌بندی کنید. چند واقعیتی را که نتیجه به آن‌ها تکیه دارد انتخاب کنید. هرکدام را در یک منبع معتبر ببینید و آنچه یافتید یادداشت کنید. همان پرسش را برای مدل دوم بفرستید و اختلاف‌ها را دقیق ببینید. در موضوع‌های پرخطر بایستید و از یک متخصص بپرسید. نتیجه را در یک خط بنویسید تا دفعهٔ بعد که همین موضوع پیش آمد از یک واقعیت بررسی‌شده شروع کنید، نه از حدسی تازه.
نتیجه‌گیری
روان‌بودن یعنی درست‌بودن نیست و مدل میتواند با لحنی آرام و مطمئن اشتباه کند. برای محافظت از خودتان به ابزار خاصی نیاز ندارید: ادعاها را دسته‌بندی کنید، چند مورد مهم را با منبعی معتبر بسنجید، اختلاف مدل دوم را هشدار بدانید و تصمیم‌های پرخطر را به انسان بسپارید. با این روال دستیار همان چیزی می‌شود که باید باشد: پیش‌نویسی سریع که بخش‌های مهمش را خودتان بررسی کرده‌اید.
منابع
- Survey of Hallucination in Natural Language Generation — arXiv, 2022-02-08
- TruthfulQA: Measuring How Models Mimic Human Falsehoods — arXiv, 2021-09-08
- Language Models (Mostly) Know What They Know — arXiv, 2022-07-11
