สถานการณ์ฝึกจับคำตอบ AI ที่ฟังดูจริงแต่ไม่มีหลักฐาน

การฝึกจับคำตอบ AI ที่ไม่มีหลักฐานควรสอนวิธีตรวจ claim ทีละข้อ ไม่ใช่ให้จำว่าใช้ prompt แบบใดแล้วปัญหาจะหาย ผู้สอนสร้างตัวอย่างที่มีข้อผิดพลาดโดยตั้งใจและเปิดเฉลยได้ เพื่อให้ผู้เรียนฝึกหยุดก่อนนำคำตอบไปใช้ในงาน

สร้างการ์ดข้อผิดพลาดจากโจทย์สมมติ

ทำคำตอบตัวอย่างสั้นสี่แบบ: อ้างชื่อเอกสารที่ไม่มีในชุด เปลี่ยนหน่วยหรือตัวเลข เติมเงื่อนไขที่ต้นฉบับไม่ได้ระบุ และสรุปเหตุเป็นผลทั้งที่มีเพียงข้อมูลร่วมกัน ใช้ต้นฉบับสังเคราะห์ที่ผู้สอนควบคุมได้ ห้ามอ้างว่าสถานการณ์เหล่านี้สะท้อนอัตราความผิดพลาดของผลิตภัณฑ์ใด

ให้ผู้เรียนทำ claim check

1. ขีดเส้นใต้วันที่ จำนวน เงื่อนไข และข้อสรุปที่ตรวจสอบได้
2. ตามแต่ละ claim กลับไปยังแหล่งที่อนุญาตและเปิดอ่านบริบทก่อนหน้า-หลัง
3. ทำเครื่องหมาย “รองรับ”, “ขัดแย้ง” หรือ “ยังยืนยันไม่ได้” พร้อมจดส่วนที่ตรวจแล้ว
4. แก้ประโยคโดยเก็บเฉพาะสิ่งที่หลักฐานรองรับ หรือส่งต่อเมื่อผลกระทบสูง

ในการ debrief ถามว่าผู้เรียนพบความผิดพลาดจากตัวเลข ชื่อ หน่วย ช่วงเวลา หรือเหตุผลอย่างไร และส่วนไหนใช้เวลาตรวจนานที่สุด เป้าหมายคือให้เขาอธิบายเส้นทางหลักฐาน ไม่ใช่แข่งกันจับผิดให้เร็ว

ตัวอย่าง rubric แบบสั้น

ตรวจว่าผู้เรียนระบุ claim ครบ เปิดแหล่งต้นทางจริง บันทึกความไม่แน่นอน และไม่เปลี่ยนคำตอบเกินสิ่งที่หลักฐานรองรับหรือไม่ หากเปิดแหล่งไม่ได้ ให้รักษาสถานะ unresolved แทนการเดา ตัวชี้วัดนี้ประเมินทักษะในแบบฝึก ไม่ใช่อัตราความแม่นยำของโมเดลหรือคุณภาพงานทั้งองค์กร

แก้ prompt ได้ แต่ต้องตรวจผลซ้ำ

ผู้เรียนอาจเพิ่มคำสั่งให้ระบบแสดงแหล่งและบอกเมื่อไม่ทราบ แต่คำสั่งดังกล่าวไม่ได้พิสูจน์ว่า citation มีอยู่จริงหรือเนื้อหาถูกต้อง แหล่งยังต้องเปิดตรวจและเทียบกับ claim หากงานเชื่อมกับการตัดสินใจสำคัญ ให้ใช้ขั้นตอนอนุมัติที่องค์กรกำหนด

เช็กลิสต์ผู้สอน

• ต้นฉบับและเฉลยไม่มีข้อมูลจริง
• ข้อผิดพลาดที่ตั้งใจถูกระบุไว้ในคู่มือผู้สอน
• ไม่มีตัวเลขกล่าวอ้างถึงผลิตภัณฑ์โดยไร้ผลทดสอบ
• มีผู้รับผิดชอบสำหรับกรณีที่ต้องส่งต่อ