Multimodal Prompting: สั่ง AI ด้วยภาพ เสียง และไฟล์

เมื่อส่งภาพหรือไฟล์ให้ AI การเขียนว่า “ช่วยดูให้หน่อย” ยังคลุมเครือมาก AI อาจไม่รู้ว่าควรอ่านส่วนไหน ให้ความสำคัญกับอะไร หรือควรแจ้งความไม่แน่นอนอย่างไร Multimodal Prompting จึงต้องบอกทั้งชนิดของอินพุตและงานที่ต้องการ

Multimodal Prompting คืออะไร

คือการออกแบบคำสั่งให้ AI ทำงานกับข้อมูลมากกว่าข้อความ เช่น ภาพ สกรีนช็อต PDF ตาราง เสียง หรือวิดีโอ แนวทางหลักยังเหมือน Prompt ทั่วไป คือกำหนดเป้าหมาย บริบท และรูปแบบคำตอบ แต่ต้องเพิ่มตำแหน่งหรือส่วนของไฟล์ที่ต้องตรวจ

โครงสร้าง Prompt สำหรับภาพ

วิเคราะห์ภาพนี้เพื่อช่วยตรวจหน้าสินค้าออนไลน์
ให้ทำตามขั้นตอน:
1. อธิบายสิ่งที่มองเห็นโดยไม่เดาข้อมูลที่อ่านไม่ชัด
2. ตรวจว่าชื่อสินค้า ราคา และปุ่มสั่งซื้ออยู่ครบหรือไม่
3. ระบุปัญหาด้านความอ่านง่าย 3 ข้อ
4. เสนอการปรับปรุงโดยแยกข้อเท็จจริงออกจากความคิดเห็น
ถ้าตัวอักษรอ่านไม่ได้ ให้บอกตำแหน่งที่ต้องส่งภาพใหม่

โครงสร้าง Prompt สำหรับเอกสารและเสียง

• ระบุช่วงหน้า หัวข้อ หรือช่วงเวลาที่ต้องการตรวจ
• บอกว่าต้องการสรุป ถอดข้อมูล เปรียบเทียบ หรือค้นหาความผิดปกติ
• กำหนดให้แยกข้อมูลที่อ่านได้จากการตีความ
• ขอให้ระบุจุดที่ไฟล์ไม่ชัด ข้อมูลหาย หรือเสียงฟังไม่ออก

ระวังความคลาดเคลื่อนของไฟล์

ภาพอาจมีข้อความเล็กหรือถูกตัด ข้อมูลใน PDF อาจเป็นภาพสแกน และเสียงอาจมีผู้พูดหลายคน การตรวจด้วย AI เป็นตัวช่วยคัดกรอง ไม่ใช่หลักฐานว่าข้อมูลถูกต้องเสมอ โดยเฉพาะเอกสารทางกฎหมาย การเงิน หรือสุขภาพควรตรวจต้นฉบับ

เริ่มจาก โครงสร้าง Prompt และใช้ Few-shot Prompting เมื่ออยากให้ AI จัดรูปแบบข้อมูลจากไฟล์ให้เหมือนตัวอย่าง