#516 ลดต้นทุน AI: โฮสต์ Whisper เอง + ไม่ลดคุณภาพโมเดลของผู้ใช้ฟรี

https://www.youtube.com/watch?v=z9giyiGwO9w · App Masters · อัปโหลด 2024-12-18 · ยาว 6:16 · ชื่อเดิม: This HACK Will Lower Your AI Costs · ซับ auto-caption YouTube (ไม่ได้ฟังเสียงซ้ำ ไม่ได้ดูภาพ) · AI สรุป

⚡ สรุปสั้น

เจ้าของแอปบันทึกเสียง+สรุปด้วย AI เล่าว่าต้นทุน OpenAI อยู่ราว 2-5% ของรายได้ และลดต้นทุนถอดเสียงด้วยการโฮสต์ Whisper (โอเพนซอร์ส) เอง ผ่าน RunPod ได้ราวหนึ่งในสี่ของราคา API

เขาใช้ ChatGPT เรียนรู้เรื่องเทคนิคอย่าง Docker, serverless, webhook โดยไม่มีพื้นหลังวิศวกร และย้ายงานประมวลผลทั้งหมดขึ้นคลาวด์ (Firebase functions) เพื่อไม่ให้เสียไฟล์เสียงเมื่อผู้ใช้ปิดแอป

แนวคิดเรื่องโทเคน: ไม่จำกัด ใช้โมเดลดีที่สุดแม้กับผู้ใช้ฟรี และรัน server เผื่อไว้เพื่อให้ผู้ใช้ใหม่ได้ผลทันทีไม่ต้องรอ

📌 ประเด็นสำคัญ (อ้างนาที)

• ต้นทุน OpenAI อยู่ที่ประมาณ 2-3 ถึง 5% ของรายได้ แต่ตัวเลขยังไม่แม่นเพราะมีแพ็กเกจรายปีเยอะ ควรกระจายรายได้รายปีออกเป็นรายเดือนก่อนเทียบ (ARR) [00:00]
• Whisper ของ OpenAI เป็นโอเพนซอร์ส ดาวน์โหลดโมเดลไปรันเองได้ และมีเวอร์ชันดัดแปลงเช่น WhisperX และ faster-whisper [00:31]
• ใช้ RunPod โฮสต์เอง — API ของ OpenAI ประมาณ 36 เซนต์ต่อชั่วโมง (ราว 6/10 เซนต์ต่อนาที) แต่โฮสต์เองได้ราวหนึ่งในสี่ของราคานั้น แลกกับการต้องดูแลเองเมื่อมีปัญหา [01:03]
• ใช้ ChatGPT ถามเรื่องเทคนิค เช่น Docker คืออะไร/ทำงานอย่างไร พร้อมแปะเอกสารของ RunPod ให้อธิบาย — ถ้าถามเก่งจะเรียนรู้เรื่องเทคนิคได้ [01:35]
• สถาปัตยกรรม: แอปมีหน้าที่แค่อัดเสียงแล้วอัปโหลด หลังจากนั้นถอดเสียง สรุป บันทึก ทำที่คลาวด์ทั้งหมดบน Firebase functions [02:05]
• เหตุผลที่ย้ายไปทำฝั่งเซิร์ฟเวอร์: ถ้าผู้ใช้สลับแอปหรือปิดเครื่องระหว่างรอผล ไฟล์เสียงจะหาย จึงต้องเอาเสียงออกจากโทรศัพท์ให้เร็วและประมวลผลแบบ asynchronous/webhook [02:35]
• เว็บไซต์ใช้ Next.js และ server actions ส่วนหน้าเว็บที่ลูกค้าเห็นเป็นงานเดียวที่จ้างคนทำบน Upwork เพราะมีเอฟเฟกต์ scroll ที่ทำเองไม่ได้ [04:07]
• แนวคิดโทเคน: ไม่ตั้งเพดาน ใช้ API ที่ดีที่สุดเพื่อให้สรุป/ถอดเสียงดีที่สุด เพราะทำให้ผลิตภัณฑ์ดีขึ้น [04:37]
• ไม่ควรให้ผู้ใช้ฟรีใช้ GPT-3.5 และให้ผู้จ่ายเงินใช้ GPT-4o — ผู้พูดมองว่าควรทำเดโมให้ดีที่สุด ไม่ใช่ทำให้แย่ลง [05:07]
• ปรับประสบการณ์ผู้ใช้ใหม่: ผู้ใช้ใหม่มักอัดแค่ประมาณ 3 วินาที (ขณะที่การอัดเฉลี่ย 15 นาที) จึงรันเซิร์ฟเวอร์เกินจำเป็นเพื่อไม่ให้มี cold start หรือคิวรอ [05:37]

เอาไปใช้ยังไง

ถ้าแอปมีฟีเจอร์ถอดเสียงหรือเรียก AI ปริมาณมาก ลองเทียบราคา API กับโฮสต์ Whisper เองบน RunPod และย้ายงานประมวลผลที่ไม่ต้องทันทีขึ้นคลาวด์แบบ asynchronous ส่วนผู้ใช้ใหม่ควรให้ประสบการณ์ AI ที่ดีที่สุดตั้งแต่ครั้งแรก

🗒️ ข้อควรระวัง

ตัวเลขราคา (36 เซนต์/ชั่วโมง) และสัดส่วนต้นทุน 2-5% เป็นของปลายปี 2024 และผู้พูดเองบอกว่ายังไม่แม่น ควรตรวจราคา OpenAI/RunPod และโมเดลที่มีอยู่ปัจจุบัน (ผู้พูดอ้าง GPT-3.5/GPT-4o ซึ่งเก่าแล้ว) ก่อนตัดสินใจ การโฮสต์เองต้องดูแลระบบเองและเหมาะกับคนที่พอมีพื้นฐานเทคนิค

• ตัวเลข/ชื่อ ตามซับ auto อาจเพี้ยน — ยังไม่ได้ฟังทวน