#443 A/B Testing: ควรเทสอะไรก่อน และต้องใช้ข้อมูลเท่าไหร่

https://www.youtube.com/watch?v=sMpDs6hcL80 · App Masters · อัปโหลด 2023-07-03 · ยาว 7:34 · ชื่อเดิม: A/B Testing Explained: What to Test First and Data Requirements · ซับ auto-caption YouTube (ไม่ได้ฟังเสียงซ้ำ ไม่ได้ดูภาพ) · AI สรุป

⚡ สรุปสั้น

อธิบายพื้นฐาน A/B test คือแบ่งผู้ใช้ครึ่งหนึ่งเห็นเวอร์ชันเก่า อีกครึ่งเห็นเวอร์ชันใหม่ แล้ววัดผลเทียบกัน เพื่อตัดปัจจัยภายนอกออก

ผู้พูดแนะนำให้เริ่มเทสจากหน้าแรกสุดที่คนเห็นเยอะที่สุด เช่น หน้าสมัครสมาชิก แล้วค่อยไล่ลงไปตาม funnel แอปที่ดาวน์โหลดน้อยก็เทสได้ ถ้าเลือกจุดที่คนผ่านเยอะ

มีตัวอย่างเทสหน้าสมัคร (เอา Apple/Google ขึ้นก่อน) และเทสสลับลำดับ paywall กับหน้าสมัคร ซึ่งผลของแต่ละคนออกมาตรงข้ามกัน จึงต้องเทสกับแอปตัวเอง

📌 ประเด็นสำคัญ (อ้างนาที)

• A/B test คือแบ่งผู้ใช้ เช่น ครึ่งหนึ่งเห็นเวอร์ชันเก่า อีกครึ่งเห็นเวอร์ชันใหม่ แล้วเทียบผล ทำให้วัดผลจากการเปลี่ยนนั้นจริงๆ ไม่ปนกับปัจจัยภายนอกอย่างแคมเปญการตลาดหรือวันหยุด [00:32]
• ขั้นต่ำควรมีดาวน์โหลดราว "a couple hundred downloads a day" ถึงจะเทส activation และ monetization ได้หลากหลาย แต่ผู้พูดเคยทำงานกับแอปที่มี 50 ดาวน์โหลดต่อวันแล้วได้ผลที่มีนัยสำคัญ [01:03]
• สิ่งที่สำคัญกว่าจำนวนดาวน์โหลดคือ "มีคนเห็นสิ่งที่เทสกี่คน" แอป 50 ดาวน์โหลดต่อวันเทส activation funnel และ landing page ได้ แต่เทสส่วนลึกที่มีคนเข้าถึงแค่ราว 5 คนไม่คุ้ม [01:34]
• สำหรับแอปเล็ก (ต่ำกว่า 100 ดาวน์โหลด) ให้เริ่มจากหน้าแรกที่คนเห็น เช่น หน้าสมัครหรือปุ่ม CTA เพราะทำง่ายและคนเห็นเยอะที่สุด ยังไม่ต้องดู retention หรือ engagement [02:04]
• เมื่อมีผู้ใช้และข้อมูลมากพอ ค่อยขยายไปดู flow ในแอป ผลระยะยาวอย่าง retention, monetization และ snowball effects [02:35]
• ผู้พูดแนะนำให้เริ่มจากตัวเลข registration ว่ามีกี่คนสมัครในแอป เพราะหน้าจอเดียว ควบคุมง่าย และมีคนผ่านเยอะ [03:06]
• ตัวอย่างเทสหน้าสมัคร: ดูข้อมูลผู้ใช้จริงพบว่าบน Android "97 plus percent" ใช้ continue with Google และบน iOS ราว 90 ใช้ continue with Apple จึงเปลี่ยน UI ให้ปุ่ม Apple/Google อยู่บนสุด ที่เหลือซ่อนใต้ "other" ผลคือ registration เพิ่มขึ้น 5 เปอร์เซ็นต์ [04:07]
• เกณฑ์ registration: ถ้าเป็นแค่ OAuth (Apple/Google) ควรอยู่ "above 80" ผู้พูดเคยเห็นต่ำสุดราว 50 และสูงสุด 90 กว่า ซึ่งขึ้นกับความแข็งแรงของแบรนด์และความไว้ใจด้วย [05:08]
• เคสสลับลำดับ paywall ขึ้นก่อนหน้าสมัคร: ลูกค้ารายหนึ่งได้ยอดขายเพิ่ม 52 เปอร์เซ็นต์ และ (ตัดส่วนนี้ออก เหลือเพียงยอดขายเพิ่ม 52 เปอร์เซ็นต์) แต่ผู้พูดอีกคนเคยลองแล้วได้ผลตรงข้าม ขึ้นกับคุณภาพ onboarding และ copy ก่อนถึง paywall [05:40]
• เครื่องมือที่พูดถึง: Amplitude Experimentation (ผู้พูดชอบเพราะรวมกับ analytics), split.io, Optimize, Firebase (ทางเลือกที่ถูกกว่า) และเครื่องมือที่ฟังเป็น "purchasing" ซึ่งไม่ต้องใช้วิศวกร [06:42]

เอาไปใช้ยังไง

เริ่มเทสที่หน้าแรกสุดของแอป เช่น ลำดับและการจัดวางปุ่ม Apple/Google sign-in ก่อน แล้วค่อยเทสลำดับ onboarding กับ paywall โดยเช็กข้อมูลผู้ใช้จริงก่อนว่าคนส่วนใหญ่เลือกวิธีไหน ถ้ายังไม่มีเครื่องมือ ลองใช้ Firebase A/B Testing ซึ่งถูกที่สุดในรายการ

🗒️ ข้อควรระวัง

ซับอังกฤษบางช่วงเพี้ยน เช่น "Zone Cloud's only getting 65" [04:37] ตัวเลข 65 เปอร์เซ็นต์และ "190 increase" ของ trial activations [06:42] ฟังไม่ชัด อย่ายึดเป็นตัวเลขจริง ตัวเลข 52% และ 5% เป็นผลเฉพาะเคสของผู้พูด ไม่ใช่ค่ากลาง ส่วนชื่อ "Optimize" น่าจะหมายถึง Google Optimize ซึ่งปิดบริการไปแล้ว (ปลายกันยายน 2023) ให้ตรวจสถานะเครื่องมืออื่นที่กล่าวถึงก่อนใช้ ผู้พูดมีความชอบส่วนตัวต่อ Amplitude

• ✅ ตรวจเสียงจริงแล้ว (whisper) 5 จุด · แก้ 1 จุด · ยังไม่แน่ใจ: ช่วงที่ว่าผู้พูดอีกคนลองแล้วได้ผลตรงข้าม เสียงจริงบอกว่า 'it wasn't big... small job, but it didn't work' ซึ่งสรุปไม่ได้ผิดชัดเจน; ตัวเลข 65% ของ SoundCloud ในเสียงจริงไม่ได้อยู่ในสรุป จึงไม่ได้เทียบ