Nghiên cứu thị trường: Sample Size bao nhiêu thì đủ, bao nhiêu thì phí?

Giống như bác sĩ tư vấn tâm lý, năm nào cũng chừng đấy câu hỏi chỉ là khác người hỏi, dân Research chúng tôi lúc nào cũng nhận được: “Dựa vào đâu mà quyết định số lượng sample như thế này, có ít quá không?”.

Đơn giản thì trong vòng vài câu, với vài concept là đối tác có thể hoàn toàn yên tâm: “Bao nhiêu đó đủ rồi, sample nhiều hơn chỉ tốn kém”.

Phức tạp và “kĩ thuật” hơn một chút, thì câu trả lời nằm ở hai khái niệm mà dân Research hay dùng nhưng ít khi giải thích rõ (vì không cần đến vậy), là Effect Size và Sample Size. Bài này sẽ giải thích cả hai, qua 2 ví dụ thực tế từ công việc hằng ngày của một Marketing Manager.

Hi vọng những ai đọc được bài này, sẽ không bao giờ lăn tăn với câu hỏi “Sao mẫu ít quá vậy?” hay “Thêm mẫu nữa thì có được gì không?”.

★★★

Hãy nghĩ đơn giản thế này.

Bạn tung một đồng xu 3 lần, ra 3 lần mặt ngửa. Bạn có kết luận đồng xu bị gian lận không? Chắc không – vì 3 lần quá ít, hoàn toàn có thể là may rủi.

Bạn tung 1.000 lần, ra 900 lần mặt ngửa. Lúc này bạn gần như chắc chắn có vấn đề.

Nghiên cứu thị trường cũng vậy. Số lượng mẫu nhỏ thì mức độ “nhiễu” nhiều, kết luận dễ sai. Mẫu lớn thì tín hiệu rõ hơn, kết luận đáng tin hơn, nhưng tốn tiền hơn.

Vậy “đủ lớn” là bao nhiêu?

Điều này phụ thuộc vào Effect Size – tức là sự khác biệt bạn đang cố gắng phát hiện lớn hay nhỏ.

Quy tắc ở đây là:

Sự khác biệt càng nhỏ thì cần càng nhiều mẫu để phát hiện ra nó.

Điều này có thể được khái quát qua các con số dưới đây:

Sự khác biệt càng nhỏ đồng nghĩa với việc cần càng nhiều mẫu để phát hiện ra nó.
Nguồn: Brands Vietnam

Nhưng những con số này đến từ đâu? Để hiểu điều đó, trước hết, chúng ta cần biết Jacob Cohen là ai.

Jacob Cohen và bảng phân loại Effect Size

Jacob Cohen (1923-1998) là nhà thống kê tâm lý học người Mỹ tại Đại học New York. Ông nổi tiếng vì một lý do khá mỉa mai: Ông nhận ra rằng hầu hết các nghiên cứu tâm lý học được công bố thời đó đều quá ít mẫu để có thể tin được – kể cả những nghiên cứu đã được đăng trên tạp chí danh tiếng.

Năm 1962, ông ngồi đọc lại toàn bộ ấn phẩn đã phát hành của một tạp chí tâm lý học hàng đầu và tính lại số mẫu cần thiết cho từng nghiên cứu. Kết luận của ông: phần lớn các nghiên cứu đó có Power chỉ khoảng 18-48% – tức là xác suất bỏ sót một hiệu ứng thật sự lên đến hơn 50%.

Công trình đó dẫn đến cuốn sách “Statistical Power Analysis for the Behavioral Sciences” (1969, tái bản 1988) – một trong những cuốn sách thống kê được trích dẫn nhiều nhất lịch sử. Trong đó, ông đề xuất hệ thống đo lường Effect Size và đặt ra các ngưỡng “quy ước” để cộng đồng nghiên cứu có thể nói chuyện với nhau.

Hệ thống đo lường Effect Size do Jacob Cohen đề xuất.
Nguồn: Brands Vietnam

Những ví dụ hình dung nêu trên do chính Cohen đề xuất trong sách. Để hiểu rõ hơn, hãy cùng tìm hiểu ý nghĩa của bảng này qua 2 ví dụ thực tế sau.

★★★

Ví dụ 1 – Giảm đường trong nước tăng lực: Khi mục tiêu là “người dùng không nhận ra”

Bối cảnh

Thuế tiêu thụ đặc biệt với đồ uống có đường tăng cao. Một thương hiệu nước tăng lực quyết định giảm hàm lượng đường trong công thức, nhưng có một điều kiện từ Ban giám đốc: “Người tiêu dùng không được nhận ra sự thay đổi”.

Đây không phải là bài toán “Công thức mới có ngon hơn không?”, mà ngược lại hoàn toàn: “Công thức mới có bị phát hiện là khác không?”.

Nếu người dùng nhận ra vị thay đổi và không thích, thương hiệu mất khách. Nếu họ không nhận ra, công ty tiết kiệm được chi phí nguyên liệu và tuân thủ thuế.

Cấu trúc nghiên cứu: Blind Test (CLT)

Phương pháp nghiên cứu phù hợp là Central Location Test (CLT) – mời người tham gia đến một địa điểm trung tâm (thường là trung tâm thương mại hoặc hội trường thuê), cho họ thử cả hai sản phẩm mà không biết cái nào là cũ, cái nào là mới. Sau đó chúng ta có thể hỏi:

• Bạn thích sản phẩm nào hơn?
• Hai sản phẩm này có khác nhau không? Khác ở điểm nào?
• Cho điểm hương vị từ 1-10.

Bước 1 – Xác định mục tiêu thống kê

Mục tiêu của nghiên cứu là không phát hiện sự khác biệt – hay nói chính xác theo ngôn ngữ thống kê: Chứng minh rằng sự khác biệt, nếu có, là đủ nhỏ để không ảnh hưởng đến hành vi người dùng.

Đây gọi là Equivalence Testing (kiểm định tương đương) – khác với A/B test thông thường. Thay vì hỏi “Hai thứ này có khác nhau không?”, ta hỏi “Hai thứ này có đủ giống nhau không?”.

Giả dụ ngưỡng “đủ giống nhau” được định nghĩa trước: Nếu sự khác biệt hương vị nhỏ hơn 0,5 điểm trên thang 10, chúng ta coi như người tiêu dùng không nhận ra được.

Bước 2 – Chạy thử nhỏ 20 người để ước tính

Trước khi đầu tư vào nghiên cứu chính thức, team tổ chức một buổi thử với 20 người nội bộ hoặc người tiêu dùng tuyển nhanh, không phải để lấy kết quả, mà chỉ để trả lời: “Hai công thức này thực tế cách nhau bao xa?”.

Ví dụ, chúng ta ra được kết quả như sau:

Kết quả ví dụ.
Nguồn: Brands Vietnam

Như vậy, chênh lệch là 0,3 điểm. Dao động trung bình là 1,35 điểm.

Tại sao cần con số “dao động” (SD)? Vì mỗi người có khẩu vị khác nhau – có người cho 9 điểm, có người cho 5 điểm cho cùng một sản phẩm. Sự dao động đó tạo ra “nhiễu nền”. Để kết luận rằng 0,3 điểm chênh lệch là thật (không phải nhiễu), ta cần đủ mẫu để tín hiệu nhỏ đó vượt trội so với nền nhiễu.

Công thức tính Cohen’s d.
Nguồn: Brands Vietnam

Áp dụng công thức trên, chúng ta có:

d = 0,3 ÷ 1,35 ≈ 0,22 → Small Effect.

d = 0,22 nghĩa là: Hai công thức khác nhau, nhưng ở mức rất nhỏ – nằm giữa “không đáng kể” và “nhỏ” theo thang Cohen.

Bước 3 – Tính số mẫu cần thiết

Với d = 0,22, Power = 0,8, α = 0,05 (tôi sẽ giải thích ở đâu có 2 con số Power và α ở cuối bài):

→ Cần khoảng 327 người mỗi nhóm.
→ Tổng: ~654 người cho toàn bộ nghiên cứu.

Nếu dùng con số 20 người ban đầu để kết luận thì sao? Thì Power chỉ đạt khoảng 11% – tức là 89% khả năng bỏ sót sự khác biệt thật, dù nó nhỏ. Đây là rủi ro không thể chấp nhận khi quyết định liên quan đến đổi công thức toàn bộ dây chuyền sản xuất.

Bước 4 – Kết quả và quyết định

Sau khi thu thập đủ 654 người và vẫn chênh lệch 0,3 điểm, nghĩa là kết quả không đạt ngưỡng có ý nghĩa thống kê, tức là sự khác biệt nằm trong phạm vi nhiễu ngẫu nhiên, không phải tín hiệu thật. Người tiêu dùng không phân biệt được hai công thức.

Lúc này, Ban giám đốc có thể phê duyệt: Chuyển sang công thức ít đường.

Chi phí thực tế

CLT face-to-face tại Việt Nam thường được ước tính trong khoảng 700.000-1.200.000 VNĐ/phiếu, tùy mỗi Research Agency, địa điểm và độ phức tạp của bảng hỏi. Lấy mức trung bình 1.000.000 VNĐ/phiếu:

654 phiếu × 1.000.000 VNĐ = 654.000.000 VNĐ (~650 triệu đồng).

Con số này nghe lớn, nhưng so với chi phí đổi công thức sai (phải đổi lại, xử lý truyền thông khủng hoảng, mất khách hàng trung thành), đây là khoản đầu tư hợp lý.

Ngược lại, nếu chỉ test với 20 người và kết luận “không có vấn đề gì”, chỉ chi khoảng 20 triệu nhưng rủi ro sai là 89%. Đó là tiết kiệm nhầm chỗ.

Ví dụ này rất quen thuộc với R&D, Marketing & Sales các ngành nước uống và thực phẩm. Một cân chỉnh nhỏ trong công thức, bao bì hay những vật liệu phụ trợ (ống hút chẳng hạn), đều dẫn đến hiệu ứng rất lớn.

Thế nên, số mẫu cần phải đúng và đủ để không lâm vào tình trạng “tiền mất tật mang”.

★★★

Ví dụ 2 – A/B test nút xanh vs. nút đỏ: Cái bẫy của p < 0,05

Bối cảnh

Team product của một sàn thương mại điện tử muốn kiểm tra xem màu nút “Mua ngay” có ảnh hưởng đến tỉ lệ mua hàng không.

• Version A (đang chạy): nút xanh lá, tỉ lệ chuyển đổi hiện tại 3,0%
• Version B (muốn test): nút đỏ cam, kỳ vọng tăng lên 3,5%

Vấn đề: Sự khác biệt 0,5% trông nhỏ – và nó thật sự rất nhỏ

Chênh lệch từ 3,0% lên 3,5% nghe không nhiều, nhưng với lượng traffic lớn thì có thể đáng tiền. Tuy nhiên, để phát hiện ra sự chênh lệch nhỏ như vậy một cách đáng tin cậy, bạn cần rất nhiều dữ liệu.

Tính Cohen’s d cho hai tỉ lệ này: d ≈ 0,03 là cực kỳ nhỏ, với công thức như trên.

d = 0,03 → Cần khoảng 17.000 lượt mỗi nhóm → Tổng ~34.000 lượt truy cập.

Sai lầm team đã mắc phải

Team chạy A/B test trong 2 tuần, thu được 4.000 lượt mỗi nhóm. Kết quả:

• Nút xanh: 3,0% → 120 đơn hàng
• Nút đỏ: 3,6% → 144 đơn hàng
• p-value = 0,04 → nhỏ hơn 0,05

Team kết luận: nút đỏ thắng, và triển khai toàn bộ.

Nhưng có một vấn đề lớn ở đây. Với chỉ 4.000 mẫu trong khi cần đến 17.000, test này thiếu Power nghiêm trọng. Khi test thiếu Power, một nghịch lý xảy ra: Những kết quả có vẻ đạt p < 0,05 lại càng đáng ngờ hơn, vì để “ngẫu nhiên” tạo ra một kết quả đủ lớn để vượt ngưỡng với ít dữ liệu như vậy, thường cần một đợt biến động bất thường, không phải tín hiệu thật.

Nói đơn giản hơn: Kết quả đó nhiều khả năng là may rủi.

Tại sao điều này xảy ra?

Hãy tưởng tượng bạn muốn kiểm tra xem một đồng xu có bị gian lận không (tỉ lệ thật là 52% thay vì 50%). Nếu bạn chỉ tung 10 lần, có thể ngẫu nhiên ra 7 ngửa – và bạn nghĩ đồng xu bị gian. Thực ra đó chỉ là biến động bình thường.

Với A/B test cũng vậy: 144 đơn so với 120 đơn trong 2 tuần hoàn toàn có thể xảy ra ngẫu nhiên, dù hai nút thực ra không khác gì nhau.

Giải pháp thực tiễn

• Phương án 1 – Kiên nhẫn chờ đủ mẫu: Nếu site có 3.000 lượt/ngày, cần khoảng 11 ngày để đủ 34.000 lượt. Điều quan trọng là không nhìn kết quả giữa chừng và dừng sớm khi thấy p < 0,05 – đó là cách chắc chắn nhất để không bị nhiễu đánh lừa.
• Phương án 2 – Test thay đổi lớn hơn: Thay vì chỉ đổi màu nút, thử đổi toàn bộ khu vực CTA (màu + kích thước + vị trí + nội dung nút). Thay đổi lớn hơn thì Effect Size lớn hơn, dẫn đến việc cần ít mẫu hơn.
• Phương án 3 – Đặt ngưỡng kỳ vọng thực tế hơn: Nếu mục tiêu chỉ là tăng 0,5%, hãy tự hỏi liệu sự tăng đó có đủ lớn để tác động đến doanh thu một cách có ý nghĩa không. Nếu không, đừng tốn thời gian thử nghiệm, hãy tập trung vào những thay đổi khác có tiềm năng lớn hơn.

Tổng kết: 3 câu hỏi trước mọi nghiên cứu định lượng

1. Sự khác biệt tôi muốn phát hiện là lớn hay nhỏ?

Chạy thử quy mô nhỏ trước (khoảng 20-30 người) để ước tính. Đừng giả định.

2. Nếu tôi kết luận sai, hậu quả là gì?

Đổi công thức sản xuất dựa trên kết quả sai sẽ dẫn đến thiệt hại hàng tỷ đồng hoặc hơn.

Đổi màu nút dựa trên kết quả sai thì thiệt hại nhỏ hơn nhiều.

Rủi ro càng lớn, tiêu chuẩn tin cậy phải càng cao, số mẫu phải càng nhiều.

3. Chi phí thu thập đủ mẫu có cân xứng với quyết định không?

Dùng bảng tổng kết dưới đây để ước tính trước khi bắt đầu nghiên cứu.

Bảng ước tính trước khi bắt đầu nghiên cứu.
Nguồn: Brands Vietnam

Không có nghiên cứu nào hoàn hảo, nhưng biết giới hạn của số mẫu bạn có sẽ giúp bạn đưa ra quyết định tốt hơn nhiều so với việc bỏ qua câu hỏi này hoàn toàn.

★★★

Tái bút – Hai con số “quy ước” bạn sẽ thấy ở khắp nơi: α = 0,05 và Power = 0,8

Khi đọc bất kỳ báo cáo nghiên cứu nào, bạn sẽ thấy hai con số này xuất hiện gần như mặc định. Chúng đến từ đâu?

α = 0,05 do nhà thống kê Ronald Fisher đề xuất.
Nguồn: Brands Vietnam

Ronald Fisher là nhà thống kê người Anh, cha đẻ của nhiều phương pháp thống kê hiện đại. Năm 1925, trong cuốn “Statistical Methods for Research Workers”, ông đề xuất dùng ngưỡng 1/20 (5%) để phán xét một kết quả có “đáng tin” hay không.

Lý do? Không có gì đặc biệt về mặt toán học, Fisher chỉ nói đây là mức “convenient and reasonable” (tiện lợi và hợp lý). Cộng đồng nghiên cứu dùng theo, và sau vài thập kỷ, α = 0,05 trở thành tiêu chuẩn ngầm của hầu hết các ngành khoa học, kể cả Marketing Research.

Nói nôm na, α = 0,05 nghĩa là bạn chấp nhận 5% xác suất kết luận sai theo kiểu False Positive – tức là tuyên bố “có khác biệt” trong khi thực ra không có.

Power = 0,8 do Jacob Cohen đề xuất.
Nguồn: Brands Vietnam

Cũng chính Jacob Cohen đề xuất con số Power = 0,8. Lý luận của ông như sau:

• Nếu ta đặt α = 0,05 (chấp nhận 5% khả năng False Positive) thì sai số ngược lại – False Negative (bỏ sót một hiệu ứng thật) – nên được kiểm soát ở mức không quá nghiêm ngặt hơn.
• Cohen cho rằng “bỏ sót một hiệu ứng thật” thường ít nguy hiểm hơn “tuyên bố nhầm một hiệu ứng không tồn tại”, nên ông đặt tỉ lệ 1:4 – chấp nhận False Negative tối đa 20%, tức Power tối thiểu bằng 80%.

Một lần nữa: Đây là lựa chọn thực dụng, không phải tất yếu toán học. Cohen tự nhận điều này trong sách.

Vậy có thể dùng con số khác không?

Hoàn toàn có thể, và trong thực tế kinh doanh, đôi khi nên làm vậy:

Một số tình huống mà chúng ta có thể dùng con số khác thay cho α và Power quy ước.
Nguồn: Brands Vietnam