E-ticarette A/B testi nasıl yapılır?

E-ticarette A/B testi nasıl yapılır?

E-ticarette A/B testi, trafiği rastgele iki gruba bölüp birine mevcut sayfayı, diğerine değiştirilmiş sürümü göstererek hangisinin daha iyi sonuç verdiğini ölçmektir. Güvenilir bir test için veriye dayalı bir hipotez kurmanız, gereken örneklem büyüklüğünü önceden hesaplamanız, testi tam haftalar boyunca çalıştırmanız ve sonucu önceden belirlenmiş bir anlamlılık düzeyine göre değerlendirmeniz gerekir.

A/B testinin değeri, fikirler arasındaki tartışmayı kullanıcı davranışıyla çözmesidir. Ancak kötü kurgulanmış bir test, hiç test yapmamaktan daha tehlikelidir; çünkü yanlış bir sonuca "kanıtlanmış" etiketi yapıştırır. Bu rehberde testi doğru kurmanın adımlarını ele alıyoruz.

İyi bir A/B testi hipotezi nasıl yazılır?

Her test bir gözlemle başlar. Analitik verisi, oturum kayıtları, müşteri hizmetleri soruları veya kullanıcı testleri size bir sorunu gösterir. Nielsen Norman Group da A/B testlerinin, kullanıcı araştırmasından gelen içgörülerle beslendiğinde çok daha güçlü varyantlar ürettiğini vurgular.

Hipotezi şu kalıpla yazın:

[Gözlem] nedeniyle, [değişiklik] yaparsak [metrik] artacak, çünkü [gerekçe].

Örnek: "Mobil ürün sayfalarında kullanıcıların kargo ücretini sordukları müşteri hizmetleri kayıtlarında sık görülüyor. Kargo ücreti ve teslim tarihini fiyatın hemen altına taşırsak mobil sepete ekleme oranı artacak, çünkü kullanıcı toplam maliyeti karar anında görecek."

İyi bir hipotez üç şey içerir: tek bir değişiklik, tek bir birincil metrik ve test edilebilir bir gerekçe. "Ürün sayfasını yenileyelim" bir hipotez değildir.

Hangi metriği ölçmelisiniz?

Birincil metrik, kararı verecek tek metriktir ve test başlamadan seçilir. E-ticarette genellikle şunlardan biridir:

• Satın alma dönüşüm oranı
• Ziyaretçi başına gelir
• Sepete ekleme oranı (yalnızca ürün sayfası testlerinde ara metrik olarak)

İkincil metrikler (sepet ortalaması, iade oranı, sayfa hızı) birincil sonucun yan etkilerini kontrol etmek için izlenir. Sepete ekleme oranını artırıp satın almayı düşüren bir değişiklik kazanan sayılmaz.

Örneklem büyüklüğü nasıl hesaplanır?

Testin kaç kullanıcıya ihtiyacı olduğunu başlamadan bilmelisiniz. Bunun için üç girdi gerekir: mevcut dönüşüm oranı, yakalamak istediğiniz en küçük etki ve istatistiksel güç ile anlamlılık düzeyi. Yaygın bir pratik, %95 güven düzeyi ve %80 güç kullanmaktır.

Bu değerler için kullanılan pratik bir yaklaşık formül şudur: varyant başına örneklem ≈ 16 x p x (1 - p) / d², burada p mevcut dönüşüm oranı, d ise yakalamak istediğiniz mutlak farktır.

Örnek: Mevcut dönüşüm oranı %2 olan bir mağaza, %10'luk göreli bir artışı (yani %2'den %2,2'ye) yakalamak istiyor.

• p = 0,02, d = 0,002
• Varyant başına örneklem ≈ 16 x 0,02 x 0,98 / 0,000004 ≈ 78.400 oturum
• İki varyant için toplam ≈ 156.800 oturum

Mağaza günde 5.000 oturum alıyorsa test yaklaşık 32 gün sürer. Bu hesap, küçük mağazaların neden küçük değişiklikleri güvenilir şekilde test edemediğini de açıklar.

Mevcut oran	Hedef göreli artış	Varyant başına yaklaşık örneklem
%2	%10	78.400
%2	%20	19.600
%4	%10	38.400
%4	%20	9.600

Tablo, aynı formülle hesaplanmış örnek değerlerdir. Gerçek testleriniz için kullandığınız test aracının hesaplayıcısını kullanın.

Test ne kadar sürmeli?

Örneklem büyüklüğüne ulaşmak tek koşul değildir. Testi en az iki tam hafta çalıştırın; böylece hafta içi ve hafta sonu davranış farkları her iki varyantta da temsil edilir. Kampanya dönemleri, bayramlar ve büyük indirim günleri trafik karışımını bozduğu için bu dönemlerde başlayan testleri dikkatle yorumlayın. Test süresini başlamadan belirleyin ve sonuç iyi göründü diye erken bitirmeyin.

Yenilik etkisine de dikkat edin. Sık gelen müşteriler, alışık oldukları sayfada bir değişiklik gördüklerinde ilk günlerde farklı davranabilir. Bu etki zamanla azalır. Bu yüzden testin ilk günlerindeki sonuçlara değil, tüm test süresinin toplamına bakın ve mümkünse yeni ve geri dönen kullanıcı sonuçlarını ayrı ayrı kontrol edin.

İstatistiksel anlamlılık nasıl okunur?

%95 güven düzeyi, gerçekte hiçbir fark yokken böyle bir fark görme olasılığınızın yaklaşık %5 olduğu anlamına gelir. Bu, kazanan varyantın kesin olarak daha iyi olduğu anlamına gelmez; yalnızca sonucun tesadüf olma ihtimalinin düşük olduğunu söyler.

Sonucu okurken şu sırayı izleyin:

1. Planlanan örneklem ve süreye ulaşıldı mı?
2. Varyantlar arasındaki trafik dağılımı beklendiği gibi mi (örneğin %50 ve %50)?
3. Birincil metrikteki fark anlamlı mı?
4. Güven aralığı iş açısından anlamlı bir etkiyi kapsıyor mu?
5. İkincil metriklerde olumsuz bir yan etki var mı?
6. Sonuç mobil ve masaüstünde tutarlı mı?

E-ticarette neyi test etmelisiniz?

Her fikri test etmeye trafiğiniz yetmez. Bu yüzden test fikirlerini bir listede toplayın ve her birini üç kritere göre 1 ile 10 arasında puanlayın: beklenen etki, kanıtın gücü ve uygulama kolaylığı. Puanı en yüksek fikirler test sırasına girer.

E-ticarette genellikle yüksek etki potansiyeli taşıyan test alanları şunlardır:

• Ürün sayfasında kargo ve teslim bilgisinin konumu
• Ücretsiz kargo eşiğinin tutarı ve gösterim şekli
• Ürün görsellerinin sırası ve ölçek görseli eklenmesi
• Sepete ekle butonunun mobilde sabitlenmesi
• Ödeme adımında misafir ödeme ve form alanı sayısı
• Kategori sayfasında varsayılan sıralama ve filtre yerleşimi
• Paket ürün ve tamamlayıcı ürün önerileri

Buton rengi veya tek bir kelimelik metin değişikliği gibi küçük düzenlemeler nadiren ölçülebilir bir fark yaratır ve çoğu mağazanın trafiğiyle güvenilir şekilde test edilemez.

Test sonuçları nasıl belgelenmeli?

Her test için hipotezi, ekran görüntülerini, tarihleri, örneklem büyüklüğünü, birincil ve ikincil metrik sonuçlarını ve alınan kararı tek bir kayıtta tutun. Kaybeden testler de en az kazananlar kadar değerlidir; neyin işe yaramadığını bilmek, aynı fikrin altı ay sonra tekrar test edilmesini önler. Zamanla bu kayıtlar, mağazanızın müşterileri hakkında ekibin ortak bilgi bankasına dönüşür.

A/B testi için hangi araçlar kullanılabilir?

Google Optimize 2023'te kullanımdan kaldırıldığından beri ekipler VWO, Optimizely, AB Tasty ve Convert gibi bağımsız test araçlarına ya da e-ticaret platformlarının uygulama mağazalarındaki test uygulamalarına yöneldi. Araç seçerken şunlara bakın: sayfa titremesine (flicker) yol açmadan çalışıp çalışmadığı, GA4 ile entegrasyonu, örneklem hesaplayıcısı ve fiyat veya kargo gibi sunucu taraflı testleri destekleyip desteklemediği.

A/B testinde en sık yapılan hatalar nelerdir?

• Testi erken bitirmek: İlk günlerde görülen büyük farklar genellikle zamanla küçülür.
• Aynı anda çok fazla değişiklik yapmak: Hangi değişikliğin etkili olduğunu öğrenemezsiniz.
• Sonuca bakıp metrik değiştirmek: Birincil metrik test başlamadan seçilmelidir.
• Yetersiz trafikle test yapmak: Küçük mağazalar için büyük, cesur değişiklikler daha uygundur.
• Segmentlerde kazanan aramak: Test sonrası onlarca segmente bakınca bazıları tesadüfen anlamlı çıkar.
• Kazanan varyantı yayına alıp ölçmeyi bırakmak: Yayın sonrası performansı da izleyin.

Trafiğiniz test için yetersizse, kullanıcı testleri, oturum kayıtları ve kontrollü önce/sonra analizleri daha uygun araçlardır.

Test yol haritanızı birlikte kurgulamak isterseniz Performetic ekibiyle iletişim sayfamız üzerinden ücretsiz bir büyüme analizi planlayabilirsiniz. Bu yaklaşımla elde ettiğimiz sonuçları başarı hikayelerimizde inceleyebilirsiniz.

Özet

• A/B testi, veriye dayalı tek bir hipotez ve önceden seçilmiş tek bir birincil metrikle başlar.
• Örneklem büyüklüğünü test başlamadan hesaplayın; küçük etkiler çok büyük trafik gerektirir.
• Testi en az iki tam hafta çalıştırın ve erken bitirmeyin.
• Anlamlılığı, trafik dağılımını, ikincil metrikleri ve cihaz tutarlılığını birlikte okuyun.
• Trafik yetersizse nitel araştırma ve kontrollü önce/sonra analizine yönelin.