A/B testlerinde hangi başlığın (Title Tag) daha iyi performans gösterdiğini belirlemek, basit bir “yüzde karşılaştırması” değil, bir İstatistiksel Hipotez Testi sürecidir. Tıklama oranındaki (CTR) artışı matematiksel olarak kanıtlamak için verinin rastlantısal mı yoksa anlamlı bir iyileştirme mi olduğunu ölçmemiz gerekir.
İşte CTR optimizasyonunu matematiksel bir kanıta dönüştürme metodolojisi:
1. Hipotez Kurulumu (Null vs. Alternative Hypothesis)
Analize başlamadan önce matematiksel çerçeveyi çiziyoruz:
- Sıfır Hipotezi ($H_0$): İki başlık arasında tıklama oranı açısından istatistiksel olarak anlamlı bir fark yoktur. Farklılık şansa bağlıdır.
- Alternatif Hipotez ($H_1$): B başlığı, A başlığından anlamlı derecede daha yüksek bir CTR’a sahiptir.
2. İstatistiksel Güç ve Örneklem Büyüklüğü
Deneye kaç kişinin katılması gerektiğini önceden belirlemek “Peeking” (erken bakma) hatasını önler.
- Minimum Örneklem Büyüklüğü (Sample Size): Beklenen etki boyutu (Minimum Detectable Effect) ve istenen istatistiksel güç (%80 standarttır) kullanılarak hesaplanır.
- $\alpha$ (Anlamlılık Düzeyi): Genellikle 0.05 olarak seçilir. Bu, hata payımızın %5 olduğunu ifade eder.
3. Ki-Kare ($\chi^2$) Testi veya Z-Testi Uygulaması
CTR bir oran (tıklama / izlenim) olduğu için, iki farklı grubun oranlarını karşılaştırmada en yaygın kullanılan yöntem Z-Testi‘dir.
Eğer elimizde iki başlık varsa, şu formül üzerinden ilerleriz:
$$Z = \frac{(\hat{p}_1 – \hat{p}_2)}{\sqrt{\hat{p}(1-\hat{p})(\frac{1}{n_1} + \frac{1}{n_2})}}$$
Burada:
- $\hat{p}_1$ ve $\hat{p}_2$: A ve B gruplarının gözlemlenen tıklama oranları.
- $n_1$ ve $n_2$: Her iki grubun toplam izlenim sayıları.
- $\hat{p}$: Birleştirilmiş (pooled) oran.
4. P-Değeri ve Güven Aralığı (Confidence Interval)
Matematiksel kanıtın kalbi P-Değeri (P-value)‘dir.
- $p < 0.05$ ise: Sıfır hipotezini reddederiz. Bu, “B başlığının başarısı tesadüf değildir, matematiksel olarak kanıtlanmıştır” demektir.
- Güven Aralığı: Eğer güven aralığı “0” değerini kapsamıyorsa (Örn: %1.2 ile %3.5 arası artış), sonucun pozitif yönde kesinleştiğini anlarız.
5. Bayesyen Yaklaşımı (Bayesian A/B Testing)
Geleneksel (Frekansçı) testlerin aksine, Bayesyen yöntem bize “B versiyonunun A’dan daha iyi olma olasılığı yüzde kaçtır?” sorusuna yanıt verir.
- Avantajı: Testin bitmesini beklemeden sürekli güncellenen olasılıklar sunar.
- Çıkarım: “B başlığı %98 ihtimalle daha iyi sonuç veriyor” gibi daha anlaşılır ve aksiyon alınabilir bir kanıt sunar.
6. Teknik Çıkarımlar ve Uygulama Planı (Actionable Insights)
- Dış Etkenleri İzole Edin: A ve B testlerini aynı zaman diliminde (Split Test) çalıştırın. Pazartesi günü A başlığını, Salı günü B başlığını denemek sonuçları kirletir.
- Segmentasyon: Toplam CTR artmasa bile, mobil kullanıcılarda veya belirli bir bölgede (Örn: İstanbul aramalarında) anlamlı bir artış olup olmadığını regresyon modelleriyle kontrol edin.
- Duygu Analizi (Sentiment Analysis): Başlık yapısını değiştirirken hangi kelimelerin vektör uzayında daha yüksek “tıklama niyeti” (Intent) oluşturduğunu NLP araçlarıyla analiz edin.
Özet: Bir başlığın daha iyi olduğunu “hissedemeyiz”, sadece P-değeri 0.05’in altına düştüğünde ispatlamış oluruz. Bu matematiksel disiplin, SEO bütçesinin yanlış tahminlerle harcanmasını önleyen en güçlü kalkandır.
Write your comment