Etki ölçümü

Etki Kütüphanesi — Metodoloji

Sürüm 1.0.0 · 28 Ağustos 2026

Bir reçeteyi uygulayan sitenin skoru yükseldiyse, bunu reçete mi yaptı? Bu belge o sorunun nasıl cevaplandığını — ve ne zaman cevaplanamadığını — anlatır.

---

1. Deneme nedir

actions tablosunda durumu yapildi_bekliyor ya da dogrulandi olan her satır bir denemedir: belirli bir sitede, belirli bir reçetenin, belirli bir tarihte uygulanması. Denemeler experiments tablosunda tutulur.

Bir deneme, tarihi olmadan hesaba girmez. "Ne zaman uygulandı" bilinmeden öncesi ve sonrası ayrılamaz.

2. Ölçüm penceresi

Denetimler haftalık koştuğu için bu, uygulamadan yaklaşık üç hafta önce başlayıp üç hafta sonra biten bir penceredir. Penceresi kapanmayan deneme etkiye hiç girmez — ekranda "bekliyor" olarak sayılır, ortalamaya karıştırılmaz.

Tek bir öncesi ve tek bir sonrası ölçümle çalışmıyoruz: denetim skoru sitenin kendi oynaklığıyla da değişir, üç ölçümün ortalaması bu gürültüyü düşürür.

3. Kontrol grubu ve fark-farkı

Asıl soru şu: skor yükseldi, ama aynı dönemde *herkesin* skoru yükseldi mi? Model güncellenmiş, sezon değişmiş, ölçüm yöntemimiz oynamış olabilir. Bunu ayırmanın yolu bir kontrol grubudur.

Karşılaştırma grubu: aynı kategoride, aynı dönemde, o reçeteyi uygulamamış siteler. Panelimiz müşterimiz olmayan markaları da ölçtüğü için karşılaştırma grubu müşteri listemizle sınırlı değildir.

Fark-farkı:

etki = (test edilen ürünler: sonra − önce) − (karşılaştırma: sonra − önce)

Karşılaştırma grubunun kendi değişimi çıkarıldığı için, herkesi birden etkileyen kaymalar etkiden düşer. Geriye kalan, reçeteye atfedilebilecek fark olur.

Karşılaştırma grubu yoksa ne olur? Grubun değişimi 0 kabul edilir ve etki, ham öncesi-sonrası farkına iner. Bu daha zayıf bir kanıttır. Grubun büyüklüğü (kontrol_n) her deneme için kaydedilir; sıfırsa okuyan bunu görür.

4. Dürüstlük kilidi

Üç durum vardır ve eşikler tek yerde (lib/etki.ts → ESIK) tutulur:

"Aralık sıfırı dışlıyor" demek: alt ve üst sınırın ikisi de aynı işaretli. Aralık sıfırı içeriyorsa ölçtüğümüz fark tesadüfle açıklanabilir; o reçete için "işe yarıyor" diyemeyiz. Diyemediğimizi de saklamayız — "gözlem" damgası tam olarak bunu söyler.

Tek vakadan genelleme yoktur. Bir sitede +12 puan görmek, o reçetenin etkisinin +12 olduğu anlamına gelmez. n = 1 iken güven aralığı hesaplanamaz ve satır "erken" damgasıyla durur.

5. Bu yöntemin sınırları

• Eşzamanlı değişiklikler. Bir site aynı hafta üç reçeteyi birden

uygularsa etkiler ayrılamaz. Şu an her deneme ayrı satır olarak duruyor; aynı pencerede birden çok reçete varsa etkileri birbirine karışır. Bunu ayırmak için çok değişkenli bir model gerekir — Faz 1'de yok.

• Seçilim yanlılığı. Reçeteyi uygulayan siteler, uygulamayanlardan

sistematik olarak farklı olabilir (daha ilgili, daha kaynaklı). Fark-farkı sabit farkları temizler ama *eğilim* farklarını temizlemez.

• Küçük kontrol grubu. Panelde az sayıda site varken kontrol deltası

gürültülü olur.

• Skor ile pay ayrı şeyler. Denetim skoru (0–100) ile Share of AI Shelf

farklı ölçeklerdedir ve ayrı hesaplanır. Skordaki bir iyileşme paya yansımayabilir; yansıması için haftalar geçmesi gerekebilir.

6. Yeniden üretilebilirlik

node runner/etki.mjs --kuru   # hesaplar, yazmaz
node runner/etki.mjs          # denemeleri tazeler ve etkiyi yazar

Her denemenin ham bileşenleri (onceki_skor, sonraki_skor, kontrol_delta, kontrol_n) experiments tablosunda saklanır. Ekrandaki her sayı bu satırlardan yeniden üretilebilir.

7. Sürüm geçmişi