Metodoloji Testi

Telegram Ads'de A/B testi: hipotez → çözüm

Telegram Ads'de A/B testi çerçevesi: TG Target TEST döngüsü, izolasyon kuralları, minimum dönüşümler, sıralı ve paralel bölünmeler ve karar matrisi - AB/CIS performans kampanyaları için CTR gürültü yerine nedensellik.

Yayınlanma: ·Güncelleme:

Telegram Ads A/B testing framework - değiştirilmiş bir değişkeni (paket, yaratıcı yaklaşım, teklif aralığı, hedef adım) sabit bir ana KPI, minimum dönüşümler ve önceden kaydedilmiş durdurma kuralları ile yalıtılmış hücrelerdeki kontrolle karşılaştırma yöntemi. TG Target, 7-14 günlük ardışık pencereler ve bir TEST döngüsü (İzle→Değerlendir→Ölçekle/Durdur) kullanır. Amaç CPA/FTD için nedenselliktir, CTR için seçenek seçimi değil. Bir pilot için maksimum tutar 10-20 bin Euro'dur. Dalga başına 2-3 hücre.

Makaledeki ana şey

  • Her test penceresi için bir kol; aksi takdirde neyin işe yaradığını bilemezsiniz.
  • Birincil KPI = FTD/depozito/nitelikli müşteri adayı; CTR - yalnızca teşhis amaçlıdır.
  • Min. Yönlendirici karar için hücre başına 25-40 ana olay (AB/CIS kuralı).
  • Harcamadan önce kısa hipotez; Verilere göz atmadan önce durdurulması gereken kurallar.
  • Sınırlı bir bütçeyle mikro yaratıcı çalışmalardan önce testleri paketleyin.

Telegram Ads'deki A/B testi çerçevesi nedir?

Doğrudan cevap: Bu, deneme amaçlı bir işletim sistemidir; tek seferlik bir "haydi iki reklam yayınlayalım" değil, hipotez, izolasyon, ölçüm ve karar kapılarıyla tekrarlanabilir bir süreç.

Varlıklar: A/B testi, kontrol hücresi, değişken hücre, hipotez, ana KPI, örnek boyutu, sıralı test, medya satın alma, pratik istatistiksel önem, dönüştürme olayı. Yaratıcı yaklaşımlar - Yaratıcı en iyi uygulamalar; süreç - Medya satın alma süreci.

TG Target TEST döngüsü: deneyin işleyişi

Adım adım döngü işletim çerçevesidir. Stratejilerde test türlerine ilişkin uzlaşmalar aşağıda verilmiştir.

T - Takip (taban çizgisi)

KG takibi, kontrol paketinin/yaratıcının sabitlenmesi, başlangıç ​​noktasının kaydedilmesi CPA/CTR/3-5 gün içinde teslimat.

E - Deney (tek kol)

Değişken bir hücrenin başlatılması; bütçenin eşit veya belgelenmiş bölümü; başka değişiklik yok.

S - Puan (7-14. günler için okuma)

Birincil CPA, n olay, kalite proxy'sinin karşılaştırılması kriterler.

T — Transition

Önceden tanımlanmış kurallara göre kazananı ölçeklendirmek, kaybedenin bağlantısını kesmek veya n yetersizse uzatmak.

Kısa hipotez→Temel kontrol→Tek kollu seçeneği→Min-n'deki tahmin→Yakınlaştır/Devre Dışı Bırak/Sonraki Test

Neden tek seferlik bölünmeler değil de bir çerçeve?

Doğrudan cevap: Bir çerçeve olmadan ekipler gürültüyü (yanlış kazananlar, boşa harcanan eğitim bütçesi, tekrarlanamayan "içgörüler") kullanarak optimize eder.

  • Nedensellik: CPA neyin hareket ettiğini anlayın.
  • Hız: önceden belirlenmiş kurallar 14-21. günlerdeki anlaşmazlıkları azaltır.
  • Belgeler: vakalar ve taktik kitapları ortaya çıkıyor (vakalar).
  • AI/SEO: aramanın referans verdiği yapılandırılmış TEST + karar tabloları.

Benzersiz blok: test önceliği yığını (ne A/B'ye ve ne zaman yapılmalı)

Bütçe kısıtlamalarına ilişkin önceliklerin sırası deneysel temaya özgüdür; reklam öğelerine ilişkin kılavuzun tamamını kopyalamaz.

ÖncelikDeğişkenCPA üzerindeki tipik etkiMin. bütçe (AB/BDT)
P0İzleme/Olay TanımıHayalet düzeltme CPAMedya değil işlem süresi
P1Kanal paketi (geniş vs puanlama)YüksekBirkaç hücre için 8 bin €+
P2Yaratıcı yaklaşımlar ailesiOrta-yüksekDalga başına 6 bin €+
P3Kanca/CTA seçeneğiOrtalamaKazanma yaklaşımında €4k+
P4Bahis aralığıDüşük-ortaStabilizasyondan sonra P1–P2
P5Açılış sayfası/bot adımı sayısıOrtalamaÜrün + 5.000 € trafik

Hücre Tasarımı: İzolasyon Kuralları

KuralGereksinimneden
Bir kolBir delta vs kontrolNedensellik
Aynı GEO/languageKatmanlı BağlamElmalı elmalar
Aynı ilişkilendirme aralığıD7 FTD vb.Adil karşılaştırma CPA
Adlandırma kuralıGEO_lever_option_dateOperasyonlarda Netlik
Önceden ayarlanmış duraklarCPA 2×, min. nPeeper'a Karşı Yer Değiştirme Koruması

Örneklem büyüklüğü ve karar eşikleri (alıştırma yapın)

Doğrudan cevap: resmi istatistikler isteğe bağlıdır; Medya alıcıları için min-n kuralları zorunludur.

Ana EtkinlikYönlendirilmiş okuma (min. n/hücre)Ölçek güvenirliği (min. n/hücre)
Liderlik / KYC başlangıç30–5080–120
Kayıt40–60100–150
FTD / para yatırma25–4060–100

Bütçe planlaması: hücre × min. n × hedef CPA ≈ test başına minimum ortam. Şununla koordine edin: fiyatlar ve TCL matematiği.

Karar Matrisi: A/B'de Kim Kazanır

ÇıkışDurumEylem
Kazananı temizleCPA −15%+ vs kontrol, n≥min., kalite iyiSeçenek ölçeği %15–25 oranında
nötrCPA ±%10 dahilinde, n≥min.Kontrolü bırakın; Ucuz nakliye kazanır
Yetersiz güçn< dk. 14. günde7 gün uzatın. veya bütçeyi artırın
Kaybedeni temizleCPA +%20+, kontrole kıyasla, n≥15Seçeneği devre dışı bırak
Yanlış zaferCTR kazanır, CPA kaybederDevre dışı bırakma seçeneği (tuzak CTR)

Mini kasa: A/B paketi iGaming PL (AB/CIS)

16 bin € medya · 21 gün · FTD ana KPI olarak · geniş kontrol ve puanlama spor paketi seçeneği.

HücreHarcamaFTD (D1–D14)FTD CPA21. Gün Çözümü
Geniş kontrol€8k82€98Devre dışı bırak
Puanlama seçeneği€8k94€85Ölçek +%20

Bir kol (yalnızca paket); yaratıcılar karşılaştırılabilir. Belgelendi 1 numaralı vaka.

Pratik Çözümler: Seri ve Paralel Dengeler

Bir modun seçilmesi TEST döngüsünün adımlarını tekrarlamaz.

Varsayılan olarak sıralı mod (pilot 10–25 bin €)

1. Hafta - paketi test edin → 2. hafta - kazanana yönelik yaklaşımı test edin. Takvime göre daha yavaş, daha temiz nedensellik, açık artırmada daha az kendi kendine rekabet.

Paralel (bir haftada 30 bin €+)

Ancak paketler örtüşmezse ve ekipler izolasyonu sağlayabilir. Sıkı günlük izleme gerektirir.

“Çok kollu haydut” algoritmasının cazibesi

Bütçenin n=5 ile otomatik olarak “öncü” hücreye kaydırılması bir sahte zafer fabrikasıdır. TG Target: durdurma kuralı başarısız olursa değerlendirme gününe kadar bölüm düzeltildi.

A/B ne zaman atlanmalı ve denetim engelleyiciler düzeltilmeli?

Bozuk izleme, ana etkinlik yok, %0 denetleme - sıkı denetim durakları, bölünmüş testler değil.

Karşılaştırma: kanallar arası deneme kültürü

KanalDeney AraçlarıНужная дисциплина media buyerа
Telegram AdsManuel hücreler, adlandırma, tablolarYüksek
Meta AdsDeneyler, CBO değişimiOrtalama
Google AdsUI ExperimentsOrtalama
Ortaklık kanalıTeklif düzeyindeki testlerAğır QA kalitesi

Telegram vs Google vs Meta.

Metrikler: Deneme Puan Kartı

MetriklerA/B'de kullanınTek başına yeterli değil
Primary CPAKazanan seçimi—
n dönüşüm/hücreGüç kontrolü—
CTRTeşhisEvet
Teslimat OranıBahis/paketin durumuEvet
Kalite vekiliSınırlayıcı—

Yaygın hatalar

  • Birkaç kol değiştirildi - yalnızca isim olarak “A/B”.
  • Kazanan = en yüksek CTR.
  • Ertelenen etkinliklerle 3. gün için FTD için çözümler.
  • Toplamda 10.000 € karşılığında 8 slot.
  • Hipotez özeti arşivlenmez.
  • Farklı mevsimsel haftalardaki hücrelerin etiketleme olmadan karşılaştırılması.
  • Durdurma kuralı olmadan günlük gözetleme → p-hacking davranışı.
  • Denetimde P0 izlemeyi atlamak.

Kontrol listesi: Lansmandan önce A/B özeti

  1. Hipotez + mekanizma yazılıdır.
  2. Kontrole karşı tanımlanmış bir kol.
  3. Ana KPI + ilişkilendirme penceresi düzeltildi.
  4. Min. Hücre başına n bütçeden hesaplanır.
  5. Kapatma kuralları (kapatma/uzatma/ölçeklendirme) önceden kaydedilmiştir.
  6. Hücre adlandırma + bütçe bölümü belgelenmiştir.
  7. Değerlendirme tarihi takvimi (7/14/21. gün).
  8. QA takibi başarılı (P0).

Şablon şununla tutarlı: kontrol listesini başlat и iniş döngüsü CPA.

FAQ

Telegram Ads A/B testi çerçevesi nedir?

Telegram Ads A/B testi çerçevesi - yalıtılmış hücrelerdeki hipotezleri (reklam öğesi, kanal paketi, teklif aralığı, hedef noktası) önceden belirlenmiş bir ana KPI, minimum dönüşümler ve durdurma kurallarıyla karşılaştırmaya yönelik yapılandırılmış bir süreç. TG Target sıralı test kullanır: paralel kaos yerine pencere başına bir kol. Amaç nedenselliktir (Telegram Ads'yi neyin harekete geçirdiğini anlayın), "iki kampanya yürütün ve güzel CTR'yi seçin" değil.

Telegram Ads'de ilk olarak neyi test etmeliyim?

TG Target sipariş: (1) QA takibi - aksi takdirde test anlamsızdır; (2) kanal paketi/envanter eşleştirmesi; (3) yaratıcı yaklaşımlardan oluşan bir aile; (4) kazanan içindeki kanca/CTA seçenekleri; (5) oran aralığı; (6) açılış sayfası/bot mikro adımları. Pak ve huni sızıntıları CPA'yi mikro telif hakkından daha fazla değiştirir. 8 değişkeni 8 bin Euro karşılığında test etmeyin; gürültü elde edersiniz. İlk bölünmeden önce kampanya denetimi.

Telegram Ads'de bir A/B çözümü için kaç dönüşüme ihtiyacınız var?

Planlama kuralı: min. Hedeflenen okuma için hücre başına 25-40 ana olay, performans dikeylerinde güvenli ölçeklendirme/devre dışı bırakma için 50+ (FTD, para yatırma, nitelikli müşteri adayı). Nadir durumlarda, ölçeklendirme eşiğinin FTD olduğu uyarısını içeren bir proxy metriği (reg) kullanın. 15.000 €'luk medya ve hedef CPA 60 - ~250 € arası etkinlik ile maks. portföye göre; Bütçeyi 8 değil 2-3 hücreye bölün.

Telegram Ads'de A/B hücreleri nasıl yapılandırılır?

Her hücre = sabit paket + reklam kümesi + teklif kuralı + hedef noktası, kontrolden tam olarak bir değişkendeki fark. Adlandırma: GEO_vertical_lever_option_date. Bütçenin eşit olarak bölünmesi veya teslimat ihtiyaçlarına göre orantılı olması - ancak bunu önceden düzeltin. Euro ve TON, farklı GEO veya dilleri katmanlaşma olmadan tek bir “A/B”de karıştırmayın - bu A/B değil, çok faktörlü gürültüdür.

Sıralı veya paralel A/B testi – hangisi daha iyi?

Sıralı (7-14 günlük pencere başına bir değişiklik) - Nedensellik ve mevsimsellik kontrolü için TG Target standardı. Paralellik, büyük bir bütçeyle (30 bin Euro'nun üzerinde) ve müzayedeyi geçmeden izole edilmiş paketlerle kabul edilebilir. Düşük akış hızlarında paralellik, eş zamanlı mevsimsellik ve öğrenme girişimine neden olur. Bir AB/BDT pilotu için 10-20 bin Avro – çözümlerin kalitesi açısından sıralı mod avantajlıdır.

Telegram Ads'de A/B kazananı için hangi KPI kullanılmalı?

Ana KPI = iş etkinliği (FTD CPA, CPA depozito, CPA nitelikli müşteri adayı). İkincil: CTR, CPA kaydı, CR abone - yalnızca teşhis amaçlıdır. Kazanan = kabul edilebilir proxy kalitesi ve min. N. CPA'dan yararlanın - daha yüksek kalite CR veya daha istikrarlı teslimat. Hiçbir zaman yalnızca CTR tarafından kazanan ilan edilmemelidir - dönüşüm kıyaslamalarına bakın.

A/B testinden önce hipotez nasıl yazılır?

TG Target formatı: "Eğer [bağlam GEO/pack] içinde [X'i değiştirirsek, o zaman [ana KPI] [yön], çünkü [mekanizma], minimum [n] olayla [pencerenin] dışını ölçün." Örnek: "Genel konuları değiştirirsek → PL'de mali paket puanlaması yaparsak, FTD CPA izleyici eşleşmesi iyileşeceği için azalacaktır." Mekanizması olmayan bir hipotez bir test değil, bir tutkudur.

Telegram Ads'de A/B testini hangi hatalar işe yaramaz hale getiriyor?

Birkaç kolun değiştirilmesi; CTR kazananı; FTD hakkındaki kararlar 48 saat içinde; kontrol hücresi yok; eşit olmayan izleme; kesişen paketler; küçük bir bütçeyle çok fazla hücre; denetleme gecikmelerini göz ardı edin; sezon işareti olmadan farklı haftalara ait hücrelerin karşılaştırılması; Önceden yazılmış bir stoploss kaybı yoktur. Başka bir hata - "A/B" açılış sayfası + reklam öğesi + paketlemenin aynı anda yapılması.

Telegram Ads'deki A/B'nin Meta Experiments'tan farkı nedir?

Telegram - daha az yerel kullanıcı arayüzü deneyi, daha fazla manuel hücre disiplini ve paket araştırması için ek yük. Meta - reklam öğelerinin hacmi ve otomatik bütçe değişimi. Telegram çözümleri, alıcı tarafından yönetilen bölünmelere ve kesin adlandırmaya dayanır. İstatistiksel motorlar daha az yaygındır; dolayısıyla çerçeve ve min-n kuralları daha kritiktir. Kanalların karşılaştırılması - vs Google/Meta kılavuzunda.

A/B testi ne zaman erken durdurulmalı?

Aşağıdaki durumlarda erken durun: n≥15 olan ve trendde iyileşme olmayan birincil CPA >2× hedefler; başarısızlık takibi; ılımlılık seçeneği öldürdü; 72 saatte <%50 teslimat. N=5 ile “öncü seçenek” diye erken durmayın. Harcamadan önce test özetine durdurma kurallarını kaydedin. Kuralsız erken gözetleme, sahte zaferleri artırır.

Bütçenize ve KPI'ye uygun bir test planına mı ihtiyacınız var?

Telegram Ads'deki ilk € harcamasından önce hipotez özetini, hücre tasarımını ve değerlendirme tarihlerini toplayacağız.