Sosyal medya tavsiyelerinin kaçı istatistiksel testi geçiyor?

Motor tam olarak ne yapıyor?

Sıradan bir sosyal medya tavsiyesi şöyle doğar: birisi kendi hesabında bir şey dener, işe yaradığını düşünür ve genelleştirir. Bu motor tersini yapıyor. Önce bir hipotez uzayı üretiyor, sonra o uzaydaki her hipotezi 90 günlük bir gönderi havuzunda ölçüyor, sonra hangilerinin yayına layık olduğuna önceden yazılmış bir kurala göre karar veriyor. Hipotezleri motor kendisi üretiyor; kimse "şunu test et" demiyor.

Her hipotezin makine okunur bir kimliği var ve altı parçadan oluşuyor: boyut, kova, katman, akran grubu, metrik ve tür. Örneğin word_count|w20_39|nomedia~withmedia|*|views|interaction kimliği şunu soruyor: 20 ile 39 kelimelik gönderilerin erişim üzerindeki etkisi, medyasız ve medyalı gönderilerde birbirinden farklı mı? Boyut kelime sayısı, kova 20 ile 39 aralığı, katman medyasız ile medyalı karşılaştırması, akran grubu yok, metrik erişim, tür etkileşim testi.

Yayına giren bir bulgunun geçmesi gereken dört kapı var. Bunlar sonradan değil, koşu başlamadan önce yazılmış durumda ve API kendi kapı ayarlarını da servis ediyor:

Kaynak: kapı ayarlarını bulgu ucunun kendisi yayınlıyor. Bunlara ek olarak her testte hesaplar ikiye bölünüp iki yarının aynı yönü gösterip göstermediğine de bakılıyor.

Neden hiçbir bulgu yayına girmedi?

Bu sorunun cevabı sanıldığı kadar istatistiksel değil. Dört kapının hangisinde kaç hipotezin takıldığına tek tek bakınca tablo şöyle çıkıyor.

Anlamlılık kapısı beklenenden az eledi. 3.492 testin 1.158’i, yani %33,2’si çoklu karşılaştırma düzeltmesinden sağ çıktı. Bu hipotezler rastlantıyla açıklanamayacak bir sinyal taşıyor.

Hesap kapısı hiç devreye girmedi. Ayrıntısı yayınlanan 500 testin hiçbirinde hesap sayısı 50’nin altına düşmedi. En dar testte 106 hesap vardı, en az gönderi gören test 500 gönderiye baktı, medyan test 305 hesap ve 4.437 gönderi gördü, en genişi 3.204 hesabı kapsadı. Yani "örneklem yetersiz" gerekçesi bu koşuda hiç kullanılmadı.

Büyüklük kapısı çok eledi. Yayınlanan 500 sonucun en büyüğünde bile fark %8,03. Kapı %10 istiyor. Ama burada bir uyarı gerekiyor: bu 500 satır zaten "elendi" etiketli olanlar, ve o etiketin tanımı gereği güven aralığı artı eksi %10 bandının içindedir. Dolayısıyla "hiçbiri %10’a ulaşmadı" cümlesi bu alt küme için tanım gereği doğrudur, bir bulgu değildir. Bulgu olan şey, bu farkların ne kadar küçük olduğu: medyanı %1,89, dörtte üçü %3,27’nin altında.

Asıl engel dördüncü kapı ve sebebi aritmetik. Terfi için üç ardışık başarılı koşu gerekiyor. Bugüne kadar tamamlanan koşu sayısı bir. Yani bu kapı hiçbir hipotezin geçemeyeceği şekilde kapalı; sıfır terfi, verinin keşfettiği bir sonuç değil, kuralın zorunlu kıldığı bir sonuç. Sayfayı bu ayrım olmadan okumak yanlış olur.

İki koşu yapıldı, biri çöktü

Motorun koşu geçmişi de açık yayınlanıyor ve başarısız koşular gizlenmiyor. Bu iyi bir tasarım kararı: yalnızca başarılı koşuları gösteren bir kayıt, bir bulgunun art arda doğrulanıp doğrulanmadığını okunamaz hale getirir.

İkinci koşunun hata notu API’de aynen şöyle geçiyor: "temporary file size exceeds temp_file_limit (5242880kB)". Yani veritabanı geçici dosya sınırı aşıldı.

Çöken koşunun ne yapmaya çalıştığına bakmak gerekiyor, çünkü bu raporun en büyük sınırını tam olarak o koşu kaldıracaktı. İkinci koşu 33.266 hesap ve 1.595.070 gönderi hedefliyordu: birincinin on katı hesap, sekiz katı gönderi. Daha önemlisi takipçi tabanı 1.644.259’dan 996’ya iniyordu. Yani ölçüm dev hesaplardan çıkıp sıradan hesaplara ulaşacaktı. Üç saate yakın çalıştıktan sonra teknik nedenle durdu ve tek bir test bile üretemedi. Bu yüzden elimizdeki bütün rakamlar hâlâ yalnızca milyonluk hesaplara ait.

500 hipotez tam olarak neyi test etti?

Ayrıntısı yayınlanan 500 sonucun her biri farklı bir hipoteze ait, tekrar eden kimlik yok. Kimlikleri parçalarına ayırınca 17 farklı değişken, 49 kova ve 58 ayrı değişken-kova çifti çıkıyor. Testlerin 457’si ana etki testi, 43’ü etkileşim testi. Ana etki testi tek bir şeyi soruyor: bu kovadaki gönderiler diğerlerinden farklı mı? Etkileşim testi bir kat daha derin: bu farkın kendisi, alt gruplar arasında değişiyor mu?

Yayınlanan 500 test sonucunun değişkene göre dağılımı. Toplam 500.

Dağılım dengeli değil ve bu tesadüf değil. Zaman değişkenlerinin kovası çok: 24 saat, 7 gün, 4 zaman dilimi. İçerik değişkenlerinin kovası az: medya var veya yok, zincir evet veya hayır. Motor her kovayı ayrı bir hipotez olarak sayıyor, dolayısıyla saat ailesi tek başına test uzayının yarısından fazlasını kaplıyor. Aynı değişkenleri gruplayınca yedi aile çıkıyor.

Medyan fark, ailedeki testlerin mutlak fark medyanıdır. "Sıfırı dışlayan", güven aralığı sıfırı içermeyen, yani yönü kesin olan test sayısıdır.

Ailelerin kendi aralarındaki fark burada okunabilir tek şey değil, ama bir tanesi dikkat çekiyor: metin uzunluğu ailesinde 88 testin 38’inin aralığı sıfırı dışlıyor, oran %43,2. Saat ve gün ailesinde bu oran 266 testte 36, yani %13,5. Uzunluk farkları daha sık ölçülüp yönü daha sık belirlenebiliyor. Bunun sebebi büyük olasılıkla ölçümün kendisi değil, örneklem: uzunluk testleri havuzun tamamında çalışırken saat testlerinin çoğu takipçi dilimlerine bölünmüş durumda ve bölününce belirsizlik büyüyor. Bu mekanizma aşağıda ayrı bir bölümde ölçülüyor.

Bu ailelerdeki tek tek fark rakamları bu sayfanın konusu değil; onlar ayrı ölçümlerde yayınlanıyor. Bağlantı ve hashtag boyutları link paylaşımı ölçümünde ve hashtag ve etiket ölçümünde, uzunluk, medya, zincir ve yayın aracı boyutları gönderi biçimi ölçümünde, saat kırılımları ise en iyi paylaşım saati ölçümünde. Bu sayfa o rakamların neden "kesin bulgu" sayılmadığını anlatıyor.

Ölçülen farklar ne kadar büyük?

Yayınlanan 500 sonucun tamamında ölçülmüş bir fark var. Bu farkların yarısından fazlası %2’nin altında. 146 testte fark %1’i bile bulmuyor. Dağılımın işareti de dengeli: 272 testte fark negatif, 225’inde pozitif, 3’ünde tam sıfır. Yani biçim tercihlerinin yarısı ölçümde iyi, yarısı kötü görünüyor ve ikisi de küçük.

Farkın mutlak değerine göre dağılım, 500 test. Medyan %1,89, çeyrekler %0,89 ile %3,27.

Metriğe göre de benzer bir tablo çıkıyor. Motorun ölçtüğü dört metrik var ve hepsinde medyan fark %2 civarında. Metriklerin ne ölçtüğünü söylemek gerekiyor, çünkü isimleri yanıltıcı olabilir: erişim, gönderinin kaç kez gösterildiği; etkileşim, beğeni ve benzeri tepkilerin toplamı; görüntülenme başına etkileşim, bu ikisinin oranı; kaydetme ise gönderiyi sonra okumak üzere işaretleme sayısı.

Medyan aralık, %95 güven aralığının yüzde puanı cinsinden genişliğidir. Küçük olması ölçümün daha kesin olduğunu gösterir.

Bir hipotezin "elenmesi" etkisi yok demek mi?

Hayır, ikisi ayrı şey ve bu ayrım sayfanın en önemli yeri. Bu motorda "elendi" etiketinin kesin bir tanımı var: %95 güven aralığının tamamı artı eksi %10 bandının içinde kalıyor. Yani motor "ölçemedim" demiyor, "%10’dan büyük bir değişim yok" diyor. Bu bir sonuç, bir başarısızlık değil. İstatistikte bunun adı denklik testi: bir farkın yokluğunu değil, küçüklüğünü kanıtlamaya çalışırsınız.

Ama "sıfır etki" de demiyor. Elenen 500 hipotezin 100’ünde güven aralığı sıfırı dışlıyor. Bu 100 testte gerçek bir fark var, yönü de belli, sadece kapının istediği büyüklüğe ulaşmıyor. Geri kalan 400’ünde aralık sıfırı içeriyor, yani farkın artı mı eksi mi olduğu bile söylenemez. Aynı "elendi" etiketi bu iki çok farklı durumu birden taşıyor ve bir okuyucu bunu bilmeden tabloyu okursa yanlış anlar.

Üçüncü ve en az konuşulan grup ise hiç yayınlanmıyor. Koşuda 3.492 test yapıldı, ama olay kaydına yalnızca durum değişikliği yazılıyor. Geri kalan testler geçici veya desteklenmedi durumunda kaldı ve API bunları bilerek servis etmiyor; gerekçesi, binlerce satırlık bu kümenin düzeltmeyi yeniden hesaplanabilir kılmak için var olduğu, iddia olarak okunmak için değil. Asıl "bilinmiyor" kümesi orada. Yani bu sayfada gördüğünüz 500 satır, motorun en kesin konuştuğu satırlar.

Yedi hipotez, ölçüldüğü gibi

Aşağıdaki satırlar tavsiye değil, ölçüm çıktısı. Seçim bilerek karışık yapıldı: en büyük fark, en dar aralık, en geniş aralık, sıfıra en yakın sonuç ve bir etkileşim testi bir arada. Motorun kendi cümleleri İngilizce geliyor, buradaki iddia sütunu Türkçeye çevrilmiş halidir. Sonuç sütunundaki her satır aynı etiketi taşıyor: elendi.

Yedi satırın yedisi de "elendi" sonucuyla kapandı, yani hiçbirinde %10’dan büyük bir değişim ölçülmedi.

Birinci ve altıncı satırı yan yana koymak öğretici. İlkinde 2.838 hesap ve 118.139 gönderi var, aralık -%9,7 ile -%5,9 arasında ve sıfırı dışlıyor: fark gerçek. Altıncıda 206 hesap ve 1.040 gönderi var, aralık -%9,5 ile +%9,6 arasında: aynı ölçüm, ama farkın artı mı eksi mi olduğu bile söylenemiyor. İkisi de "elendi" etiketiyle kapanıyor. Etiket aynı, bilgi içeriği tamamen farklı.

Üçüncü satır ise kapının ne kadar keskin olduğunu gösteriyor. Gece paylaşılan linksiz gönderilerde görüntülenme başına etkileşim +%7,51 yüksek ölçülmüş, aralık +%4,9 ile +%9,7. Üst sınır %10’a 0,3 puan uzakta. Kapı bir puan aşağıda olsaydı bu hipotez "elendi" değil "belirsiz" olurdu. Eşiğin yeri sonucu değiştiriyor ve eşiğin yeri bir tercih.

Belirsizlik nereden geliyor?

Güven aralığının genişliği bir ölçümün ne kadar kesin olduğunu söyler ve bu 500 testte genişliği belirleyen tek şey neredeyse örneklem büyüklüğü. Aralığı 5 puandan dar olan 100 testin medyan örneklemi 2.518 hesap; aralığı 15 puandan geniş olan 74 testin medyan örneklemi 210 hesap. Aradaki fark on iki kat.

Örneklem sütunları, o genişlik grubuna düşen testlerin medyan hesap ve gönderi sayısıdır.

Tablonun son iki satırı birlikte okunuyor: aralığı 10 puandan geniş olan 258 testin sıfırı dışlayan sayısı tam olarak sıfır. Bu testler yapıldı, sonucu kaydedildi, "%10’dan büyük fark yok" denebildi, ama farkın yönü bile söylenemedi. Test uzayının yarısı bu durumda.

Belirsizliğin nereden geldiği de ölçülebiliyor. Testlerin 233’ü havuzun tamamında çalışıyor, 267’si hesapları takipçi sayısına göre on dilime bölüp tek bir dilim içinde çalışıyor. Havuzun tamamında çalışan testlerde medyan örneklem 1.414 hesap ve 21.284 gönderi, medyan aralık genişliği 5,5 puan ve 92’si sıfırı dışlıyor, yani %39,5’i. Dilime bölünmüş testlerde medyan örneklem 237 hesap ve 1.763 gönderi, medyan aralık 12,7 puan ve yalnızca 8’i sıfırı dışlıyor, yani %3,0’ı. Aynı soruyu daha dar bir kitleye sormak, cevabı on üç kat daha az bulunabilir hale getiriyor.

Bu, sosyal medya tavsiyelerinin neden bu kadar bol ve bu kadar çelişkili olduğunu da açıklıyor. Tek bir hesabın birkaç yüz gönderisiyle bakıldığında belirsizlik payı zaten on puanı aşıyor; o aralığın içine "sabah paylaş" da sığıyor, "akşam paylaş" da. Farkı gerçekten görebilmek için binlerce hesap gerekiyor ve o zaman da fark küçülüyor. Aynı gerilim platform metriklerinin neden karşılaştırılamadığını anlatan ölçümde başka bir yüzüyle görünüyor.

3.492 test yapınca şansa kaç tanesi geçer?

Bu, çok test yapan her ölçümün baş belası ve adı çoklu karşılaştırma sorunu. %5 anlamlılık düzeyi, "bu sonuç rastlantıysa yirmide bir ihtimalle böyle görünürdü" demek. Tek test yaparken makul. Ama 3.492 test yaparsanız, hiçbir gerçek etki olmasa bile yaklaşık 175 tanesinin şansa anlamlı çıkması beklenir. Yeterince çok soru sorarsanız veri size mutlaka bir hikaye anlatır.

Motor bunu iki şekilde kapatıyor. Birincisi, ham anlamlılık yerine düzeltilmiş bir değer kullanıyor: aynı aile içindeki bütün testler birlikte değerlendirilip eşik sıkılaştırılıyor, böylece kontrol edilen şey tek tek yanılma payı değil, yanlış bulguların oranı oluyor. Bu düzeltmeyi 3.492 testin 1.158’i geçti. İkincisi, düzeltmeyi geçen bir sonucun yayına girmesi için üç ardışık koşuda tekrar etmesi ve her koşuda hesapların iki yarısında aynı yönü göstermesi isteniyor. Bu ikinci şart, düzeltmeden sağ çıkan tesadüfleri de eliyor: rastlantıyla anlamlı çıkan bir sonucun üç koşu üst üste aynı yönde çıkma ihtimali çok küçük.

Buradaki dürüst uyarı şu: sıfır terfinin ne kadarı bu sıkı kurallardan, ne kadarı gerçekten etki olmamasından geliyor, tek koşuluk bir kayıtla ayrılamaz. Üç ardışık koşu kuralı, tamamlanmış koşu sayısı bir olduğu sürece tek başına terfiyi imkansız kılıyor. Yayınlanan 500 sonucun hiçbirinde farkın %10’a ulaşmaması ise güçlü bir işaret, ama o 500 zaten "aralığı %10’un içinde" tanımıyla seçilmiş bir alt küme. İkisi birlikte söylenmezse sayfa yanlış olur.

Yöntem ve sınırlar

Aşağıdakiler bu rapora özgü sınırlar. Bütün raporlarda ortak olan ölçüm zinciri, örneklem kuralları, doğrulama adımları ve düzeltme kaydı için bu veriler nasıl ölçülüyor sayfasına bakabilirsiniz.

• Kaynak ve tarih. Takipkit ile aynı grubun işlettiği bir sosyal medya veri altyapısının araştırma uçları. Ölçülen koşular 19 ve 31 Ağustos 2026 tarihli, pencereleri 21 Mayıs - 31 Ağustos 2026 arasını kapsıyor. Sayfadaki değerler 3 Eylül 2026 çekiminin statik kopyasıdır, sayfa her açıldığında yeniden sorgulanmaz.
• Bu bir "hiçbir şey işe yaramıyor" raporu değildir. Ölçülen şey kanıt eşiği. Bir hipotezin elenmesi, o davranışın etkisiz olduğunu değil, etkisinin bu verideki belirsizlik payının içinde %10’luk eşiği aşamadığını gösterir. Sayfadaki hiçbir satır "şunu yapmayın" demez.
• Sıfır terfinin sebebi kısmen aritmetiktir. Yayın kapısı üç ardışık başarılı koşu istiyor, tamamlanmış koşu sayısı bir. Bu şart tek başına terfiyi imkansız kılıyor ve bu sayfa sıfır terfiyi bir keşif olarak sunmuyor.
• Takipçi tabanı çok yüksek. Tamamlanan koşunun havuzu 1.644.259 takipçiden başlıyor. Bu, ölçümün en büyük sınırı ve raporun hiçbir yerinde küçük hesaplara genelleme yapılmıyor. Tabanı 996’ya indirecek ikinci koşu teknik nedenle çöktü.
• Elenen 500’de farkın %10’u geçmemesi tanım gereğidir. "Elendi" etiketinin tanımı, güven aralığının tamamen artı eksi %10 bandının içinde kalması. Bilgi taşıyan kısım farkların ne kadar küçük olduğu (medyan %1,89) ve kaçında yönün belirlenebildiği (100 test), eşiğin aşılmaması değil.
• Olay akışı derinlik sınırlı. Uç en yeni 500 satırı servis ediyor. En büyük olay numarası 681, yani en az 181 olay bu ölçümün dışında kaldı. Yayınlanan 500 satır tek bir koşuya (19 Ağustos) ve tek bir zaman damgasına ait; hepsi aynı saniyede yazılmış. Servis edilen satırlarda saat kovalarının 24’ünden 22’si var (0 ve 3 hiç görünmüyor), haftanın günü boyutunda ise yedi günden yalnızca dördü. Yani dışarıda kalan satırlar rastgele bir kesit değil ve bu sayfa hipotez uzayının tamamını görmüyor.
• Sayılar olay metinlerinden ayrıştırıldı. Güven aralığı, hesap ve gönderi sayıları her olayın kendi açıklama cümlesinde geçiyor ve düzenli ifadeyle çekildi. 500 satırın 500’ü ayrıştı, ayrıştırılamayan satır yok. Bu cümlelerin şablondan üretildiği API tarafından da belirtiliyor, yani rakamlar bir dil modelinin yorumu değil.
• Sekiz testte aralık ucu tam eşiğe oturuyor. 500 testin 492’sinde güven aralığı artı eksi %10 bandının tamamen içinde; 8’inde bir uç tam olarak %10 veya eksi %10 değerinde raporlanıyor. Bu satırlarda "%10’dan büyük değişim yok" ifadesi kendi sınırında duruyor ve dağılımdan çıkarılmadı.
• Ardışık koşular bağımsız tekrar değildir. Ucun kendi açıklaması bunu söylüyor: koşular 90 günlük bir pencereyi bir hafta arayla ölçtüğü için iki ardışık koşu 83 günlük kanıtı paylaşıyor. Bağımsız kontrol, koşu içindeki hesap yarılama testidir. Bu sayfada "üç kez doğrulandı" gibi bir cümle bu yüzden kurulmuyor.
• Kapsam global katalogtur. Ölçüm X üzerinde yapıldı ve ülke kırılımı yok. Hiçbir rakam Türkiye ölçümü olarak okunamaz. Havuz da X’in tamamı değil, izlenen hesaplardan oluşan bir katalog ve bu katalog kendi toplama yöntemine göre yanlıdır.
• Bunlar korelasyon ölçümleridir. Motorun ölçtüğü her fark, gönderiler arasında gözlenmiş bir ilişki. "Şunu yapmak şunu kazandırır" cümlesi hiçbir satırdan çıkarılamaz; iyi hesabın hem belirli bir biçimi kullanması hem yüksek etkileşim alması aynı deseni tek başına üretebilir. Aynı uyarı paylaşım etkisi ölçümünde de ayrıntılı anlatılıyor.

Sık sorulanlar

İlgili raporlar

Bu sayfada test sürecinin kendisi ölçüldü. Test edilen boyutların ham fark rakamları ayrı raporlarda: link paylaşımı ve etkileşim, hashtag ve etiket etkisi, gönderi biçimi etkisi ve X’te en iyi paylaşım saati.

Etkileşim oranının nasıl hesaplandığı ve neden platformdan platforma değiştiği X etkileşim oranı ve platform metrikleri karşılaştırması raporlarında. Ölçüm zincirinin tamamı yöntem belgesinde, diğer bütün ölçümler veri raporları bölümünde.

Alıntı

Bu rapordaki veriler kaynak gösterilerek serbestçe kullanılabilir. Alıntılarken ölçümün global bir X kataloğunda ve 1,6 milyon takipçi tabanının üzerindeki hesaplarda yapıldığını belirtmenizi rica ediyoruz. Önerilen künye: