robots.txt, hangi tarayicinin sitenin hangi bolumlerine erisebilecegini belirler. AI gorunurlugu icin kritik nokta, egitim botlari ile arama botlarinin ayri olmasidir: yanlis olani engellemek gorunurlugu sessizce sifirlar.
OpenAI tarafinda uc ayri ajan vardir. GPTBot egitim verisi toplar; OAI-SearchBot ChatGPT aramasinin indeksini besler; ChatGPT-User kullanici bir baglantiyi actiginda sayfayi canli ceker. Gorunurluk hedefi olan bir site en azindan son ikisine izin vermelidir.
Ikinci sik hata Crawl-delay satiridir. Google bu direktifi yok sayar, Bing uygular — ve Bing, ChatGPT aramasinin dayandigi indekstir. Yani satiri birakmak yalnizca kendi indekslenme hizinizi yavaslatir.
Hangi botlar görünürlüğü belirler?
En sık yapılan hata, eğitim kontrolü olan botlarla arama botlarını karıştırmaktır. GPTBot, Google-Extended ve Applebot-Extended model eğitimini yönetir; engellenmeleri arama görünürlüğünü düşürmez.
Görünürlüğü belirleyenler farklı: ChatGPT araması için OAI-SearchBot ve ChatGPT-User, Copilot için Bingbot, Google AI Overview için Googlebot, Perplexity için PerplexityBot ve Perplexity-User, Claude için ClaudeBot. İçeriğin eğitimde kullanılmasını istemeyip aramada görünmek istemek tutarlı bir tercihtir — ama bunun için doğru ajanı engellemek gerekir.
Crawl-delay satırı ne yapıyor?
Google bu direktifi yok sayar; Bing ve Yandex uygular. Bing, ChatGPT aramasının dayandığı indeks olduğu için Crawl-delay bırakmak kendi indekslenme hızınızı yavaşlatır.
Sunucu yükü gerçekten sorunsa doğru yer robots.txt değil, sunucu tarafındaki hız sınırlamasıdır. Orada bot bazında ve gerçek yüke göre karar verebilirsiniz.
Dosyayı yorumlarken sık yapılan hatalar
Standart üç noktada yanlış anlaşılıyor. Birincisi, bir ajan için özel bir grup varsa User-agent: * grubu o ajan için hiç uygulanmaz — gruplar birleşmez. İkincisi, aynı grupta çakışan kurallarda en uzun desen kazanır. Üçüncüsü, boş bir Disallow: satırı "her şey serbest" demektir, "hiçbir şey serbest değil" demez.
Bu üç kural yüzünden gözle doğru görünen bir dosya, botlar tarafından bambaşka yorumlanabilir. Dosyayı ayrıştırıcı bir araçla kontrol etmek gözle okumaktan daha güvenlidir.
Sık sorulanlar
robots.txt dosyam yok. Kötü mü?
Doğrudan kötü değil: dosya yoksa her şey taranabilir sayılır. Ancak site haritanızı bildiremez ve panel gibi bölümleri kapatamazsınız. Basit bir dosya her iki sorunu da çözer.
GPTBot'u engellersem ChatGPT'de görünmez miyim?
Hayır. GPTBot eğitim içindir. ChatGPT aramasında görünürlüğü belirleyen OAI-SearchBot ve ChatGPT-User'dır. GPTBot'u engelleyip diğer ikisine izin vermek tutarlı bir tercihtir.
Tüm AI botlarını engellemek güvenli mi?
Güvenli ama bedeli var: üretken arama sonuçlarında hiç görünmezsiniz. Bu bilinçli bir tercih olabilir; yanlışlıkla yapılmışsa kayıp doğrudandır.
