AI tarayicilari, dil modelleri icin icerik toplayan otomatik istemcilerdir. Baslicalari GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended ve Bingbot'tur; her birinin amaci farklidir.
Bu ajanlarin cogu tarayici calistirmaz, yani JavaScript ile istemcide uretilen icerigi goremez. Sunucu tarafinda render edilmeyen bir sayfa, bu istemciler icin bos sayfadir ve hicbir cevaba giremez.
Erisimi dogrulamanin en pratik yolu sunucu erisim kayitlarina bakmaktir: bu ajanlarin istekleri 200 mu donuyor, yoksa CDN veya WAF katmani 403 mi veriyor? Gorunurluk problemlerinin sessiz sebebi cogu zaman burada cikar.
Tarayıcı, ajan ve eğitim botu ayrımı
Üç farklı iş yapan üç bot ailesi var. İndeks tarayıcıları (Bingbot, Googlebot, PerplexityBot) sayfaları toplayıp bir indekse koyar. Kullanıcı ajanları (ChatGPT-User, Perplexity-User) bir kullanıcı o an bir soru sorduğunda sayfayı canlı olarak çeker. Eğitim botları (GPTBot, Google-Extended, Applebot-Extended) model eğitimi için içerik toplar.
Bu ayrım pratik bir sonuç doğurur: eğitim botlarını engellemek görünürlüğü etkilemez, diğer ikisini engellemek doğrudan etkiler.
Botun geldiğini nasıl doğrularsınız?
Sunucu erişim kayıtlarında user-agent dizesine bakmak yeterli değil — bu dize taklit edilebilir. Sağlayıcılar doğrulama için IP aralıkları yayımlıyor; ciddi bir analiz, kaydı IP üzerinden doğrular.
Pratik bir başlangıç: erişim kayıtlarınızda son 30 günde hangi AI ajanlarının geldiğini ve hangi sayfaları çektiğini saymak. Hiç gelmeyen bir ajan varsa sorun genellikle robots.txt'de ya da sunucu tarafındaki bir engellemededir.
Sık sorulanlar
AI tarayıcıları sunucuma yük bindirir mi?
Genellikle klasik arama botlarından daha az. Yük gerçekten sorun oluyorsa çözüm robots.txt'de Crawl-delay değil, sunucu tarafında hız sınırlamasıdır — Google Crawl-delay'i zaten yok sayar.
Kullanıcı ajanı ile indeks tarayıcısı arasındaki fark neden önemli?
Kullanıcı ajanı sayfayı o an çeker, yani sayfa yavaşsa ya da JavaScript gerektiriyorsa cevaba giremeyebilir. İndeks tarayıcısında bu sorun daha az; içerik zaten önceden alınmıştır.
JavaScript ile üretilen içerik AI tarayıcıları tarafından görülür mü?
Güvenilmez. Bazı ajanlar JavaScript çalıştırmıyor. Cevaba girmesini istediğiniz metin sunucu tarafından üretilmiş HTML içinde bulunmalı.
