Alan adınızı girin; robots.txt dosyanız standarda uygun şekilde ayrıştırılıp her AI ajanı için ayrı ayrı değerlendirilir. En sık yapılan hata yanlış botu engellemektir — GPTBot ile OAI-SearchBot aynı şey değildir.
Sıkça Sorulan Sorular
GPTBot ile OAI-SearchBot arasındaki fark nedir?
GPTBot model eğitimi için içerik toplar; OAI-SearchBot ise ChatGPT aramasının indeksini besler. Görünürlük istiyorsanız kritik olan OAI-SearchBot ve ChatGPT-User'dır. GPTBot'u engelleyip diğer ikisine izin vermek, içeriğin eğitimde kullanılmasını istemeyen ama aramada görünmek isteyen markalar için tutarlı bir tercihtir.
robots.txt dosyam yok, bu kötü mü?
Doğrudan kötü değil: dosya yoksa her şey taranabilir sayılır. Ancak site haritanızı bildiremezsiniz ve panel gibi indekslenmemesi gereken bölümleri kapatamazsınız. Basit bir dosya eklemek her iki sorunu da çözer.
Crawl-delay satırını kaldırmalı mıyım?
Çoğu durumda evet. Google bu direktifi yok sayar, Bing ve Yandex uygular. Bing, ChatGPT aramasının dayandığı indeks olduğu için satırı bırakmak kendi indekslenme hızınızı yavaşlatır. Sunucu yükü gerçekten sorunsa hız sınırlamayı sunucu tarafında yapmak daha doğrudur.
AI arama motorlarında markanızın görünürlüğünü takip edin ve optimize edin.