robots.txt ile Yapay Zeka Botlarını Yönetme: GPTBot, ClaudeBot ve Diğerleri (2026)

TL;DR — Sunucu loglarınızda GPTBot, ClaudeBot ve PerplexityBot trafiği görüyorsanız, yapay zeka botları sitenizi tarıyor demektir. robots.txt dosyanızla bunları yönetebilirsiniz. Kritik nokta: eğitim botları ile arama botları farklıdır. GPTBot'u (eğitim) engelleyip OAI-SearchBot'a (arama) izin vererek içeriğinizi korurken ChatGPT aramasında görünür kalabilirsiniz. Ayrıca dikkat: anthropic-ai ve Claude-Web user-agent'ları artık geçersiz — bunlarla engelleme yapan siteler aslında Anthropic'i engellemiyor. Bu yazıda güncel bot listesini, kopyalanabilir kod örneklerini ve doğru stratejiyi veriyoruz.

Web sitenizin sunucu loglarına bakın. Muhtemelen tanımadığınız ziyaretçiler göreceksiniz: GPTBot, ClaudeBot, PerplexityBot, CCBot. Bunlar yapay zeka şirketlerinin tarayıcıları — sitenizdeki içeriği okuyup yapay zeka modellerini eğitmek veya arama sonuçlarında göstermek için kullanıyorlar.

Burada kritik bir karar var: bu botların sitenize erişmesine izin mi vermelisiniz, yoksa engellemeli misiniz? Ve daha da önemlisi — hepsini aynı kefeye koymak doğru mu?

Cevap hayır. Yapay zeka botları tek tip değil. Bazıları içeriğinizi modeli eğitmek için çekiyor, bazıları ise kullanıcı bir soru sorduğunda sizi kaynak göstermek için. Bu ikisini ayırmak, doğru stratejinin temeli.

Bu yazıda robots.txt ile yapay zeka botlarını nasıl yöneteceğinizi, hangi botların ne işe yaradığını ve 2026 itibarıyla geçerli güncel listeyi adım adım ele alıyoruz.

robots.txt Nedir ve Yapay Zeka Botlarıyla İlişkisi

robots.txt, sitenizin kök dizininde (siteniz.com/robots.txt) yer alan basit bir metin dosyasıdır. Web tarayıcılarına (botlara) sitenizin hangi bölümlerine erişebileceklerini söyler.

Geleneksel olarak bu dosya, Google ve Bing gibi arama motoru botlarını yönetmek için kullanılırdı. Ama son iki yılda yeni bir bot nesli ortaya çıktı: yapay zeka tarayıcıları. Bunlar tamamen farklı niyetlerle geliyor.

Önemli bir uyarı: robots.txt bir rica mekanizmasıdır, zorlama değil. Saygın yapay zeka şirketleri (OpenAI, Anthropic, Google, Perplexity) bu kurallara uyar. Ancak bazı agresif tarayıcılar uymayabilir. Tam koruma için sunucu düzeyinde (user-agent bazlı) engelleme gerekir.

Yapay Zeka Botları Üç Kategoriye Ayrılır

Doğru karar vermek için önce botları anlamak gerekiyor. Yapay zeka tarayıcıları üç farklı amaca hizmet eder.

1. Eğitim Botları (Training Crawlers)

Bu botlar, yapay zeka modellerini eğitmek için büyük miktarda içerik çeker. İçeriğiniz, modelin "öğrendiği" verilerin bir parçası olur. Örnekler: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Google), CCBot (Common Crawl).

2. Arama ve Getirme Botları (Search & Retrieval)

Bu botlar, bir kullanıcı yapay zekaya soru sorduğunda gerçek zamanlı olarak içeriğinizi çeker ve sizi kaynak gösterir. Bunları engellemek, yapay zeka aramalarında görünürlüğünüzü kaybetmek demektir. Örnekler: OAI-SearchBot (OpenAI arama), ChatGPT-User (ChatGPT kullanıcı sorguları), PerplexityBot (Perplexity), Claude-User (Claude.ai kullanıcı getirmeleri).

3. Veri Toplama Botları (Data Scrapers)

Bu botlar içeriği toplayıp yapılandırır, bazen üçüncü taraflara satar. Genellikle en agresif olanlardır. Örnekler: Bytespider (ByteDance), Diffbot, Omgilibot.

Kritik Fark: Eğitim Botu ≠ Arama Botu

İşte çoğu SEO ekibinin gözden kaçırdığı en önemli nokta: bu sistemler birbirinden bağımsızdır.

Bir web yöneticisi, içeriğinin yapay zeka eğitiminde kullanılmasını istemeyebilir (fikri mülkiyet koruması) ama aynı zamanda ChatGPT arama sonuçlarında görünmek isteyebilir. Bu mümkün — GPTBot'u engelleyip OAI-SearchBot'a izin vererek.

Bu ayrımın neden önemli olduğunu bir veriyle açıklayalım. Yapay zeka eğitim botları, size geri trafik göndermeden büyük miktarda içerik çeker:

Yani eğitim botları sunucunuzu yorar ama karşılığında neredeyse hiç trafik göndermez. Bu yüzden birçok yayıncı eğitim botlarını engelleyip, geri trafik gönderen arama botlarına izin veriyor.

2026 Güncel Bot Listesi

Bot isimleri zaman zaman değişir. İşte 2026 itibarıyla geçerli, doğrulanmış user-agent listesi.

⚠️ Önemli Uyarı: Geçersiz Anthropic User-Agent'ları

Burası çok kritik. İnternette dolaşan eski rehberlerin çoğu hâlâ Claude-Web ve anthropic-ai user-agent'larını öneriyor. Bu isimler 2026 itibarıyla artık geçerli değil.

Bu eski isimlerle engelleme yapan siteler, aslında Anthropic'in güncel botunu engellemiyor. Anthropic'in 2026'da aktif olan user-agent'ları şunlar:

• ClaudeBot — eğitim
• Claude-SearchBot — arama indeksi
• Claude-User — Claude.ai kullanıcı getirmeleri Eğer robots.txt'inizde Claude-Web veya anthropic-ai varsa, bunları güncelleyin.

Senaryo 1: Yapay Zeka Görünürlüğü İstiyorum (GEO için Önerilen)

Eğer amacınız yapay zeka motorlarında görünmekse — ki GEO stratejisinin temeli budur — tüm önemli botlara izin verin. İçeriğinizin eğitim verisine girmesi ve aramada kaynak gösterilmesi, görünürlüğünüzü artırır.

# Tüm AI botlarına izin ver — maksimum görünürlük
 
# OpenAI
User-agent: GPTBot
Allow: /
 
User-agent: OAI-SearchBot
Allow: /
 
User-agent: ChatGPT-User
Allow: /
 
# Anthropic
User-agent: ClaudeBot
Allow: /
 
User-agent: Claude-SearchBot
Allow: /
 
User-agent: Claude-User
Allow: /
 
# Google AI
User-agent: Google-Extended
Allow: /
 
# Perplexity
User-agent: PerplexityBot
Allow: /
 
# Diğer arama motorları
User-agent: *
Allow: /
 
Sitemap: https://siteniz.com/sitemap.xml

Senaryo 2: İçeriğimi Koru Ama Aramada Görün (Dengeli)

Bu, fikri mülkiyetini korumak isteyen ama yapay zeka aramalarında da görünmek isteyen markalar için ideal. Eğitim botlarını engelleyin, arama botlarına izin verin.

# Eğitim botlarını engelle, arama botlarına izin ver
 
# --- ARAMA BOTLARI: İZİN VER ---
User-agent: OAI-SearchBot
Allow: /
 
User-agent: ChatGPT-User
Allow: /
 
User-agent: Claude-SearchBot
Allow: /
 
User-agent: Claude-User
Allow: /
 
User-agent: PerplexityBot
Allow: /
 
User-agent: YouBot
Allow: /
 
# --- EĞİTİM BOTLARI: ENGELLE ---
User-agent: GPTBot
Disallow: /
 
User-agent: ClaudeBot
Disallow: /
 
User-agent: Google-Extended
Disallow: /
 
User-agent: CCBot
Disallow: /
 
User-agent: Meta-ExternalAgent
Disallow: /
 
User-agent: Applebot-Extended
Disallow: /
 
# --- KLASİK ARAMA: İZİN VER ---
User-agent: *
Allow: /
 
Sitemap: https://siteniz.com/sitemap.xml

Senaryo 3: Tüm Yapay Zeka Botlarını Engelle

Eğer içeriğinizin yapay zeka tarafından hiçbir şekilde kullanılmasını istemiyorsanız (örneğin özgün araştırma, premium içerik), hepsini engelleyebilirsiniz. Ama dikkat: bu, yapay zeka aramalarında görünmeyeceğiniz anlamına gelir.

# Tüm AI botlarını engelle (Google klasik arama hariç)
 
User-agent: GPTBot
Disallow: /
 
User-agent: OAI-SearchBot
Disallow: /
 
User-agent: ChatGPT-User
Disallow: /
 
User-agent: ClaudeBot
Disallow: /
 
User-agent: Claude-SearchBot
Disallow: /
 
User-agent: Claude-User
Disallow: /
 
User-agent: Google-Extended
Disallow: /
 
User-agent: PerplexityBot
Disallow: /
 
User-agent: CCBot
Disallow: /
 
User-agent: Bytespider
Disallow: /
 
User-agent: Meta-ExternalAgent
Disallow: /
 
User-agent: Applebot-Extended
Disallow: /
 
# Klasik Google aramasına izin ver
User-agent: Googlebot
Allow: /
 
User-agent: *
Allow: /
 
Sitemap: https://siteniz.com/sitemap.xml

Belirli Dizinleri Yönetme

Tüm siteyi değil, sadece belirli bölümleri yönetmek isteyebilirsiniz. Örneğin blog içeriğinize izin verip özel alanları engelleyebilirsiniz.

# GPTBot'a sadece blog'a izin ver, gerisini engelle
 
User-agent: GPTBot
Allow: /blog/
Disallow: /
 
# Veya belirli klasörleri engelle
User-agent: ClaudeBot
Allow: /
Disallow: /uyeler/
Disallow: /panel/
Disallow: /gizli/

robots.txt Dosyasını Nasıl Yüklersiniz?

Adım adım kurulum.

İlk olarak, dosyayı robots.txt adıyla düz metin editöründe oluşturun. Word gibi kelime işlemci kullanmayın.

İkinci olarak, yukarıdaki senaryolardan birini seçip içeriğini dosyaya yapıştırın. siteniz.com kısmını kendi alan adınızla değiştirin.

Üçüncü olarak, dosyayı sitenizin kök dizinine yükleyin. Tam olarak siteniz.com/robots.txt adresinden erişilebilir olmalı. Çoğu web framework'ünün (WordPress, Laravel vb.) robots.txt yönetimi için yerleşik bir yolu vardır.

Dördüncü olarak, tarayıcınızdan siteniz.com/robots.txt adresini açarak dosyanın doğru yüklendiğini kontrol edin.

Sık Yapılan Hatalar

Birkaç yaygın hata robots.txt'inizin işe yaramasını engelleyebilir.

Eski user-agent isimleri kullanmak. Claude-Web ve anthropic-ai artık geçersiz. Bunlarla engelleme yapıyorsanız, aslında Anthropic'i engellemiyorsunuz.

Googlebot'u yanlışlıkla engellemek. Google-Extended (AI eğitimi) ile Googlebot (klasik arama) farklıdır. Google-Extended'i engellemek klasik Google aramanızı etkilemez, ama yanlışlıkla Googlebot'u engellerseniz organik trafiğinizi kaybedersiniz.

Eğitim ve arama botlarını karıştırmak. Görünürlük istiyorsanız arama botlarını (OAI-SearchBot, PerplexityBot) asla engellemeyin.

robots.txt'i indeksleme engeli sanmak. robots.txt taramayı engeller, indekslemeyi değil. Bir sayfanın hiç görünmemesini istiyorsanız noindex meta etiketi kullanın.

Dosyayı yanlış yere koymak. robots.txt mutlaka kök dizinde olmalı (siteniz.com/robots.txt). Alt klasörde çalışmaz.

robots.txt ve llms.txt Birlikte Çalışır

Tam bir yapay zeka görünürlük temeli için iki dosyaya da ihtiyacınız var.

robots.txt botlara erişim iznini yönetir — kim girebilir, kim giremez. llms.txt ise içeri giren botlara rehberlik eder — sitenizin en önemli sayfaları hangileri, içeriğiniz ne hakkında.

İkisi birlikte, yapay zeka motorlarının sitenizi hem doğru tarayıp hem doğru anlamasını sağlar. İki dosyanın kurulumu birlikte 30 dakikadan az sürer ve en sık atlanan iki teknik gereksinimini birlikte çözer.

Sık Sorulan Sorular

Yapay zeka botlarını engellemek SEO'mu etkiler mi? Hayır, klasik SEO'nuzu etkilemez — yeter ki Googlebot'u engellemeyin. Google-Extended (AI eğitimi) ve Googlebot (klasik arama) ayrı sistemlerdir. Ancak AI botlarını engellerseniz yapay zeka motorlarındaki görünürlüğünüzü kaybedersiniz.

Botları engellersem içeriğim hiç kullanılmaz mı? Saygın şirketler robots.txt'e uyar. Ancak şu uyarı önemli: zaten toplanmış veriler için robots.txt geriye dönük çalışmaz, ve bazı agresif tarayıcılar kuralları yok sayabilir. Tam koruma için sunucu düzeyinde engelleme gerekir.

GPTBot'u engellersem ChatGPT'de görünmez miyim? Hayır — bu tam da ayrımın önemli olduğu nokta. GPTBot eğitim botudur. ChatGPT aramasında görünmek için OAI-SearchBot ve ChatGPT-User'a izin vermeniz yeterli. GPTBot'u engelleyip aramada görünür kalabilirsiniz.

Hangi senaryoyu seçmeliyim? Amacınız yapay zekada görünürlükse (çoğu işletme için): Senaryo 1 (hepsine izin). İçeriğinizi korumak ama aramada görünmek istiyorsanız: Senaryo 2 (dengeli). İçeriğinizin hiç kullanılmasını istemiyorsanız: Senaryo 3 (tümünü engelle).

robots.txt'imi ne sıklıkla güncellemeliyim? Yapay zeka botları sık değişir. Yeni botlar çıkar, isimler güncellenir. Birkaç ayda bir user-agent listesini kontrol etmenizi öneririz.

Sonuç

Yapay zeka botlarını yönetmek, 2026'da her web sitesinin teknik temel görevlerinden biri haline geldi. Ama bunu doğru yapmanın anahtarı, tüm botları aynı kefeye koymamak.

Eğitim botları ile arama botları farklıdır. Çoğu marka için en mantıklı strateji, yapay zeka motorlarında görünür olmak — yani önemli botlara izin vermek. İçeriğini korumak isteyen markalar ise eğitim botlarını engelleyip arama botlarına izin vererek dengeyi kurabilir.

Hangi stratejiyi seçerseniz seçin, iki şeye dikkat edin: güncel user-agent isimlerini kullanın (özellikle Anthropic'in değişen isimleri) ve robots.txt'i llms.txt ile birlikte kurun. Bu ikisi, yapay zeka çağında sitenizin teknik görünürlük temelini oluşturur.