Yapay zekâ tarayıcıları amaçlarına göre üç gruba ayrılır: model eğitimi için içerik toplayanlar, arama dizini kuranlar ve kullanıcı bir soru sorduğunda sayfayı o anda açanlar. Otel için makul başlangıç, arama ve kullanıcı botlarına izin vermek, eğitim botları için ise ayrı bir içerik kararı vermektir. Kararı robots.txt ile uygularsınız.
Bu ayrım önemli, çünkü tek bir “yapay zekâ botlarını engelle” ayarı yoktur. Bir botu engellemek, başka bir botun davranışını değiştirmez; OpenAI da ayarların birbirinden bağımsız olduğunu belirtir. Yanlış bot engellenirse hedefiniz olan görünürlük zarar görebilir, doğru bot engellenirse yalnızca eğitim kullanımı kısıtlanır.
Bot adları ve politikalar sık değişir. Bu yazıdaki tablo 30 Eylül 2026’da OpenAI, Google, Anthropic ve Perplexity belgelerinden kontrol edildi; uygulamadan önce ilgili belgeyi yeniden açın.
Hangi yapay zekâ tarayıcısı ne iş yapar?
Aşağıdaki tablo, en çok karşılaşılan dokuz robots.txt belirtecini amaçlarıyla ve robots.txt kurallarına uyup uymadıklarıyla listeler. “Uyar” demek, üreticinin belgesine göre o kuralın o bot için geçerli olduğu anlamına gelir; garanti değildir.
| Şirket | robots.txt belirteci | Ne için kullanılır? | robots.txt uygulanır mı? |
|---|---|---|---|
| OpenAI | GPTBot | Üretken yapay zekâ temel modellerini geliştirmek | Evet |
| OpenAI | OAI-SearchBot | Sitelerin ChatGPT arama özelliklerinde gösterilmesi | Evet |
| OpenAI | ChatGPT-User | ChatGPT ve özel GPT’lerde kullanıcı eylemleri | OpenAI’a göre kurallar uygulanmayabilir |
| Googlebot | Google Arama (AI Overviews ve AI Mode dahil arama özellikleri) | Evet | |
| Google-Extended | İçeriğin Gemini modellerinin gelecek nesillerinin eğitiminde kullanılıp kullanılmayacağını yönetmek | Evet (ayrı bir kullanıcı aracısı dizesi yok) | |
| Anthropic | ClaudeBot | Modellerin eğitimine katkı sağlayabilecek içerik toplamak | Evet |
| Anthropic | Claude-SearchBot | Arama sonuçlarının kalitesini artırmak | Evet |
| Anthropic | Claude-User | Claude kullanıcısı soru sorduğunda siteyi açmak | robots.txt ile engellenebilir |
| Perplexity | PerplexityBot | Perplexity yanıtlarının dayandığı arama dizinini kurmak (eğitim için değil) | Evet |
| Perplexity | Perplexity-User | Kullanıcı sorusu sırasında sayfayı açmak | Perplexity belgesine göre genellikle yok sayar |
Kaynakları kendiniz de okuyabilirsiniz: OpenAI tarayıcıları, Google yaygın tarayıcılar listesi ve Anthropic’in ClaudeBot açıklaması. Google-Extended ile ilgili en önemli cümle şudur: Google-Extended’ın Google Arama’ya dahil edilmeyi etkilemediği ve bir sıralama sinyali olarak kullanılmadığı belirtilir.
Otel sitesi bu botları engellemeli mi?
Görünür olmak istiyorsanız arama botlarını engellemeyin. Eğitim botlarını engellemek Google Arama’daki görünürlüğünüzü etkilemez; ama içeriğinizin model eğitiminde kullanılmasına izin verme kararı işletmenizin kendi tercihidir. Doğru ya da yanlış bir cevap yoktur, sonuçlarını bilerek seçilmiş bir strateji vardır.
| Strateji | robots.txt’te ne yapılır? | Olası sonuç | Kime uygun? |
|---|---|---|---|
| A. Hepsine açık (varsayılan) | Bot için özel kural yazılmaz | Arama ve eğitim botları içeriğe ulaşabilir | Görünürlüğü önceleyen, içerik hakkı konusunda çekincesi olmayan oteller |
| B. Arama ve kullanıcı botları açık, eğitim botları kapalı | GPTBot, ClaudeBot ve Google-Extended için Disallow: / | Arama özelliklerinde görünme yolu açık kalır; eğitim kullanımı kısıtlanır | Görünür olmak isteyen ama özgün içeriğinin eğitimde kullanılmasını istemeyen işletmeler |
| C. Hepsi kapalı | Tüm yapay zekâ botları için Disallow: / | Bu ürünlerde kaynak olarak gösterilme olasılığınız düşer; Google Arama etkilenmez | Kendi içeriğini kesin olarak dışarıda tutmak isteyen işletmeler |
Oteller için pratik öneri B stratejisidir, ama yalnızca iş kararı olarak: oda açıklamalarınız, bölge rehberleriniz ve fotoğraflarınız özgün içerikse bunların eğitimde kullanılıp kullanılmayacağına sizin karar vermeniz gerekir. Arama botlarına izin vermek ise önerilerde ve yanıtlarda kaynak olarak gösterilme şansınızı açık tutar. Şansı garanti etmez; yalnızca kapıyı kapatmaz.
robots.txt dosyası nasıl yazılır?
robots.txt, sitenin kök dizinindeki düz metin dosyasıdır. Bot önce bu dosyayı okur, kendi adına ait grubu bulur ve o gruptaki kurallara uyar. Aşağıdaki tablo, B stratejisini uygulayan kurgusal bir otel sitesinin dosyasını satır satır açıklar.
| Satır | Anlamı |
|---|---|
| User-agent: * | Adı başka bir gruba uymayan tüm botlar için kurallar başlar |
| Allow: / | Tüm siteyi taramaya izin ver |
| Disallow: /api/ | Uygulama arayüzü uç noktalarını tarama |
| User-agent: GPTBot | OpenAI’ın eğitim botu için ayrı grup |
| Disallow: / | Bu bot hiçbir sayfayı taramasın |
| User-agent: ClaudeBot | Anthropic’in eğitim botu için ayrı grup |
| Disallow: / | Bu bot hiçbir sayfayı taramasın |
| User-agent: Google-Extended | Gemini eğitimi için kullanım tercihini bildiren belirteç |
| Disallow: / | İçerik Gemini eğitiminde kullanılmasın (Arama etkilenmez) |
| Sitemap: https://www.ornekotel.com/sitemap.xml | Site haritasının adresi |
Özel bot grubu, genel kuralları miras almaz
Bir bot için ayrı grup yazdığınızda o bot yalnızca o grubu kullanır; “User-agent: *” altındaki kurallar ona uygulanmaz. Örneğin yukarıdaki dosyada OAI-SearchBot için ayrı bir grup açıp yalnızca “Allow: /” yazarsanız, genel gruptaki “Disallow: /api/” satırı o bot için geçerli olmaz. Bu yüzden özel gruba, geçerli olmasını istediğiniz genel satırları da tekrar yazın.
robots.txt bir güvenlik duvarı değil
robots.txt yalnızca iyi niyetli botlara söylenmiş bir taleptir; erişimi fiilen kapatmaz. Gizli tutulması gereken bir sayfa için kimlik doğrulama gerekir. Bir sayfayı Google’ın dizininden çıkarmak için ise taramayı engellemek yerine noindex kullanılır; robots.txt ile taramaya kapalı bir sayfa, başka sitelerden gelen bağlantılar yüzünden yine de dizinde görünebilir. Anthropic, tarama hızını sınırlamak için standart dışı Crawl-delay satırını desteklediğini belirtir; Google’ın Arama botu bu satırı dikkate almaz. Yaygın teknik kontrolleri otel SEO 2026 rehberinde topladık.
Değişikliğin etkisi hemen görülmez. OpenAI ve Perplexity, robots.txt güncellemesinin sistemlerine yansıması için yaklaşık 24 saat gerekebileceğini belirtir. Dosyayı değiştirdikten sonra ertesi gün test edin.
robots.txt izin veriyor ama bot siteye giremiyorsa ne olur?
Bu, otel sitelerinde en az fark edilen sorundur. robots.txt’te izin vermek yeterli değildir; CDN, hosting güvenlik duvarı ya da bot koruma eklentisi bilinmeyen botlara 403 döndürüyor olabilir. O zaman botun niyeti de sizin izniniz de anlamsız kalır.
İki kontrol yapın. Birincisi, kullanıcı aracısı dizesini taklit eden basit bir istekle sitenin cevap verip vermediğini görün. İkincisi, güvenlik katmanınızın günlüklerinde bu botların son 30 günde engellenip engellenmediğine bakın. OpenAI, OAI-SearchBot’u robots.txt’te ve yayımladığı IP aralıklarında (searchbot.json) izinli tutmanızı önerir; Perplexity de PerplexityBot için aynı yaklaşımı önerir.
| Kontrol | Nasıl yapılır? | Beklenen sonuç |
|---|---|---|
| Kullanıcı aracısı testi | Terminalde: curl -I -A "OAI-SearchBot" https://siteniz.com/ | HTTP 200 (403 ya da 429 ise güvenlik katmanı botu engelliyor olabilir) |
| Aynı testi diğer botlar için tekrarla | -A değerini PerplexityBot, ClaudeBot, GPTBot yapın | Hepsinde HTTP 200 |
| Güvenlik günlüğü | CDN ya da hosting panelinde engellenen isteklerde bot adlarını arayın | Engellenmiş arama botu olmamalı |
| IP aralığı izni | Üreticinin yayımladığı JSON dosyasındaki aralıkları güvenlik katmanında izinli listeye alın | Taklit edilemeyen doğrulama |
Bir güvenlik katmanı kullanıyorsanız varsayılan ayarları ajansınızla ya da barındırma sağlayıcınızla birlikte gözden geçirin. Bu ayarlara kimin eriştiğini bilmek de önemlidir; hesapların otelin kendi adına açılması ilkesini ajans seçim rehberinde anlattık.
Google AI Overviews ve AI Mode için ayrı bir ayar var mı?
Yok. Google’ın yapay zekâ özellikleri belgesine göre bir sayfanın AI Overviews ya da AI Mode’da görünebilmesi için dizinde olması ve Arama’da snippet ile gösterilmeye uygun olması yeterlidir; ek bir teknik gereklilik ya da özel optimizasyon yoktur. Bu, klasik SEO’nun temelinin aynen geçerli olduğu anlamına gelir.
Google ayrıca mevcut önizleme denetimlerinin bu özellikleri de kapsadığını belirtir. Otel için hangi denetimin ne zaman kullanılacağı aşağıdaki tabloda.
| Denetim | Ne yapar? | Otel için ne zaman? |
|---|---|---|
| noindex | Sayfayı Arama dizininden çıkarır | Teşekkür sayfası, test sayfası gibi görünmemesi gereken sayfalar |
| nosnippet | Sayfadan metin önizlemesi gösterilmesini engeller | Yalnızca sayfanın hiçbir metninin alıntılanmasını istiyorsanız; aksi halde kullanmayın |
| data-nosnippet | Sayfanın belirli bir bölümünü önizleme dışında bırakır | Sık değişen kampanya fiyatı ya da tarih tablosu gibi eskiyince yanıltabilecek bölümler |
| max-snippet | Gösterilecek metin uzunluğunu sınırlar | Alıntı uzunluğunu kısıtlamak isteyen nadir durumlar |
Yapay zekâ özelliklerinden gelen trafik Search Console’da ayrı bir rapor değildir; Google, bu özelliklerde görünen sitelerin trafiğinin Performans raporunda “Web” arama türü içinde toplam arama trafiğine dahil edildiğini belirtir. Raporun nasıl okunacağını Search Console rehberimizde anlattık.
llms.txt robots.txt’in yerine geçer mi?
Hayır. robots.txt hangi botun nereye girebileceğini söyler; llms.txt ise sitenin önemli sayfalarını ve temel olgularını özetleyen, henüz bir standart haline gelmemiş bir öneridir. Google, yapay zekâ özellikleri için ek bir optimizasyon gerekmediğini belirttiği için llms.txt’yi zorunlu saymamalısınız. Nerede işe yaradığını ve nerede yaramadığını otel yapay zekâ araması rehberinde değerlendirdik.
On dakikalık robots.txt ve yapay zekâ botu kontrol listesi
- robots.txt dosyasını tarayıcıda açın (siteniz.com/robots.txt); 200 dönüyor ve beklediğiniz kurallar görünüyor mu?
- Hangi stratejiyi (A, B ya da C) uyguladığınızı yazılı bir karara çevirin; kararı veren kişiyi ve tarihi not edin.
- Özel bot grubu yazdıysanız genel kuralları (ör. /api/) o gruba da kopyaladığınızı doğrulayın.
- OAI-SearchBot, PerplexityBot ve Claude-SearchBot’un robots.txt’te engellenmediğini kontrol edin.
- curl testiyle botların sitenize HTTP 200 ile eriştiğini doğrulayın; 403 ya da 429 görürseniz güvenlik katmanını inceleyin.
- Sitemap satırının güncel adresi gösterdiğini ve sitemap’in tüm önemli sayfaları içerdiğini doğrulayın.
- Fiyat ve kampanya gibi sık değişen bölümler için data-nosnippet kullanımını değerlendirin.
- Ayarları altı ayda bir ve yeni bir bot duyurulduğunda yeniden kontrol edin.
Sıkça sorulan sorular
GPTBot’u engellersem ChatGPT’de görünmez miyim?
Hayır. GPTBot model eğitimi içindir; ChatGPT’nin arama özelliklerinde sitelerin gösterilmesi OAI-SearchBot ile ilgilidir. OpenAI, bu ayarların birbirinden bağımsız olduğunu belirtir. Yine de görünürlük garantisi yoktur; arama botuna izin vermek yalnızca yolu açık tutar.
Google-Extended’ı engellersem Google sıralamam düşer mi?
Google’ın belgesine göre düşmez. Google-Extended, içeriğin Gemini modellerinin gelecek nesillerinin eğitiminde kullanılıp kullanılmayacağını yönetir; Arama’ya dahil edilmeyi etkilemez ve sıralama sinyali olarak kullanılmaz.
ChatGPT-User ve Perplexity-User’ı robots.txt ile engelleyebilir miyim?
Sınırlı. OpenAI, kullanıcı tarafından başlatılan eylemlerde robots.txt kurallarının uygulanmayabileceğini, Perplexity ise Perplexity-User için genellikle kuralları yok saydığını belirtir. Bu istekleri engellemek istiyorsanız güvenlik katmanı gerekir; ama bu, kullanıcıların sitenize bu araçlar üzerinden ulaşmasını da kısıtlar.
robots.txt değişikliği ne zaman etkili olur?
OpenAI ve Perplexity, sistemlerinin robots.txt güncellemesine uyum sağlaması için yaklaşık 24 saat gerekebileceğini belirtir. Değişiklikten sonraki gün testi tekrarlayın.
Küçük bir otelin bu ayarlarla ilgilenmesi gerekir mi?
Gerekir, ama kapsamı küçüktür. Varsayılan durumda botlar içeriğinize erişebilir; asıl risk, güvenlik katmanının arama botlarını yanlışlıkla engellemesidir. On dakikalık kontrol listesini yılda iki kez çalıştırmak çoğu otel için yeterlidir.
Otelinizin veya acentenizin dijital pazarlama stratejisini birlikte değerlendirmek için keşif görüşmesi talep edebilirsiniz.
Keşif görüşmesi talep et
