Merhabalar herkese!

Öncelikle iyi hafta sonları dilerim. Benim siz değerli üstadlara bir sorum var, hem belki diğer merak edenler de öğrenmiş olur.

Başlamadan önce, bunu internette detaylı olarak araştırdım, ChatGPT-4 ve Bard'a da sordum.

Sorum: Feed/RSS robotlara robots.txt üzerinden engellenmeli mi?

Disallow: /*feed*
Disallow: /*rss*

Eğer Feed/RSS'i bir yere gönderiyorsanız veya abonelik sisteminiz varsa tabii ki bunu yapmamalısınız. Ancak, eğer benim gibi bunların hiçbirini kullanmıyorsanız; bunu engellemeli misiniz?

GSC'ye baktığımda; sonunda /feed/ olan URL'lerin de eklenmeye çalıştığını ve hatalara yol açtığını görüntülüyorum. Size de oldu mu / oluyor mu? Bunun tarama bütçemi ve genel SEO sürecimi olumsuz etkilediğine dair teorim var.

Bazı kaynaklar bunları kullanmıyorsanız bile robotların ek bilgiye ulaşması için faydalı diyor, bazı kaynaklar da kullanmıyorsanız kapatabilirsiniz diyor.

Sektörde bilinen ve uzman bir SEO'cu ise şu şekilde yapmış:

Disallow: */feed
User-agent: FeedFetcher-Google
Allow: /*feed
User-agent: YandexTurbo/1.0
Allow: /*feed
User-agent: Bingbot
Allow: /*feed

Oldukça kafa karıştırıcı. Siz ne düşünüyorsunuz?

Teşekkürler.