Merhaba, user agent belirtmezseniz news dahil tüm botları engellersiniz.

# Block only Googlebot
User-Agent: *
Allow:
User-Agent: Googlebot
Disallow: /feed

Yukarıda ki şekilde belirterek news yada diğer botları engellemeden sadece Googlebotu feed dizini için engelleyebilirsiniz.


Ya da tüm botları feed dizini için engelleyip sadece news botuna izin vermek için;

#Allow only Googlebot-News
User-Agent: *
Disallow: /feed
Allow:
User-Agent: Googlebot-News
Allow: /feed


User-agent ile ilgili daha fazla bilgi için : https://developers.google.com/search...glebot-desktop

Robots.txt testi için : https://support.google.com/webmasters/answer/6062598