https://www.youtube.com/watch?v=YXvEfHd8MEs
Bu sistem birçok haber sitesinin fişini çekebilir.
Dünyanın en büyük haber sitesi bile olsanız googleye hiçbir zaman güvenmeyin.
Bu saatden sonra haber sitelerinin yapacağı bence
Alıntı
User-agent: Googlebot
Disallow: /
User-agent: Googlebot-Image
Disallow: /
User-agent: Googlebot-Mobile
Disallow: /
User-agent: *
Allow: /
Özellikle
Alıntı
SetEnvIfNoCase User-Agent "Googlebot" bad_bot
Order Allow,Deny
Allow from all
Deny from env=bad_bot