Otoriter sitelerin robots.txt dosyalarını inceleyerek fikir edinebilirsiniz.

https://www.r10.net/robots.txt
http://www.webrazzi.com/robots.txt
http://www.sosyalmedya.co/robots.txt