Büyük sitelerin robots.txt dosyalarını inceleyip fikir sahibi olabilirsiniz.