Bu sorunların cevabı için örneğin seo konusunda iddialı ve seo yazıldığında ilk sayfada çıkan sitelerin robots.txt sayfalarına bakman yeterli gibi..