Var tabii ki...

Robots.txt dosyası, Google botları ile aranızdaki sözleşme gibidir. Bu örümcekleri yönetebilirsiniz. Nereleri taramalılar, sitenizin önemli sayfaları hangisi? Sitemap ve robots.txt SEO'nun teknik kısımlarının temelini oluşturmaktadır.