Google botlarının indexlememesini istediğin yerleri robots.txt de disallow olarak belirtebilirsin .

Ayrıca Robots.txt 'nin mantığı siteye gelen google botlarının sitedeki davranışlarını belirler. Sitemap.xml dosyasını robots.txt içerisine eklemende fayda olacaktır. Bu kuralı göz önünde bulundurup robots.txt yi düzenleyebilirsin