bunu yaptıktan sonra mesela örmek veriyorum r0da biri sitemden bahsetti ve sitemi konuda ekledi googlede çıkmıcak dimi bu konu.
Sizle paylaştığım kod Google örümceklerinin sitenizi taramasını engeller. Search Console ve Analytics hesaplarınızda olmasın. Google kendi kendine "Robots.txt tarafından engelleniyor olsada dizine eklendi." başlığı altında index alabiliyor.
Sitenizdeki trafiği ölçebilmek için Yandex Metrica v.s araçlar kullanabilirsiniz.