Az önce robots.txt test aracını buldum, daha önce hiç kullanmamıştım. birkaç deneme yaptım sanırım bir iki dakika içerisinde mevcut durumu güncelleyecek.

Yukarıdaki bir disallow komutu her şeyi engelleyecek hale getirmiş. index sayım azalmaya başladı birkaç gündür.