robost.txt bu şekilde ama yine olmadı
Alıntı
User-agent: Googlebot
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: *ref*
User-agent: sogou spider
Disallow: /

hala geliyor yawww dalga geçer gibi