evet webkit robot txt ile engelleme işlemini yaptım.
ancak web toolsta
robotla engellenen linkler bölümünde bu siteler gözükmeye başladı..
bu siteleri tümden yoketmenin yolu nedir.
nerden gelirler..
Evet google araçlarında (webmaster tools) ile silinen linkleri gözleyebiliyorsunuz, robots.txt nize gereken kodları uyguladığınızda bassediğimiz bağlantılar size gelmez, googlebot gelen spam bağlantıları indexlemez ve cezalandırmaz.. Önceden gelen bağlantılarıda zamanla dizininden siler.