Robot.txt le backlınk engellemıyor hocam kırık linkleri engelliyor. Penquen güncellemesiyle birlikte kırık linkler ve bloggerlardan verilen etiketlerde çok zarar veriyor bizzat 6 tane sitemi bu şekilde kurtardım 8 .sayfadan 2.sayfaya spamda olmasına rağmen taşıdım.
Bunun için robots.txt yi fazla kurcalamanızı tavsiye etmem. Google webmaster tools aracılığı ile Google dizini bölümünden URL'leri kaldır seçeneğini kullanmanız daha mantıklıdır. Kırık link 404 hatası verdiği veya ulaşılmadığı müddetçe zaten bir zaman sonra arama motorlarından kalkacaktır. Engelleme ayrı, dizinden kaldırmak ayrı. İkisi farklı şeyler...