Arkadaşlar, 20 bin kişilik bir forum fokur fokur kaynıyor, bu zamana kadar tüm bootlara kapalıydı, şimdi ise karar aldık siteyi arama motorlarına açacağız, ilk yaptıkım işlem ana dizindeki robot.rxr yi komple silmek oldu, sonra google web yöneticisinden bir html dosyası indirip ftpye attım, siteyi doğrulattım, sonra analytics olayına geçtim ve analytics de çatır çatır çalışıyor, işlemi 12 saat önce yaptım hala binlerce backlink indexli durumda ama forumun sadece tek bir index i var oda anasayfası.
Kaynak: Wardom http://www.wardom.org/showthread.php?t=453486

Google web yöneticisnde Tarama hataları bölümünde robots.txt diyor hala ve toplamda 128 linkte hata veriyor bu linklerden önemli olduğunu düşündüklerimi yazıyorum:

.com/index.php
.com/forumdisplay.php?f=3
.com/member.php?u=1
.com/search.php?do=getdaily
.com/showthread.php
.com/newreply.php

bunlar gibi devamı değişik 128 tane link var ve bazı ana kategoriler de bu şekilde kısıtlanmış ve hepsinin karşısında "robots.txt tarafından kısıtlanan URL" yazmakta.

-Ne yapmak gerekiyor, temanın kendi php dosyalarına mı eklenmiştir bu engelleyici kodlar?

-Robots.txt yi sildim ana dizinden başka bir yerde olabilir mi?

-Eğer php dosyalarıysa düzenlemem gereken bunlar hangileridir ve hangi kodları içlerinde aramalıyım?