Hep yanlış yerleri indexliyor ajandayı falan full indexlemiş ama asıl konular indexlenmiyor bu gereksiz yerleri indexlememesi için robots.txt ye ne yazmalıyım?
Şimdiki
robots.txt'm
Ben mesela burayı indexlemesini istemiyorum napmalıyım?
pvp-one.com/usercp.php
Senin gösterdiğin Robots Text'i zaten şu anda boş. Bu klasörün içerisine yasaklamak istediğin klasörleri
Disallow ile başlayıp yazmalısın.
Örneğin;
Disallow: /klasöradı/
Yasaklamak istediğin tüm klasör ve dosyaları aynen bu şekilde alt alta yazmalısın. Arkadaşın verdiği linktede detaylı anlatım var zaten.