Robot.txt'nin Olmaması Dezavantaj Mıdır

Sitelerinizde indexlenmemesi gereken yerler olabilir güvenlik açısından. Bunun için kullanabilirsiniz

Bu tür özel durumlar için bunu robots.txt değilde aşağıdaki metayı kullanmanızı tavsiye ederim.

<meta name="ROBOTS" content="NOINDEX, NOFOLLOW" />

Malum örneğin admin panelinizi yazacaksınız ama heykır abilerin robots.txt dosyanıza bakmak akıllarına gelebilir
Bu sebeple yukarıdaki metayı kullanmanız daha uygun olacaktır.

Çok indexinizin değil,lüzumlu indexinizin olması önemli.
Üyelerinizi indexlettirmeyin.
Fazla index göz çıkarmaz mantığı yanlış.
Kullandığınız scriptte calendar vs. varsa onları da robots.txt ile engelleyin.
Eğer engellemek istemiyorsanız,robots.txt olması şart değil sitenizde...
Engelleme için kullanılan bir sistem.

üye indexlettirmemek için hangi kodu girecez.

Benim sitemde profile sadece üyeler bakabiliyor. Ve hiç bir profil sayfası indexli değil.

robots.txt kullanmazsan site sayfaların google adsense de yasaklı url kısmına düşebilir...

vbulletin kullanıyorsan zaten üyelerin linkleri nofolow en azından bende öyle