robots.txt gizlemek

Herkese sağlıklı ve mutlu seneler.

Tarayıcıya http://www.siteadiniz.com/robots.txt yazınca içeriğinin görünmemesi için aşağıdaki kodu kullandım. Bu kodu kullanmak Google böcekleri açısından bir sakınca doğurur mu?

.htaccess içerisine

<Files robots.txt>
Order Deny,Allow
Deny from All
</Files>

doğurur tabi google botu da okuyamaz

Peki bununla ilgili daha sağlıklı bir önlem alınamıyor mu?

robots txt ye bu kadar onemlı ne yazacaksınız

.txt olduğu için herhangi bir şekilde gizleyebileceğinizi sanmıyorum. Buna gerek de yok bana kalırsa, kimse gidip sitenizin robots.txt dosyasına bakmaz. Baksa da bir şey anlamaz zaten.

indexlenmesini istemediğim klasörlerin bir şekilde başkası tarafından görünmesini istemediğim için böyle birşey yapmak istiyorum.

o zaman robots.txt ile onu yapmayacaksın.

indekslenmesini istemediğin sayfanın metasına bunu yaz:

<meta name="robots" content="noindex,nofollow"/>

Bir kaç dosyada onu kullanıyorum zaten ancak, klasörde ki tüm dosyalara onu tek tek yapmak gerekiyor. Robots.txt de klasörün tüm içeriğinin indexlenmesini önlüyorsunuz.

hangi klasör hocam? wp ise kolayı var. yoast eklentisini kurarsın..mesela etiketlerin indexlenmesini istemiyorsun, etiketleri noindex yapasrın olur biter. aynı şey sayfalar ve taxonomyler için de geçerli.

ama wp değilse bilemiycem.