İpucu: Robots.txt Oluşturma

Robots.txt oluşturma adresi:

http://www.mcanerin.com/EN/search-engine/robots-txt.asp

İzin vermek istediğiniz seçenek için allowed seçeneğini işaretlemeniz yeterlidir.

İşleminiz tamamlandıktan sonra Create Robots.txt butonuna tıklayarak Robots dosyasını oluşturabilirsiniz.

Teşekkürler hocam güzel bir sihirbaz olmuş, özellikle altta parametreler hakkında bilgi vermesi çok hoş.Robots.txt dosyam eksikti bu sihirbaz sayesinde halletmiş oldum.

Restricted Directories: kısmından ise arama motoru botlarının girmemesi gereken klasörleri belirtebilirsiniz.

Ne olabilir bu klasörler,

Admin, Yönetim vs size özel klasörleri mutlaka engellemelisiniz.

teşekkürler işe yarar bir çalışma

Ben bir robots.txt oluşturacağım, örneğin example.com domainim var. Bunun indekslenmesini istiyorum ama intra.example.com domainine ait linklerin hiçbirisinin indekslere alınmasını istemiyorum.

Bununla ilgili robots.txt dosyasını nasıl düzenlemeliyim. Yardımcı olabilirmisiniz.

Öncelikle teşekkür ederim.
Ben bir şey sormak istiyorum.

Örneğin.
Disallow: /ana-klasör/altkalsör1/
Disallow: /ana-klasör/altkalsör2/

Yukarıdaki ana klasör içindeki 2 klasörü engelle diyince ana klasöre bir engelleme olur mu? Ana klasör içinde robotu ilgilendiren tek bir klasör var gerisini görmesin istiyorum.