Robots.txt nedir, ne işe yarar, nasıl oluşturulur?

İnsanlar bilinçlensin diye birsürü makaleler, dökümanlar hazırlanıyor, yayınlanıyor ancak insanlarımız bir türlü bilinçlenmiyor adeta bilinçlenmek isemiyor. Çok güzel bir konuya değindin aslında, SEO adı altında insanlar kandırılarak paraları alınıyor ve ellerine dediğin gibi robots.txt oluşturup, sitemap hazırlayıp veriyorlar. Yapılan bu işler sahtekarlıktır adeta.
Artık bilinçlenelim ve bu sivri zekalara bir son verelim.

konu yapıştırılmalı gayet iyi açıklayıcı saol

Arşivlik Makale Teşekkürler

evet gercekten güzel bir anlatım birazda ben eklemek isterim dosyanızın içinde bulunması gereken bir kac komut

Benim sorunum çözüldütken sonra konu açılmış

Diğer arkadaşlar için çok faydalı

Robot.txt dosyasını ftp de nereye göndercez ben onu anlamadım. Güzel anlatmişsın ama..

index.html ya da index.php ya da index.asp vs. nerdeyse oraya yani sitenin yayın yaptığı ana dizine.