Bilgi Lütfen...

Arkadaşlar şu Robots.txt i hakkında bilgi verirmisiniz yada nereden tam bir bilgi alırım bilgi lütfen..

Robot.txt nedir ne ise yarar
Webmasterlar arasinda her zaman robot.txt konusunda bir soru çikar. Bu konuyu aydinlatmakta yarar var. Robot.txt arama motorlarinin sizin sitenizde girmelerini istediğiniz sayfalari degil! girmelerini istemediginiz sayfalari söylemeniz içindir.

Web sitelerin çogunlugu robot.txt dosyasindan yoksundur,bu onlar için bir sorun teskil etmez. Robot.txt sayfalarınızın arma motorlarında yüksek siralarda gelmesine yardim etmez. Sitenizi indexlemesini istemediginiz istenmeyen yabanci tarayicilara karsi önlem olarak kullanilabilir.
Intenette gezinen tüm robotlar iyi huylu degildir sayfalarinizdan spam amaçli email adresleri toplamak isteyen robotlar olabilir.

Sayfalariniz hazir olmayabilir, hazir olmayan sayfalarin arama motorlarinda indexlenmesini sitemeyebilirsiniz. Ben sahsen eksik bir siteyle ortaya çikmak istemem.
Bir üyelik bölümünüz veya yönetici bölümünüz olabilir Google da aramalarda bu sayfalarin ortaya çikip sonradan rahatsiz olmak istemezsiniz.
Işse size çok basit bir robots.txt dosyası:

User-agent: Emailcollector
Disallow: /

bu Sizi eposta toplayan bir robottan korur,bu dosyayi sunucunuzda dosyalarinizi koydugunuz kök dizine yükleyebilirsiniz.

kaynak:aramamotorubilgi.com

daha fazla bilgi için google.com.tr den arat istemediğin kadar bulabilirsin