Merhaba arkadaslar. http://www.baidu.com/search/spider.htm soyle bir arama motoru sitemde butun gun ve 38-40 tane bot gonderiyo ben bu arama motorunun gelmesini istemiyom ve zaten japonmudur cinmidir nerenin motoru bilmiyorum ama bu botu engellemek icin robots.txt ye ne yazmam gerek Disallow: http://www.baidu.com yazdim ama halâ geliyo ipsini yasakladim sitede gezemiyo ama gene sitede duruyo.
Umarim anlatabilmisimdir ve elinde gereksiz arama motorlari olan varsa onlarida yazarlarsa onlarida engelleyim tesekkurler.
istenmeyen arama motorunu engelleme.
9
●5.859
- 18-10-2009, 00:20:52Disallow: /bot ismi
Sanırım Böyle olması gerek tam olarak bot adını yazarsınız.
Disallow: /baidu
Robots txt dosyanıza sitenize gelen botun adını bot ismi yerine yazın. - 18-10-2009, 00:35:59Üyeliği durdurulduBaiduspider+(+http://www.baidu.com/search/spider.htm)
Disallow: /Baiduspider
bu sekildemi olcak ozaman? - 19-10-2009, 11:18:03Üyeliği durduruldurobots.txt yi editleyerek gelmesini engelleyebilirsiniz.
- 10-11-2009, 17:59:35Google(4), Yahoo! Slurp(4), Baidu(103), Cuil Spider, MSNBot(31), Indy Library(2), Sogou, Giga Blast, ScoutJet, Deepnet Explorer, Yandex, Alexa
bendede bir sürü var analiytic kullanıyorum acaba bunlarıda ziyaretci olarak sayıyormu ?