Baidu botları - R10.net

31-12-2009, 11:27:50

Telvin

Kimlik doğrulama veya yönetimden onay bekliyor.

Arkadaşlar siteye giren baidu botlarını yasaklamak istiyorum. Robots.txt`ye bunla ilgili eklemeler yaptım. Yabancı sitenin birinden alarak. Ama botlar yine geliyor.
eklediğim kodlar :

User-agent: BaiDuSpider
Disallow: /

User-agent: Baidu
Disallow: /

User-agent: Baiduspider+(+http://www.baidu.com/search/spider.htm)
Disallow: /

User-agent: Baiduspider+(+http://www.baidu.com/search/spider_jp.html)
Disallow: /

giren botların ip`si 119.63.198.xx şeklinde.
üstüne tıkladığımda gelen sonuç "baiduspider-119-63-198-xx.crawl.baidu.jp"
şeklinde oluyor.

Konu hakkında bilgisi olan arkadaşımız varsa lütfen yardım etsin.

31-12-2009, 11:35:18

#2

uniyolu

Botun gelmesini engelleme şansımız yok bildiğim kadarıyla. Yani gelirse geliyor. İpden banlama olayları filan var sanırım ama ona girme. Bunun yerine robots.txt dosyasına Crawl-delay: 10 kodunu ekle. Botun etkisi normale dönecektir. Bandtan fazla yeme şansı kalmaz.

31-12-2009, 20:32:15

#3

Telvin

Bu rastgele 10 arama motoruna mı izin veriyor

31-12-2009, 20:36:30

#4

eftal

ya bu botlar benim siteye bi geliyor 50 tane bi işede yaramıyorlar ya

31-12-2009, 21:36:33

#5

muratkurt1

uniyolu adlı üyeden alıntı: mesajı görüntüle

Botun gelmesini engelleme şansımız yok bildiğim kadarıyla. Yani gelirse geliyor. İpden banlama olayları filan var sanırım ama ona girme. Bunun yerine robots.txt dosyasına Crawl-delay: 10 kodunu ekle. Botun etkisi normale dönecektir. Bandtan fazla yeme şansı kalmaz.

robot.txt ile paşa paşa engellersin geldiği gibi gider

31-12-2009, 22:51:20

#6

uniyolu

muratkurt1 adlı üyeden alıntı: mesajı görüntüle

robot.txt ile paşa paşa engellersin geldiği gibi gider

arkadaşım bak sende diyosun geldiği gibi gider diye. Yani geliyor

Ama robots.txt'e dediğim kodu eklersin sıkıntı oluşturmaz. Bu kod her sayfada 10 sn den fazla durma demektir. Bu süre içinde indekslemesini yapar çıkar gider.

31-12-2009, 23:08:10

#7