Robots.txt dosyasını düzenleme?

11-06-2010, 01:25:47

merhabalar. robots.txt dosyasını nasıl düzenleyebilirim? şuana kadar hiç bu dosyayı kullanmıyordum ama bu sefer değişik bir liste çıktı karşıma:

Alıntı

User-agent: *
Allow: /

User-agent: Slurp
Crawl-delay: 8

User-agent: msnbot
Crawl-delay: 5

User-agent: nutch
Crawl-delay: 5

User-agent: yeti
Crawl-delay: 8

User-agent: Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/)
Crawl-delay: 8

User-agent: naverbot
Crawl-delay: 8

User-agent: googlebot
Crawl-delay: 5

User-agent: dotbot
Crawl-delay: 5

User-agent: twiceler
Crawl-delay: 8

User-agent: yandex
Crawl-delay: 5

User-agent: Teoma
Crawl-delay: 5

User-agent: BoardReader
Crawl-delay: 8

User-agent: Exabot
Crawl-delay: 10

ne olduğunu anlayamadım txt dosyası olarak yaptığımda da silinmiyor bir türlü. nasıl silebilirim onları ne işe yarar acaba?

11-06-2010, 14:44:38

#2

Wolfenstein

bür türlü düzenleyemedim. site yöneticisinden tarıyıcı erişiminde;

Kural Googlebot tarafından yok sayıldı

bu yazıyor.

11-06-2010, 14:45:51

#3

Hagiwhat

⭐ EN UCUZ CHATGPT 5.5⚡

wolf belli bir zamandan sonra değişir, hemen değişmiyor, sitemapı okuması gibi..

11-06-2010, 17:01:47

#4

Gwindor

google web araçlarından kendine özel robot.txt oluşturabilirsin.

28-06-2010, 00:40:44

#5

cl0ud

aynı şeyi bende sorucagım hızlı robots.txt ne nasıl düzenliyeceğim nasıl ayarlıyacagım

28-06-2010, 11:31:54

#6

Wolfenstein

benim hala böyle kaldı galiba indexlerimde bu yüzden yavaşlama mı var anlamadım gitti silemiyorum onları da bir türlü