Robot.txt Niçin Yapılır (Örneklendirmeli)

Merhaba;

robot.txt de sayfa indexlemede yol gösterici bir etkendir. Siz botun (spider) işini kolaylaştırısanız o da sizin işinizi kolaylaştıracak bunu reel hayattaki bir örnekle açıklayalım

Arabamızı aldık bi yurtdışı seheyatine gidiyoruz hiç bilmediğimiz yollar var oda ne iki yol çıktı önüne şimdi hangisine gitse iyti olur hangisi yolu kısaltır oysaki yanın da yolları bilen biri olsa idi bunların hiç biri olmuyacaktı

Bilen biri = robot.txt oluyor işte botlara(spider) yol gösterici hatat sitemapa destek verebiliriz bu yöntem ile

Yararları: Optimizasyonu botlar a bırakmış olmazsınız kendiniz yapmış olursunuz o site sizin çünki
Optimizasyonda bir adım ileri olursunuz
Zararları (varsayım): robot.txt dosyasında yapacağınız yanlış anti-sayfa indexi olarak size geri döner

güzel yol gösteriyor lamerlerinde işini kolaylaştırıyor

Evet orasıda zararları bölümüne eklenebilir

güzel yazıyosunda nasıl kullanılacağınıda yazsaydın da herkes öğrenseydi

Bazıları gereksiz gibi görebiliyor ama Arama motorları için gerçekten büyük önemi olan bir dosyadır. WebmasterWorld bu dosya için kocaman bölüm açmış robots.txt: ne kadar önemi olduğu buradan belli oluyodur sanırım

Faydalı birşey olmasa robots.txt diye bir şey icat edilmezdi herhalde.

icat edilen herşey yararlı olamaz bence,zararlı olan biçok icat var ama robot.txt tabiki faydalıdır.yapılışı hakkında biraz bilgi de verirseniz sevinirim

Aslında o dosyanın amacı siteyi indexlemeye gelen örümceklere nereleri indexle ama nereleri indexleme demek içindir.

robots.txt olmayan bir siteye örümcek gelirse her leri indexlemeye çalışır ama robots.txt dosyasında indexlenmemesi gereken yerleri gösterirseniz doğru indexleme yapar.

Örneğin üyelerle ilgili bölümler ve adminlerle ilgili bölümlerin indexlenmemesi gerekir ve de indexlenirse bir iş yaramaz.

Benim bildiğim olayın aslı budur.

arkadaşlar vbulletin de yanlış bilmiyorsam robots.txt dosyası yok yapılışını da nuke dekini aldım fakat dikkatimi ceken bir şey oldu

User-agent: *
Disallow: /ajax.php
Disallow: /attachment.php
Disallow: /calendar.php
Disallow: /cron.php
Disallow: /editpost.php
Disallow: /global.php
Disallow: /image.php
Disallow: /inlinemod.php
Disallow: /joinrequests.php
Disallow: /login.php
Disallow: /member.php
Disallow: /memberlist.php
Disallow: /misc.php
Disallow: /moderator.php
Disallow: /newattachment.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /poll.php
Disallow: /postings.php
Disallow: /printthread.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /subscription.php
Disallow: /threadrate.php
Disallow: /usercp.php
Disallow: /usernote.php
Disallow: /tags/index.php


disallow engellemek manasına geliyor mantığını çözemedim:S