Onunla alakasi yok kardes forumun bulundugu ana klasorde bir txt olmasi lazim robots.txt diye yoksada onemli degil kendiniz olusturup ana dizine yollayin bilmiyorum nasil yaparim diyorsaniz buyurun alt kisimdaki aciklamayi okuyunuz.

Sitenizin arama motorlarında üst sıralarda çıkmasını ve sitenizin içeriğinin daha iyi indexlenmesi için ana dizininize

siteniz.com/robots.txt

robots.txt dosyası oluşturun ve içine şu kodu yazın:

Kod:
User-agent: *
allow: /

Bu kod bütün siteyi indexler.Buradaki Kod:
User-agent: *
parametresi bütün arama örümcekleri sitemi indexlesin demek.

Benim sitemi google indexlesin yeter derseniz

Kod:
User-agent:Googlebot

Arama motorlarında çıkmasın dediginiz dizin varsa
Disallow yapmanız gerekmektedir.Örnegin admin klasörü yada cgi-bin klasörü gibi dizinler için

Ornek :

User-agent: *
Disallow: /admin

Aciklayici oldu sanirim kolay gelsin.