robots.txt hakıında...

robots.txt arkadaşlar bu dosyayı nasıl oluşturacağız? Lütfen biri yardım etsin.... yaptım ama doğruluğundan emin değilim...
http://www.furniturepictures.net/robots.txt

dostum robot.txt genelde genelde genelde indexlemesini istemediğin yerler için disallow kullanarak yaparsın görüntülemesini istediğin yr için allow yazarsın ama sen herşeyi disallow yapmışsın indexlenmez böle sana söliim

bence robots.txt yi hiç gerek yok!

http://www.acemiblogcu.com/robotstxt...-ne-ise-yarar/
buraya bakarak tekrar yaptım fakat Allow -Disallow kafamı karıştırdıı :S!!!
Allow olması gerektiğinden eminmisin?

Böyle bir robots.txt'nin hiç bir anlamı yok, hatta bu kadar uzun robots.txt dosyası arama robotları tarafından sevilmez. Robots.txt'yi sadece arama motornunun indexlemesini istemediğin sayfalar için kullan, varsayılan olarak tüm robotlar bulduğu tüm linkleri indeksleme eğilimindedir. Robots.txt'de "Allow (izin ver)" şeklinde bir ibareye gerek yoktur. Eğer robots.txt'nin tam olarak ne iş yaptığını bilmiyorsan onu kullanmaman daha iyidir.

cok doldurma 1
sadece disallow yapmak istediklerini yaz 2
robot kısmını tum robotlara ozgu yap 3

User-agent: *
Disallow: /tmp
Disallow: /logs

bot larin kapisini kapatirsin, onemli olan diger soyalarida ayni sekilde siralayabilirsin. Buraya yazmadigin diger dosyalarini botlar gezmesine izin vermis olursun.

Yani diger dosyalarina Allow diye izin vermene gerek yok.

bu konuda hiç birşey bilmiyorsan al bunu kopyala

https://www.r10.net/robots.txt

yardımlarınız için tşkler arkadaşlar. tekrar yaptım bu kez doğru galiba klavyenize sağlık sıhhat...