robots ayarı

Merhaba Arkadaşlar Blog Sayfam İçin Aşşağıda Ki Robots Kodlarını Kullandım Sizce Robots.txt Nasıl Olmalı ?


Sitemap: http://www.internetten-parakazanmak.org/sitemap.xml

User-agent: Googlebot

Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /archives/
Disallow: /index.php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
Disallow: /page/
Disallow: /tag/
Disallow: /category/

User-agent: Googlebot-Image
Disallow: /wp-includes/

User-agent: ia_archiver
Disallow: /

User-agent: duggmirror
Disallow: /

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Bu yeterlidir bence. Fazla kasmaya gerek yok.

index.php, kategori, etiket ve sayfaları da engellemişsiniz ona anlam veremedim.

Okumanızı tavsiye ederim
http://www.bityavrusu.com/wordpress-...obots-txt.html

Ben Bu Kodları Bi Forum Sayfasından Aldım. Wordpress İçin En İyi Robots.txt Kodları Felan Demişler Ama Yinede Sizlere Sormak İstedim İykide Sormuşum

--R10.NET; Flood Engellendi -->-> Yeni yazılan mesaj 21:28:08 -->-> Daha önceki mesaj 21:21:55 --

Hocam Sayfayı İnceledim. F.Gungor Arkadasın Verdiği Kodlar Mı Yoksa Sizin Verdiğiniz Linkte Ki Robots.txt Dosyası Mı Benim Sitem İçin Uygun Olur

F.Gungor hocamın verdiği robots.txt çok sade kullanıma çok uygun, ben biraz robotlara rehberlik yapmaya çalıştım faydasınıda gördüğüme inanıyorum.
Robots.txt seni 50 ci sıradan 1 ci sıraya yerleştirecek bir etken değil, fakat robotun işini ne kadar kolaylaştırırsan o kadar çok sever senin siteni mantığı ile böyle bir robots.txt oluşturdum.

Anladım F.Gungor ün Robots.txt şimdilik yeterli olur o zaman bana Teşekkürler.

Gelen botun kafasını fazla karıştırmaya gerek yok. Zaten tüm botlara allow / verilmiş bundan sonra tek tek ayırmaya gerek yok botları.
Ama googlebot-image kullanımı mantıklı olabilir.

Karışan bir durum yok hocam zaten botlar kendine ait isimle geliyor, adsense botu adsense ismiyle gelip adsense yoluna gidiyor, x botu x yolunu okuyup ona gidiyor.