wordpress için örnek robots.txt

27-06-2009, 13:00:23

Üyeliği durduruldu

merhaba arkadaşlar örnek bir robots txt kodlarını yazıcak arkadaş varmı nettende araştırdım fakat en basit herşeyi indexle buldum paylaşırsanız sevinirm

27-06-2009, 13:25:44

#2

ib0

User-Agent: *
Allow: /
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /*ref*

27-06-2009, 13:48:54

#3

~~sL1pknot~~

Üyeliği durduruldu

Bu konuyu iyiki açmışsın, sitemi silip tekrardan kurmuştum. Konuyu açınca farkettim.

User-agent: *
Disallow: /

Benimkisi böyle olmuş, yani tüm robotlar tarafından indexlenmesini istemiyorum olmuş. Aslında ;

User-agent: *
Disallow:

Böyle olması gerekir.

27-06-2009, 20:56:37

#4

~~Click~~

Üyeliği durduruldu

User-Agent: *
Disallow: /wp-admin
Disallow: /wp-includes

Biraz daha araştırdım ve böyle olması gerekiyormuş dogrumudur

27-06-2009, 21:03:46

#5

~~TylerDurden~~

Üyeliği durduruldu

admin, includes zaten indekslenmez.

Disallow: /*ref* koymayacaksanız vey farklı bir şey engellemiyorsanız, robots.txt'e gerek yok. wp zaten neyin indekslenip neyin indekslenmeyeceğine karar veren bir script.

28-06-2009, 08:41:07

#6

Ergün

Kimlik doğrulama veya yönetimden onay bekliyor.

kendimin kullandigi robots.txt

# BEGIN XML-SITEMAP-PLUGIN
Sitemap: http://www.sohbetdk.com/sitemap.xml.gz
# END XML-SITEMAP-PLUGIN

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-*
Disallow: /trackback
Disallow: /comments
Disallow: */trackback
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /
# digg mirror
User-agent: duggmirror
Disallow: /
# sitemap
Sitemap: http://www.sohbetdk.com/sitemap.xml

29-06-2009, 00:36:41

#7

~~sL1pknot~~

Üyeliği durduruldu

Bu konuda yardımcı olmaya çalıştım.
-Rep atan şerefli kardeşime selam olsun