wordpress için robots.txt

robots.txt dosyası birçok kez tartışıldı. internette wordpress ile ilgili seo makalesinde rastladığım aşağıdaki kodların robots.txt için en iyisi olduğunu söylüyorlar.

User-agent: Googlebot
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
User-agent: *
Disallow: /wp-
Disallow: /feed/
Disallow: /trackback/
Disallow: /rss/
Disallow: /comments/feed/
Disallow: /page/
Disallow: /date/
Disallow: /comments/

robots.txt e takıldı herkes, gidiyor. uğraşmayın bununla.
Disallow görme-indeksleme demektir. yukarıdakilere göre kendiniz değerlendirin.

yaw adam nerden bilsin Disallow: /*/trackback/$ bunun önemli olupta indexlenmemesini,
herkez web coder değil ki bilsin

User-agent: Googlebot

Bu sekilde GOOGLE'dan baskasi ulasmaz. Bence bu sakat

User-agent: *
Disallow: feed/rss/$
Disallow: trackback/$

Bu şekilde olabilir belki

Teşekkürler..

neden
User-agent: *
Disallow: feed/rss/$
Disallow: trackback/$

bunu açıkayabilecek varmı? (:

İmdaat ilk msjı göremiyorum

rss teki içerikle sitenin içeriği aynı olduğu için google bunu aynı içerik olarak görüyor(duplicate content) Bu yüzden arama motorlarında üste çıkmada bi dezavantaj sağlıyor bu yüzden iptal ediyolar.