Robots.txt de Herşeyi İndexlemesi İçin?

Arkadaşlar robots.txt oluşturacağım fakat kafam karıştı. Ben botların tüm sitemi indexlemesini istiyorum. Sitemin tamamını indexlemesi için robots.txt e ne yazmam gerekiyor ?

User-agent: *

Allow: /

R10+ nı verdim kardeşim

Sitedeki her şeyin indekslenmesi o kadar da faydalı değil yanlız. Haberin olsun.
Hem güvenlik sıkıntısı yaşama ihtimalin yüksek, hem de görece olarak önem sırası yüksek içerikleri indeksletirken, daha az önemli ya da önemsiz içerikleri indeksletmekle botları gereksiz yere meşgul etmiş olursun.

Sitenin admin paneli yok ki hocam ben bile admin değilim o derece...

FTP erişimin varsa klasörleri kontrol et. Kullandığın sistem neyse ona göre robots.txt'yi düzenle. Atıyorum admin klasörünü bota okutmana luzum yok.

İndekslenmesini istemediklerini aşağıdaki gibi ekle.

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/

Geçenlerde Google Web Yöneticisi paneline robots.txt oluşturmamla ilgili bir yarı geldi. Her ne kadar anlam veremesemde. İnternette WP için en iyi robots.txt dosyasına baktım. SEO Hocası şunu paylaşmış; Sizce en ideali bu mudur? Her siteye uyar mı

WordPress için Robots.txt

Sitemap: http://www.siteadresi.com/sitemap.xml

User-agent: Googlebot

Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /archives/
Disallow: /index.php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
Disallow: /page/
Disallow: /tag/
Disallow: /category/

User-agent: Googlebot-Image
Disallow: /wp-includes/

User-agent: ia_archiver
Disallow: /

User-agent: duggmirror
Disallow: /

Kaynak: http://www.seohocasi.com/hazir-siste...txt-dosyalari/