Özel robots.txt dosyası hakkında

merhaba arkadaşlar. blogspotta açtığım bir adreste dizin durumunda engellenen dizin sayısı hayli fazla blogspot Özel robots.txt ayarında oluşturduğum dosyada şu şekilde

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.benimsitem.blogspot.com/sitemap.xml

şimdi bu durumda ne yapmalıyım. lütfen destek.

yokmu bi yardım eden

User-agent: *
Disallow: /search/
Allow: /
Sitemap: http://www.benimsitem.blogspot.com/sitemap.xml


Yukardaki ile değiştirirsen sorunun çözülecektir.

Bir soruda ben sorayım

Açıklama şu şekilde : Site haritasında robots.txt tarafından engellenen URL'ler bulunuyor.

/wp-content/uploads/2016/04/xxx-150x150.jpg

Robots txt :

User-agent: Googlebot

Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /archives/
Disallow: /index.php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/

User-agent: Googlebot-Image
Disallow: /wp-includes/

User-agent: ia_archiver
Disallow: /

User-agent: duggmirror
Disallow: /

Bu şekilde mi ayarlamalıyım?

User-agent: Googlebot-Image
Disallow: /wp-includes/
Allow: /wp-content/uploads/

/wp-content/ klasörünü engellediğin için tüm resimleri engellemiş oluyorsun. js dosylarını falan da engellemişsin, Google artık bu dosyaları okuyabiliyor.
Robots.txt dosyanı aşağıdaki gibi yap, saldırı ya da taranmamasını istediğin özel bir durum yoksa.


User-agent: *
Allow: /