Merhaba,
Aşağıdaki detaylar,wordpress siteler için uygun robots.txr içeriğimidir?konu hakkında görüşleriniz rica
User-agent: *
Disallow:
Disallow: /cgi-bin/
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /archives/
Disallow: /index.php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
User-agent: Googlebot-Image
Disallow: /wp-includes/
User-agent: ia_archiver
Disallow: /
Bir Wordpress tabanlı site için oldukça fazla tefarruatlı bir robots dosyası.
Tüm Robots dosyaları AYRIDIR Sizin için en güzel
kaynak şurasıdır