Arkadaşlar wordpress tabanlı bir sitem var bunun robots.txt dosyası nasıl olmalı
Sitemap: http://www.site.com/sitemap.xml
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /trackback
Disallow: /feed
Disallow: /archives
Disallow: */feed
Disallow: */.php$
Disallow: */.js$
Disallow: */.css$
Disallow: /comments
Disallow: /date
Disallow: /page
Disallow: /category/*/*
Disallow: /category
Disallow: */trackback
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /
# digg mirror
User-agent: duggmirror
Disallow: /
ben bu şekilde kullanıyorum bi zararı olur mu birde örnek vereyim bu şekilde kullanmadan önce /tag/gebzedeki-cinayet/page/3 şeklinde indexlemelerim oluyordu bende böyle engelledim birçok şeyi fakat google açısından bi problem olması beni tedirgin ediyor.
Zira robots.txt ile kısıtlanan url sayısı 3060'a kadar çıktı