Sitemde alt dizin olarak phpbb3 forum kurdum.Ana dizinede robots.tx attım.Yanlız web master toolsdan baktıgımda forum içeriğinin robots.txt tarafından engellendiğini gördüm sizce aşağıdaki hangisi bunu yapar.

User-agent: *
Disallow: /*ref=*
Disallow: /default.htm
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /archives/
Disallow: /*?
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
Disallow: /page/
Disallow: /tag/
Disallow: /category/

User-agent: Googlebot-Image
Disallow: /wp-includes/

User-agent: Mediapartners-Google*
Disallow:

User-agent: ia_archiver
Disallow: /

User-agent: duggmirror
Disallow: /