bu yazılanları kopyala robots.txt olarak kaydet düzelir ardından aldıgın hatalar sildigin sayfalar yada sitemapa ekli olmayan sayfalar dır

User-agent: *
Disallow: /*.mdb$
Disallow: /*.sql$
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /private/