Bu konuda birçok mesaj olduğunu biliyorum arkadaşlar, ancak diğer arkadaşların konularını inceleyince benim robots dosyasından biraz farklı olduğunu gördüm ben yıllardır aşağıdaki şekilde kullanıyorum ama kafama takılmaya başladı aceba bu tarz bir robots dosyası doğrumu sitemiz bir oyun sitesi.
User-agent : Googlebot
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /archives/
Disallow: /index.php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
User-agent: Googlebot-Image
Disallow: /wp-includes/
User-agent: ia_archiver
Disallow: /
User-agent: duggmirror
Disallow: /
Sitemap: http://www.siteadresi.com/sitemap.xml
Birçok forumda benim kullandığım robots dosyasının en ideali olduğu şeklinde yorumlar var ama mesela neden Disallow: /index.php bu bir sorunmudur.
Yardımcı olacak arkadaşlara şimdiden teşekkürler.
Robots Nasıl Olmalı?
2
●287
