Bu kod tüm .js ve .css uzantılı dosyaları indexleme izni verir. Disallow ların üst kısmına ekleyin ilk disallow klasörlerdekinleri bile indexler o zaman. Aslında üst alt da farketmiyor. Allow disallowa göre daha baskındır. Çarpma işlemindeki - gibi düşünün + ile - yi çarparsan sonuç - olur. - işaretini ise allow olarak görün.
örnek vereyim;
Allow: /.js$*
Disallow: /jsdosyasınınbulunduğuklasor/
hocam sizin önerilerinizi dikkate aldığımda ve okuduğum 1-2 yabancı forumda şu kodları eklemiz söylenmiş
Allow: .js
Allow: .css
Allow: /*.js*
Allow: /*.css*
Ben kendi robort dosyama aynen şu şekilde ekleme yapacam. size zahmet bi bakınız
User-agent: *
Allow: .js
Allow: .css
Allow: /*.js*
Allow: /*.css*
Disallow: /admin/
Disallow: /?ref=
Disallow: /*ref=*
Disallow: /*?ref=
Disallow: /admincp/
Disallow: /clientscript/
Disallow: /cpstyles/
Disallow: /includes/
Disallow: /install/
Disallow: /subscriptions/
Disallow: /customavatars/
Disallow: /customprofilepics/
Disallow: /announcement.php
Disallow: /attachment.php
Disallow: /calendar.php
Disallow: /cron.php
Disallow: /editpost.php
Disallow: /faq.php
Disallow: /image.php
Disallow: /inlinemod.php
Disallow: /joinrequests.php
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /misc.php
Disallow: /moderator.php
Disallow: /newattachment.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /payment_gateway.php
Disallow: /payments.php
Disallow: /poll.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /showpost.php
Disallow: /subscription.php
Disallow: /usercp.php
Disallow: /threadrate.php
Disallow: /usernote.php
Disallow: /member_inlinemod.php
Disallow: /threadtag.php
Disallow: /archieve/
Disallow: /helpcenter/
Disallow: /*-print/
Disallow: /ajax.php
Disallow: /converse.php
Disallow: /global.php
Disallow: /helpcenter.php
Disallow: /archive/
Disallow: /chat/
Disallow: /calendar.php
Disallow: /member.php?
Disallow: /announcement.php
Disallow: /printthread.php
Disallow: /vbseocp.php