merhaba
sitim için site map işlemini tamamladım fakat robot.txt dosyasını nasıl yapacağımı tam bilmiyoruz. nasıl yapıldığı hakkında bilgi verebilirmisiniz?
saygılar
robot.txt nasıl yapılır?
8
●9.783
- 05-12-2007, 03:04:24
Üyeliği durdurulduÖrnek ;
User-agent: Googlebot allow: User-agent: Googlebot-Image Disallow: / User-agent: MSNBot Disallow: User-agent: Slurp Disallow: User-agent: Teoma Disallow: User-agent: Gigabot Disallow: User-agent: Scrubby Disallow: User-agent: Robozilla Disallow: / User-agent: Nutch Disallow: User-agent: ia_archiver Disallow: User-agent: baiduspider Disallow: User-agent: yahoo-mmcrawler Disallow: User-agent: psbot Disallow: User-agent: asterias Disallow: User-agent: yahoo-blogs/v3.9 Disallow: User-agent: * Disallow: Crawl-delay: 10 Disallow: /cgi-bin/ Sitemap: Xxx.com
- 05-12-2007, 03:52:39moonbeam google dışında tüm botları yasaklamışsın yaw. msn ve yahooda işe yarayabilir.
eğer yasaklamak istediğin bir bot yada dizin yoksa içini boş bırak ben hep öyle yapıyorum
bu arada robot.txt değil robots.txt
bide https://www.r10.net/robots.txt buda r10 unki örnek için kullanabilirsin - 12-12-2007, 17:49:56User-Agent: *Disallow:Sitemap: http://www.teamhondaturkey.com/forum/sitemaps-home.html bende bunu kullanıyorum acaba dogrumudur...
googlede sitemaps-home.html gonderdım hatalıdır falan dedı...
- 12-12-2007, 18:10:47Robots.txt Dosyası Ve Ayarları
robots.txtGoogle web tarama botlarından sitenizde yer alan klasörlerinizi korumak istiyorsanız robots.txt dosyasını kullanmalısınız. Örneğin bir klasör (örnek olarak seo klasörü olsun) ve içerisinde yer alan tüm dosyalarınızı google botlarından bloklamak için yazmanız gereken kod :
User-agent: Googlebot
Disallow: /seo
Dosya tiplerini bloklamak için : ( Bu kod ile .gif dosyalarını indekslemesin diyoruz google botlarına)
User-agent: Googlebot
Disallow: /*.gif$
Dinamik web sayfalarını bloklamak için :
User-agent: Googlebot
Disallow: /*?
Ayrıca indexlenmesini istemediğiniz tekil sayfalar varsa metatag bölümüne aşağıdaki kodu ekleyerek botların o sayfayı indekslemesini önleyebilirsiniz :
<meta name="ROBOTS" content="NOINDEX, NOFOLLOW" />
Önemli Not : robots.txt dosyanızı sadece root klasörünüze atmalısınız. Alt klasörlere koymamalısınız! Tekil dosyalar için yukarıdaki metatagı kullanmanız faydalı olacaktır. Eğer robots.txt kullanmazsanız google botları varsayılan olarak sitenize ulaşabildiği (linklenmiş) tüm sayfa ve klasörleri indeksleyecektir.
Kaynak : robots.txt
