Merhaba arkadaşlar, incir a.ş nin alt yapısını kullandığım bir e-ticaret sitem var, web yöneticisi araçlarında kayıtlı olan robots.txt dosyası aşağıda ki gibidir.
User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /
Crawl-Delay: 2
User-agent: Yandex
Allow: /
Crawl-Delay: 2
User-agent: Browsershots
Allow: /
User-agent: Googlebot
Disallow: /images/thumbnails/
Disallow: /skins/
Disallow: /payments/
Disallow: /store_closed.html
Disallow: /core/
Disallow: /lib/
Disallow: /install/
Disallow: /js/
Disallow: /schemas/
Disallow: /stores/
Disallow: /addons/
Disallow: /var/
Disallow: /xml/
Disallow: /shippings/
Disallow: /stores/
Disallow: /controllers/
aslında ben bu robots.txt işinden fazla bir şey anlayamadığım için sizlerden yardım istiyorum.. Sanırım bu robots.txt dosyası siteye gelen google botlarının site içeriğinin indexlenmesiyle alakalı bir dosya, fakat yukarıda verdiğim kodlarda kendi edindiğim bilgilere göre (tamda emin değilim) bir terslik olduğunu düşünüyorum. Konuyla alakalı bilgiye sahip olan arkadaşların, yukarıdaki kodların ne anlama geldiğini yazarlarsa sevinirim.
site adı: http://www.hadisendeal.com
15 günlük site ve google indexi 5 gün önce 960 oldu ve 4 gündür 300 de
robots.txt analizi hakkında yardım lütfen
8
●1.510
- 30-06-2014, 18:22:36Merhaba hocam, öncelikle kısaca robots dosyasından bahsedeyim, robots.txt rootta bulunan ve arama motoru örümceklerinin siteyi indexlemede yararlandıkları ilk yerdir diyebiliriz siz bu dosyanıza gireceğiniz bilgiler ile hangi örümceğin sitenizi indexleyeceğini ya da hangi sayfalarınızı indexlenmesi/indexlenmemesi gerektiğini bildirirsiniz.turkobil adlı üyeden alıntı: mesajı görüntüle
Google örümceklerinden bildiklerim;
Yandexin bazı örümcekleri;Alıntı
bunları robots.txt de tanımlarken şu şekilde kullanın, mesela google adsense botları için;Alıntı
dersek bu botlar sitemizdeki tüm sayfaları indexlesin demiş olduk, aynı zamanda disallow: boş bırakınca izin verilmeyen klasör yok dedik, bu bot sitenize sitenizin aldığı kaliteli backlinklerinde etkili olduğu belli sıklıkla her geldiğinde bu talimata uyar, tüm sayfalarınızda dolaşmaya başlar..Alıntı
User-agent: Bot adıdır, arama motoru örümceklerinin indexleme botları yada diğerlerinin.. * koyarsanız hepsine demiş olursunuz
Allow: izin ver
Allow: /* derseniz her şeye izin vermiş olursunuz
Disallow: izin verme
Disallow: / kullanırsanız yine indexleme demiş olursunuz, yani * kullanmak şart olmayabilir..
Mesela Disallow: /skins/ derseniz siten.com/skins/ klasöründeki dosyaların sayfaların indexlenmesine izin vermemiş olursun bu noktada mesela sitenizdeki yazarların sayfalarını yada önemli sayfalarınızı istediğinize göre indexlenmemesi için kullanabilirsiniz.
Örneğin robots.txt dosyanızda, tüm örümceklere indexlenmemesini istediğiniz klasörlerinizi belirtmek için;
eklersen tüm örümcekler bu sayfalarınızı indexlemez, bu kısma yanlış satırlar eklersen index kaybın olabilir aklında bulunsunAlıntı
mesela siz kullandığınız şu satırlarla
belirlediğiniz Googlebot, Yandex, Browsershots örümcekleri dışındaki tüm örümceklere sayfalarımı indexleme demişsiniz...Alıntı
şu kısımdaysa
googlebot için indexlenmemesini istediğiniz yerleri belirtmişsiniz..Alıntı
bunlar size sıkıntı çıkartabilir, düzenleyin derim.. Ek olarak robots.txt dosyanıza sitemap dosyanızıda eklemelisiniz gördüğüm kadarıyla eklememişsiniz..
şeklinde bir satır girmeniz gerekir ki örümcekler robots.txt dosyanıza uğradıklarında sitemapınıza kolayca ulaşıp sayfalarınızı indexleyebilsinler..Alıntı
Sonuç olarak şu şekilde düzenleyebilirsiniz robots.txt dosyanızı
Alıntı
bu robots.txtden isteğinize göre en alttaki
disallow satırlarını kaldırabilirsiniz (indexlenmesini istemediğiniz sayfalar/klasörler bu alanda duracak..)Alıntı - 30-06-2014, 19:11:27hocam verdiğiniz bilgiler çok faydalı teşekkür ediyorum. peki;
User-agent: Googlebot
Allow: /
Crawl-Delay: 2
User-agent: Yandex
Allow: /
Crawl-Delay: 2
yukarıdaki Crawl-Delay: 2 anlamı ne ?
Satır 6: Crawl-Delay: 2 Kural Googlebot tarafından yok sayıldı
Satır 10: Crawl-Delay: 2 Kural Googlebot tarafından yok sayıldı
burasını da açıklarsanız sevinirim.. - 30-06-2014, 19:21:57crawl-delay örümceklerin sitedeki dolaşımını hızlandırmak-geciktirmek ya da ne sıklıkla (sn cinsinden) sayfalara erişeceğini belirtmek için kullanılıyor yani Crawl-Delay: x girdiğiniz x değeri ile x saniye sıklığıyla sitenize uğrasın diyorsunuz sunucu trafiğini yememesini daha rahat dolaşmasını yönlendirebiliyorsunuz bir nevi botların.. şunlarada göz gezdirebilirsin crawl ve diğer robots konuları hakkında,turkobil adlı üyeden alıntı: mesajı görüntüle
http://yardim.yandex.com.tr/webmaste...robots-txt.xml
https://support.google.com/webmaster...er/48620?hl=tr
https://support.google.com/webmaster...r/156449?hl=tr
http://tr.wikipedia.org/wiki/Robots.txt - 30-06-2014, 19:28:13hocam yardımınız için çok teşekkür ediyorum, hayırlı günler..kpssdelisi adlı üyeden alıntı: mesajı görüntüle
- 30-06-2014, 19:31:04Önemli değil hocam son yazdığım linkleri mutlaka inceleyin ama, aklınızdaki tüm soruların cevapları oradaturkobil adlı üyeden alıntı: mesajı görüntüle sizede hayırlı günler
- 30-06-2014, 19:35:17http://tr.wikipedia.org/wiki/Robots.txt burdan bakıyorum da hocam yine aklım karıştı..kpssdelisi adlı üyeden alıntı: mesajı görüntüleÖnemli değil hocam son yazdığım linkleri mutlaka inceleyin ama aklınızdaki tüm soruların cevapları orada sizede hayırlı günler
1.
User-agent: *
Disallow:
Bütün robotların, site üzerindeki hiçbir dosyayı taramamasının istendiği örnek;
2.
User-agent: *
Disallow: /
Bütün robotlar, site üzerindeki aşağıdaki 4 klasörün içeriğini indekslememeli;
benim robots.txt dosyasında yukarıdaki 2. seçenek mevcut.. yani bütün robotların site üzerindeki hiçbir dosyayı taramaması mı istenmiş ? yani bütün robotlar sitede indexleme yapmayacak mı? - 30-06-2014, 20:59:12kaydırma yapmışsın hocamturkobil adlı üyeden alıntı: mesajı görüntüle
1-Bütün robotların, site üzerindeki bütün dosyaları tarayabileceğine izin veren örnek; " * " yıldız işareti istisnasız tüm robotları indeksleme yapabileceğini gösterir.
User-agent: *
Disallow:
2-Bütün robotların, site üzerindeki hiçbir dosyayı taramamasının istendiği örnek;
User-agent: *
Disallow: /
3-Bütün robotlar, site üzerindeki aşağıdaki 4 klasörün içeriğini indekslememeli;
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/
yazanlar bunlar, ilk mesajdada belirttiğim gibi sizin kullandığınız robots.txt içeriğine göre
son sorunuzun cevabıda evetAlıntı
belirlediğiniz 3 bot dışında indexleme demişsiniz, ilk mesajda son kısımda yazdığım gibi düzenleyebilir o robots.txtyi kullanabilirsiniz, kolay gelsin..Alıntı - 01-07-2014, 02:24:24tamamdır hocam şimdi anladım, teşekkür ediyorum. Allah razı olsun.kpssdelisi adlı üyeden alıntı: mesajı görüntülekaydırma yapmışsın hocam
1-Bütün robotların, site üzerindeki bütün dosyaları tarayabileceğine izin veren örnek; " * " yıldız işareti istisnasız tüm robotları indeksleme yapabileceğini gösterir.
User-agent: *
Disallow:
2-Bütün robotların, site üzerindeki hiçbir dosyayı taramamasının istendiği örnek;
User-agent: *
Disallow: /
3-Bütün robotlar, site üzerindeki aşağıdaki 4 klasörün içeriğini indekslememeli;
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/
yazanlar bunlar, ilk mesajdada belirttiğim gibi sizin kullandığınız robots.txt içeriğine göre
son sorunuzun cevabıda evet
belirlediğiniz 3 bot dışında indexleme demişsiniz, ilk mesajda son kısımda yazdığım gibi düzenleyebilir o robots.txtyi kullanabilirsiniz, kolay gelsin..
