Google Robots.txt Hakkında Yardım

Merhaba arkadaÅŸlar.

Aşağıda ki robots.txt dosyasını kullanıyorum.

User-agent: *
Disallow: / wp-admin /
Disallow: / wp-includes /

Site Haritası: http://www.siteadı.com/sitemap.xml
Site Haritası: http://www.siteadı.com/sitemap.xml.tar.gz

Google webmaster tools'dan bazı işlemlerde Google botun erişemediği gibi hatalar alıyorum.

Google anında önizleme bölümünden sayfa url girdiğimde sayfaya erişiyor ekranda gösteriyor fakat bazı hatalar oldugu için sonuç vermiyor aldıgım hatalar aşagıda belirtilmiştir.
Konu hakkında yardımcı olursanız sevinirim.
sizinin kullandığınız Robots.txt dosyası nasıl bilgi verirseniz sevinirim.

Otoriter sitelerin robots.txt dosyalarını inceleyerek fikir edinebilirsiniz.

https://www.r10.net/robots.txt
http://www.webrazzi.com/robots.txt
http://www.sosyalmedya.co/robots.txt

Edit: font google tarafından engellenmiş sonradan farkettim ben de. Bir problem yok gibi bu durumda.

https://support.google.com/webmaster...r/156449?hl=tr

http://fonts.googleapis.com/robots.txt

---------

aslında hiç sorun edilmemesi gereken bir konu. site haritanızı şu şekilde yapın o zaman.

TeÅŸekkurler inceledim.

Teşekkuler yardımcı olduğunuz için.

TeÅŸekkurler.

Sitede dışa çıkan linkleri seo açısından engellemiştim sanırım bu sorundan kaynaklı oldu. Şuan düzenlemeler yaptım bakalım durum ne olacak.


Edit: Sonuç başarılı oldu arkadaşlar. Dışarı çıkan linkleri engellediğim için bu hatayı alıyormusun. Suan sorun giderildi

Hocam bu olay aslında farklı bir nedenden kaynaklanıyor. Baktıgınız zaman Bu dosyalar Site haritasına işlenmez . Bir fontun içeriğini robotlara taratmak mantıksızdır. Neden bu sayfaları taramaya çalıştıgına gelince,
Siz %99 bir yerlerde sitenizi analiz ettirdiniz. Analiz sırasında sitenizde ki bu yapılar Link olarak analiz yaptıgınız siteye kayıt oluyor. O siteyi tarayan Robotlar bu link'i görüyor ve bir backlink mantığıyla Sizin sitenize yönleniyor. Ancak Bir geliyor aslında var olan dosya içe Kapalı bir dosya. Tarayamadıgı içinde siz bu hatayı alıyorsunuz.

Ama robots.txt değildi herhalde jquery veya eklenti miydi. Yine sonuç olarak çok büyük problem olmaması gerekiyordu.

Sorun robots.txt'de degilmiş. Sitede kullandıgım dışarı çıkan linkleri engelleme özelliğinden kaynaklanmış. Eklentiyi deaftik edince google webmaster tooll verdiğim linki işleme aldı.

Fakat işlem başarılı demesine ragme yine aynı şekilde 6 hata oldugunu bildirdi.

--R10.NET; Flood Engellendi -->-> Yeni yazılan mesaj 23:15:00 -->-> Daha önceki mesaj 23:11:20 --

Hocam Google Webmaster Tools'da Sayfa önizlemesi şeklinde bır bölüm var. Sitenizde herhangi ir url'yi ön izleme ve inceleme yapıyor. İlk kez kullandım aşagıda ki hataları verdi..

Sisin dediğiniz gibi bazı dosyalar site haritasına işlemiyor ve google bot o dosylara erişmesini Robots.txt dosyası ile engelliyoruz. Fakat ne hikmetse google o dosyaları taramak istiyor. Tarayamadıgı için bunun bir hata oldugunu bildiriyor.

Resim: http://img493.yukle.tc/image.php?id=4662rbts.jpg#

ama slash iÅŸaretlerinden sonra boÅŸluk olmayacak . yani

Disallow: /wp-includes/

bu klasörleri engelleyince engellendi hata vermesi normal bence engeli kaldırmayın