Robots.txt de aynı sorun olduğu söylenen bir wp sitede sorun yok iken diğerinde olabiliyor. Bu sebeple sordum. Neyin bilincinde olup olmadığımı sorgulamak yerine cvp verip aydınlatsaydınız da teşekkür etseydik.
Örneğin ;
User-agent: *
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /archives/
Disallow: /*.php$
Disallow: */feed/
Disallow: */trackback/
Sitemap:
http://siteadi/sitemap.xml
sorunsalı ile,
User-agent: *
Disallow: /wp-admin/
Disallow: /archives/
User-agent: Googlebot
Allow: /.js$*
Allow: /.css$*
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
Allow: /images/
Sitemap:
http://siteadi/sitemap.xml sorunsalında da konu sahibi arkadaşın bahsettiği sorunlar mevcut. Bu durumda bilincinde olduğunuzu düşündüğünüz konuyu paylaşırsanız bizde bilinçleniriz..
Merhaba,
Site adresinizi paylaşırsanız birlikte bakabiliriz. Ancak genel olarak bu konuyla ilgili söylenebilecek bir kaç şey mevcut. Çözüm aramıyorum hızlıca sebebi anlat diyenler için aşağıda özet mevcut.
Öncelikle engellenen kaynaklar hakkında google ne diyor ona bakalım:
Googlebot'un, sayfayı en iyi şekilde oluşturması ve dizine eklemesi için sayfanızdaki pek çok kaynağa erişmesi gerekir. Örneğin, Googlebot'un, sayfaları ortalama bir kullanıcı gibi görebilmesi için JavaScript, CSS ve resim dosyalarını kullanabilmesi gerekir.
Bir sitenin robots.txt dosyasının bu kaynakların taranmasına izin vermemesi, Google'ın sayfayı oluşturma ve dizine ekleme başarısını olumsuz etkileyebilir. Bu da, sayfanın Google arama sonuçlarındaki sıralamasını etkileyebilir.
Sorunun esas kaynağı ,en azından benim rastladıklarım, front end developerların ajax ile yaptığı atraksiyonlarda güvenlik amaçlı engellemeleri(sitenin her sayfasında çalışan ancak kullanıcı o sayfaya erişmeye çalıştığında boş sonuç döndüren sayfalar),
tema içerisinde wordpress için konuşmak gerekirse, wp-admin klasöründen front-end tarafına dosya çekilmesi(bildiğiniz gibi wp-admin klasörü default wordpress' in robots.txt dosyasında engellidir. Çekilen dosya resim olabilir ve ya php/ajax/css dosyası olabilir), son olarak da hizliresim ya da diğer servis sağlayıcılardan eklenen embed görsellerin karşı taraftaki sunucu tarafından engellenmesi.
Sonuçlar ve etkiler konusuna gelecek olursak; bazı sitelere muazzam zararlar verirken(sıralama anlamında), aynı tema ve aynı soruna sahip bir başka site hiç bir şekilde bu durumdan etkilenmeyebiliyor . Bizim yapmamız gereken ise, önceden önlem alarak olası bir problemle karşılaşmadan meseleyi çözüme ulaştırmak olmalı.
Çözüm nedir?
Çözüm siteden siteye göre değişir ancak, temel mantığını anlatmak gerekirse, Search console a giriyorsunuz, dizin durumu sekmesinden engellenen kaynakları açıyorsunuz, engellenen kaynaklardan ,diyelim ki hizli resim kaynaklı bir kaynağınız mevcut, hizli resimi seçiyorsunuz.
Hizliresim' e upload etmiş olduğunuz görseli ya da banner' ı kendi sunucunuza ya da güvenilir bir sunucuya upload ederek çalışmayı bitiriyorsunuz. Bir süre sonra sorun kendiliğinden ortadan kalkıyor. Yavaş yavaş azalarak bitiyor hatalar.
Javascript/html kaynaklı çözüm:
Örnek olarak sitenizin frontend tarafında wp-admin klasöründen çekilen bir dosya var ve engellenen kaynak olarak search console' a düştü.
Yapabileceğiniz 2 adet çözüm var. 1 i hızlı diğeri biraz daha hızlı bir çözüm.
wp-admin/bilmemnedosyasi/resim.gif
wp-admin/bilmemnedosyasi/resim.html
wp-admin/bilmemnedosyasi/resim.js
1- sorun çıkartan dosyayı/görseli robots.txt klasörünüze aşağıdaki şekilde ekleyin.
Allow: /wp-admin/bilmemnedosyasi/resim.gif
kökten çözüm;
/wp-admin ' i Allow olarak ekleyin.
Ancak stratejik alanlarda yer alan özellikle wp-admin ya da admin klasörleri herhangi bir php ya da versiyon kaynaklı açıkta sitenizi açık hedef haline getirir. Kod bilginiz yoksa ilk önerdiğim şeyi yapın(dosyaya allow verin) kafanız ağrımasın.
Kökten çözüm kısmını web güvenliği konusunda basic seviyede de olsa bilgi sahibi olmayan arkadaşlar kurcalamamalı. Dikkat etmekte fayda var. Bazen öyle şeyler ile karşılaşıyorsunuz ki; aynı klasör içerisinden devamlı, devamlı,devamlı bu hatayı alıyorsunuz.
2- Böyle bir problem yaşıyorsanız ve biraz yazılım bilginiz varsa, dosya yolunu değiştirmenizi ve SEO uyumlu hale getirmenizi öneririm. Dosya yolunu değiştirmekten kasıt, front end tarafında çalışan wp-admin kaynaklı dosyayı frontend'e taşıyın. Pek çok kişi SEO uyumlu script yaptığını iddaa eder, ancak SEO uyumlu dediğimiz script' in önemli adımlarından birisi de budur. SEO url yapıp geçmekle bitmiyor bu işler maalesef. Özellikle ioncube ile satılan ücretli scriptlerde bu hatayı çok sık görürsünüz. Adam gümbür gümbür script yapar, gider admin klasöründen resim çektirir.
Özet geç diyenler için;
Temel olarak ortaya çıkan bu hatanın sebebi çok basit aslında herkesin anlaması için wp-admin üstünden anlatıyorum. Wp-admin klasörü default robots.txt' de kapalıdır yani disallow edilmiştir, google' a bu sayfayı tarama demişsinizdir(Mantıken de kapalı olmalıdır.). Ancak siz developer olarak, gidip wp-admin klasörüne görsel, html ya da css dosyası yüklüyorsunuz ve bütün front end sayfalarında ya da bir kısmında bu klasör çalışıyor. Google siteyi indexlemeye geldiğinde, kullanıcı gibi davranmaya çalışıyor ve sitenizi indexlerken bir bakıyor ki wp-admin klasöründen gelen bir görsel var. Site sahibi ne demişti? wp-admin' i indexleme. Dolayısıyla sayfayı eksik tarıyor.
Durum böyle kafanıza takılan soru olursa cevaplamaya çalışırım.
İyi çalışmalar dilerim.
