Merhaba, google webmaster tools a girdigimde tarama hataları bölümünde 2 tane tarama hatası çıkıyor ve "Erişim Reddedildi" uyarısı veriyor.
örnek olarak
ornek.com/Uploads/resimler/
ornek.com/Uploads/resimler/thumbs/
klasörlerinde bu hatayı alıyor ve bu klasörlere tarayıcı üzerinden direkt girmeye çalıştığımda "403 - Forbidden: Access is denied." uyarısını veriyor.
Soruma gelince;
Bu yüzden wm tools'da erişim reddedildi hatası almam normal mi?
Robots.txt oluşturup /Uploads/resimler/ ve /Uploads/resimler/thumbs/ klasörlerini robots.txt de göstermem mi gerekir? Ancak bu klasörlerde resimler bulunuyor. Robots.txt ye bu klasörleri yazarsam fotoğrafların taranmama ihtimali var mı?
Tarama hatası veriyorsa demekki ya ulaşılmıyordur. Yada arama motoru botu tarayınca algılamıyordur. Tarama hatasını düzeltildi olarak belitince kalkar bir süre sonra zaten o hatayı vermez. Robots.txt belirtilen klasör görsellerini kapsıyorsa onu engellemen görsel index almasını engeller.