Merhaba, google webmaster tools a girdigimde tarama hataları bölümünde 2 tane tarama hatası çıkıyor ve "Erişim Reddedildi" uyarısı veriyor.
örnek olarak
ornek.com/Uploads/resimler/
ornek.com/Uploads/resimler/thumbs/
klasörlerinde bu hatayı alıyor ve bu klasörlere tarayıcı üzerinden direkt girmeye çalıştığımda "403 - Forbidden: Access is denied." uyarısını veriyor.
Soruma gelince;
Bu yüzden wm tools'da erişim reddedildi hatası almam normal mi?
Robots.txt oluşturup /Uploads/resimler/ ve /Uploads/resimler/thumbs/ klasörlerini robots.txt de göstermem mi gerekir? Ancak bu klasörlerde resimler bulunuyor. Robots.txt ye bu klasörleri yazarsam fotoğrafların taranmama ihtimali var mı?