robots.txt dosyasında dosya uzantılarını falan engelleyebiliyoruz ama şu şekilde resimlerin içinde geçen piksel rakamlarıyla bir kural geçerli oluyor mu?
User-agent: Googlebot-Image Disallow: /*120*.jpg Disallow: /*360*.jpg Disallow: /*720*.jpg
robots.txt dosyasında böyle bir kural var mıydı?
2
●170
- 25-04-2019, 12:07:33wordpress'in şu responsive image olayı yüzünden farklı boyutlarda oluşturduğu resimlerin tamamını google indexliyor.
robots.txt dosyasında dosya uzantılarını falan engelleyebiliyoruz ama şu şekilde resimlerin içinde geçen piksel rakamlarıyla bir kural geçerli oluyor mu?
- 25-04-2019, 12:11:01Evet glob pattern desteği var robots.txt dosyasında. https://en.wikipedia.org/wiki/Glob_(programming)
Crawlerin user agent'ı yukarıdaki gibi ise, eşleşen urlleri crawl etme diyor. Yani site.com/asdsadsad-120-asdsadass.jpg dosyasını falan taramaz böyle. - 25-04-2019, 23:37:40nokie adlı üyeden alıntı: mesajı görüntüle
Evet sadece resimleri değil, Disallow: /*?deneme* gibi bir komutla URL'de deneme yazan kelimeleri de engelleyebiliyorsunuz.
