Evet glob pattern desteği var robots.txt dosyasında. https://en.wikipedia.org/wiki/Glob_(programming)

Crawlerin user agent'ı yukarıdaki gibi ise, eşleşen urlleri crawl etme diyor. Yani site.com/asdsadsad-120-asdsadass.jpg dosyasını falan taramaz böyle.