Merhabalar,
Arkadaşlar semrush siteadi.com/arama/ürünstokkodu şeklinde 6908 tane ürünümüzün hepsini bu şekilde crawl ediyor. Haliyle o sayfaların meta title ları aynı diye bunu hata olarak görüyor.
Robots.txt'de /arama/ şeklinde disallow yapıyorum ama yine de crawl ediyor. Buna nasıl engel olabilirim?


robots.txt