Arkadaşlar semrush üzerinden sürekli siteyi crawl edip hatalarına bakarım. Geçenlerde 200-300 e kadar düşürmüştüm. Şimdi tekrardan 9600 e çıkmış. Sitede ne kadar ürün varsa hepsinin arama sayfasını crawl edip bunu hata olarak görmüş.
robots.txt'den /arama/ kısmını disallow edersek semrush bu sayfaları yine de crawl eder mi ?
Ayrıca search console'dan "URL Parametreleri" alanında /arama/ kısmını "daraltır, hiçbir urlyi tarama" dedim. Herhangi yanlış bir işlem yapmış mıyım ?