Robots.txt ile kapattım fakat hala listelenmeye devam ediyor .htaccess ile kapatma yöntemi de var fakat bulamadım.
Kullandığım kodları paylaşıyorum. Bu şekilde kapatıp sonuç alan var mı veya .htaccess yöntemi ile kapatmayı bilen varsa paylaşabilir mi?
User-agent: AhrefsBot Disallow: / User-agent: SemrushBot Disallow: / User-agent: SemrushBot-BA Disallow: / User-agent: MJ12bot Disallow: / User-agent: HTTrack Disallow: /