Robot.txt ile ilgili bir sorum vardı

Arkadaşlar websitemin istenmeyen linklerini robot.txt de nasıl engelleyebilirim?

mesela ''aaaaaa.com/sonuclar'' gibi fakat aaaaaa.com/sonuclar/2 - aaaaaa.com/sonuclar/3 -4-5-6 yı da kökten engellemem lazım

1-2 saatir bakıyorum güzel bir kaynak bulamadım sorun ile iligli tavsiyesi olan var mı

Google üzerinden red edebilirsiniz.

arkadaş sanırım sitesinde indeks almamasını istediğini linklerden bahsediyor, bota kapatmak istedikleri, sizin dediğiniz ise sanırım siteye gelen linkleri disavow ile reddetme

eğer ben doğru anladıysam :

https://developers.google.com/search...bots-txt?hl=tr

buradaki örneklere bakabilirsiniz,

şu kısım işinizi görecektir

User-agent: googlebot 
Disallow: /directory1/ 
Disallow: /directory2/

Selamlar,

Disallow: /sonuclar/*

direktifini kullandığınız durumda /sonuclar/ dizini sonrasında gelen 2-3-4-5-6-7-8, index.html , xxxx.php ve türevi tüm sayfalar arama motoru botlarının taramasına kapanacaktır.