öyle ama tek tek eklemek gerek robots a şöyle yazdım
User-agent: *
Disallow: /*ref=*
User-agent: *
Disallow: /feed*
User-agent: *
Disallow: /trackback*
User-agent: *
Disallow: /*newlang=*

404 sayfalarında bu uzantılat var

www.siteadresi.com/içerik.html/?ref
www.siteadresi.com/içerik.html/tarckback gibi bunları robots.txt ile engelemeye çalışacağım
sizce doğrumu kodlar