Malesef o bendede var maelsef:d hala geliyor geliyor
linklerde sabit bir kelime varsa o sabit kelimeyi robots.txt ile engelleyebilirsiniz.
404 lere robots.txt önermem
bu seferde google arama sonuçlarında bu sitenin robots.txt olduğundan yazısı çıkar
yani indexten yine kaldırmaz
siz 404 sayfalarınızın varlığından haberdar bile olmazsınız
404 ten sonra robots.txt kullanmak hırsız girdikten sonra kapıyı kilt vurmak gibi bir şey olur
15 yıllık tecrübeme dayanarak söylüyorum
robots.txt'i gizli sayfalarınız,klasörleriniz,vb. ve istemediğiniz botları engellemek dışında hiç kullanmayın