Disallow: /*?
Disallow: /?ref=
Disallow: *?
Disallow: ?
Adı üstünde disallow belirtilen değere göre gelen url adreslerini görmezden gel diyerek google de indexlenmesini engelliyorsunuz.
spam yapıldığına inandığınız url yapısını veya kelimeyi kendinize göre düzenleyebilirsiniz.
her sitemde kullandığım en stabil robots.txt verileridir.
.
.
.
Ben gene de bilmeyen arkadaşları uyarmış olayım ne yaptığınız bilmiyorsanız bu kodları kullanmayın. Bu kodlar youtube'un robots.txtsinde olsa video sayfalarının hiçbiri index almazdı.