Ne yaptığınızı bilmiyorsanız bunu kullanmayın. Sağlam sayfaların indexlenmesini de engelleyebilirsiniz.
Ekledi: Konuyu açan arkadaşın verdiği urller için uygundur.
hocam bu saldırılar 2011 de falan meşhurdu, şimdi gene türemişler
)
Disallow: /*?
Disallow: *?
Disallow: ?
şu kısmı biraz açabilirmisiniz?
Anlamadım ki robots.txt le ne ilgisi var. Yani Google'a bunları alma diyorsun ama sorun çözülüyor mu? Sadece sorunun üzerine perde örtmüş oluyorsunuz bu şekilde. Sorun neden google ?ID şeklinde sizi indexliyor? Asıl odaklanıp çözmeniz gereken nokta burası yoksa Google çokta takılmıyor sizin URL nizin sonuna anlamsız karakterler gelmesine.
Adı üstünde disallow belirtilen değere göre gelen url adreslerini görmezden gel diyerek google de indexlenmesini engelliyorsunuz.
spam yapıldığına inandığınız url yapısını veya kelimeyi kendinize göre düzenleyebilirsiniz.
her sitemde kullandığım en stabil robots.txt verileridir.
.
.
.