<meta name="robots" content="index, follow">
bu şekilde yazman gerekiyor

robots : Robotun nasıl çalışacağını belirtir
index / noindex : sayfayı arşive alır / almaz
follow / nofollow : sayfaya bağlı diğer sayfaları da tarayıp endeksler / endekslemez
imageindex / noimageindex : resimleri endeksle / endeksleme
imageclick / noimageclick : resim linklerinin endeksle / endeksleme
archive / noarchive : sayfayı arşivine al / alma (Google için özel)
all : sayfanın her şeyi arşive alınır