Google içeriğinizi tanımlama aşamasında yararlandığı en büyük araçlardan biri robots.txt. Bu yüzden google googlebotun tanımlayabileceği yeni tagler çıkarmış.
1. Örneğin sitenizin tüm sayfalarının googlebot tarafından tranabilmesini ancak yeni eklediğiniz /resim klasörünün taranmamasını istiyorsunuz. Bunun için tekrar Sitemap hazırlamanıza gerek yok.

disalow resim
user-agent: *
Disallow:
sitemap: http://www.örnek.com/sitemap.xml

yaparak googlebotun sitemapinize bu durumu bildirmesini sağlayabilirsiniz.
Webmaster Central da şöyle bir ekran göreceksiniz.

2. Yeni olarak "unavailable_after" şeklinde bir tag oluştuldu. Örneğin bir kampanya yappıyorsunuz ve bu kampanya 31 Aralık 2007de bitiyor. Bunun için hazırladığınız sayfanın bu tarihten sonra indexlenmemesini istiyorsunuz.
Hazırladığımız sayfanın meta tag bölümüne

<META NAME="GOOGLEBOT"
CONTENT="unavailable_after: 31-Dec-2007 23:59:59 EST">

yazarak bunu engelleyebilirsiniz.
Eğer bir web sayfası değilse pdf, doc gibi bir dosya ise

X-Robots-Tag: unavailable_after: 31 Dec
2007 23:59:59 EST

tagını kullanabilirsiniz