İzin Ver uzantısı
Googlebot, robots.txt standardının İzin Ver adlı uzantısını tanır. Diğer arama motoru botlarının hepsi bu uzantıyı tanımayabilir, bu nedenle ilgilendiğiniz diğer arama motorlarının bu uzantıyı tanıyıp tanımadığını kontrol edin. İzin Ver satırı, tıpkı İzin Verme satırı gibi çalışır. Tek yapmanız gereken izin vermek istediğiniz bir dizini veya sayfayı listelemektir.

İzin Verme ve İzin Ver satırlarını birlikte kullanmak isteyebilirsiniz. Örneğin, bir alt dizinde bir tanesi hariç tüm sayfalara erişimi engellemek için aşağıdaki girişleri kullanabilirsiniz:

User-agent: Googlebot
Disallow: /klasor1/

Allow: /klasor1/dosyam.html

Bu girişler, dosyam.html dışında klasor1 dizinindeki tüm sayfaları engelleyebilir.

Googlebot'u engelleyip başka bir Google botuna (Googlebot-Mobile gibi) izin vermek isterseniz İzin Ver kuralını kullanarak söz konusu bota erişim izni verebilirsiniz. Örneğin:

User-agent: Googlebot
Disallow: /

User-agent: Googlebot-Mobile
Allow: /