sadece uzantınızıda engelleyebilirsiniz.

Bir dizinin tüm robotlar tarafından indekslenmesini engellemek için;

User-agent: *
Disallow: /klasor-adi/
Disallow: /admincp/
Disallow: /cgi-bin/
Bir sayfanın tüm robotlar tarafından indekslenmesini engellemek için;

User-agent: *
Disallow: /dizin-adi/ozel-sayfa.html
Disallow: /dizin-adi/members.php
vs vs...