User-agent: *
Disallow: /

robots.txt ye yukarıdaki ibareyi yazmak tamamen yanlış bir yol. Google forumlarında araştırırsanız göreceksiniz.

Sayfalara meta noindex tagı yerleştirin ve örümceklerin bu sayfalara girmesine izin verin.

Yukarıdaki kodu gören örümcek o sayfaya hiç uğramayacaktır ve indeksten silinmesi mümkün değildir.