Aslında o dosyanın amacı siteyi indexlemeye gelen örümceklere nereleri indexle ama nereleri indexleme demek içindir.

robots.txt olmayan bir siteye örümcek gelirse her leri indexlemeye çalışır ama robots.txt dosyasında indexlenmemesi gereken yerleri gösterirseniz doğru indexleme yapar.

Örneğin üyelerle ilgili bölümler ve adminlerle ilgili bölümlerin indexlenmemesi gerekir ve de indexlenirse bir iş yaramaz.

Benim bildiğim olayın aslı budur.