Böyle bir robots.txt'nin hiç bir anlamı yok, hatta bu kadar uzun robots.txt dosyası arama robotları tarafından sevilmez. Robots.txt'yi sadece arama motornunun indexlemesini istemediğin sayfalar için kullan, varsayılan olarak tüm robotlar bulduğu tüm linkleri indeksleme eğilimindedir. Robots.txt'de "Allow (izin ver)" şeklinde bir ibareye gerek yoktur. Eğer robots.txt'nin tam olarak ne iş yaptığını bilmiyorsan onu kullanmaman daha iyidir.