robot.txt olan sitelere bildiğim kadarıyla robotlar daha fazla gelmiyor

arkadaşın bu üsteki lafı doğrumu az geliyor yani örümcekler ?