ya bıraksaydın resimleri de indexlesin ne olacak niye bu kadar takılıyorsunuz anlamıyorum. madem engellemek istiyorsun robot.txt ile engelleseydin. Ping siteleri ile aynı işlemleri yapıp botun siteni ziyaret etmesini sağla.