yahoo googlea yetişmek için bu tür şeyler yapıyor olabilir. o kadar fazla botla daha fazla index çıkartmaya çalışabilir bu yahoo nun işi bizi alakadar etmez. ne kadar yararı olmasada bence hiçbir botu vs engellemeyin. gelen gitmesinide bilir.

millet bot gelecek indexlenmiyorum diye dert yanar sen geliyolar diye dert yanıyosun

istiyosan engelleyebilirsin arkadaş vermiş kodu.