curl ile çekiyorlar, farklı bir webmaster toolsda meta ile siteni doğrula sonra bu siteleri de ekle senin metayıda çekeceği için onlarıda doğrulamış olursun onuda indexlerini kaldir. macera aramayım dersen htaccess ten engelle..