google aramalarında çıkan .fi .si .fr gibi uzantılı siteler var hepiniz denk gelmişsinizdir. bu sitelerin botları siteye girip bazı makalelerden alıntılar yapıyor benim sitemi google spam olarak algılıyor. bu olayın önüne geçmek için bu içerik çalan botları kökten engellemek istiyorum. ne demek istediğimi anlayan işi bilen profesyonel arkadaşlar ulaşırsa sevinirim.
nasıl yapıcaz abim onu be?
User-agent harici hiçbir doğrulama yapma imkanın yok, bu sitelerin botlarıda orjinal tarayıcı kimlikleri kullanıyordur, google'ı manipüle edecek kadar akıllı insanlar botlarına uniq isim vereceklerini düşünmüyorum.