Veri Çeken Bot Engelleme

Question

Merhaba arkadaşlar,
Sabah lehin söyle bir soru daha sormuştum. 
https://www.r10.net/sorum-var/281408...osteririm.html

Ancak adamı bir türlü engelleyemedim. RSS engel attım olmadı WP-Json api engelledim olmadı adam hangi yazıyı yazarsam yazayım çekiyor ve Google da index alıyor. Bunun önüne nasıl geçerim verilerin paylaşılmasını nasıl engellerim?

Pegatron · Answer

Hocam cloudflare kullanıyormusunuz özelden yardımcı olayım

btnaslan · Answer

Pegatron adlı üyeden alıntı:						mesajı görüntüle									Hocam cloudflare kullanıyormusunuz özelden yardımcı olayım 		Kullanmıyorum ama o site kullanıyor bu yüzden konumunu falan da bulamıyorum.

yalinyalniz · Answer

btnaslan adlı üyeden alıntı:						mesajı görüntüle									Kullanmıyorum ama o site kullanıyor bu yüzden konumunu falan da bulamıyorum. 		Siteyi paylaşın, kullandığı sunucu firmalarını inceleyip ona göre size kural vereyim o ve o veri merkezindekiler bağlanamasınlar sitenize.

Pegatron · Answer

btnaslan adlı üyeden alıntı:						mesajı görüntüle									Kullanmıyorum ama o site kullanıyor bu yüzden konumunu falan da bulamıyorum. 		User agent ten engelleyebilirsiniz hocam

btnaslan · Answer

yalinyalniz adlı üyeden alıntı:						mesajı görüntüle									Siteyi paylaşın, kullandığı sunucu firmalarını inceleyip ona göre size kural vereyim o ve o veri merkezindekiler bağlanamasınlar sitenize. 								Pegatron adlı üyeden alıntı:						mesajı görüntüle									User agent ten engelleyebilirsiniz hocam 		PM Gönderildi

webgezgini10 · Answer

kelimelere sitenizin linklerinden gömmeyi denedin mi

btnaslan · Answer

webgezgini10 adlı üyeden alıntı:						mesajı görüntüle									kelimelere sitenizin linklerinden gömmeyi denedin mi  		Evet hocam ekledim ama nasıl bir bot yazmışsa linkleri almıyor ama kelimeyi bırakıyor kelimeye de "example.com" yazdım yani site adresini yazdım

TDBilisim · Answer

Tam olarak engellemek mümkün değil sabit sunucu ve değişmeyen IP üzerinden çekiyorsa o IP tespit edip erişimi engellemeniz gerekli. Eğer kafaya koyduysa yine alabilir veriyi sadece daha fazla uğraşır, bu sefer HTML parse edip çeker JSON, RSS gibi saf veriler yerine. Cloudflare gibi proxy servisleri kullanıyorsa biraz tespiti zor çok fazla istek yapmıyorsa sitenize, bir ihtimal "Historical DNS Data" yazıp Cloudflare kullanmadan önceki kaydı bulma şansınız olabilir. IP engelleseniz bile proxy ile yine veri çekebilir. Böyle durumda sitenize proxy tespit API vs. kurmalısınız girenlere engellemelisiniz fakat kaliteli proxyde yine tespiti zor. 
Ücretsiz kullanırsanız limitleri olan ve sizin siteniz için pek efektif ve mantıklı olmayan bir diğer çözüm de reCaptcha v3 skor bazlı kullanıcı etkileşimsiz captcha. Fakat korumak istediğiniz verilerinizi dinamik bir şekilde Ajax ve bu reCaptcha Response ile almanız lazım ve doğru şekilde yapmazsanız SEO'ya zarar verebilir.

Yapacağınız en mantıklı şey "bence" eğer tamamen aynı şekilde çekiyorsa Google'a spam bildirmek.

btnaslan · Answer

TDBilisim adlı üyeden alıntı:						mesajı görüntüle									Tam olarak engellemek mümkün değil sabit sunucu ve değişmeyen IP üzerinden çekiyorsa o IP tespit edip erişimi engellemeniz gerekli. Eğer kafaya koyduysa yine alabilir veriyi sadece daha fazla uğraşır, bu sefer HTML parse edip çeker JSON, RSS gibi saf veriler yerine. Cloudflare gibi proxy servisleri kullanıyorsa biraz tespiti zor çok fazla istek yapmıyorsa sitenize, bir ihtimal "Historical DNS Data" yazıp Cloudflare kullanmadan önceki kaydı bulma şansınız olabilir. IP engelleseniz bile proxy ile yine veri çekebilir. Böyle durumda sitenize proxy tespit API vs. kurmalısınız girenlere engellemelisiniz fakat kaliteli proxyde yine tespiti zor.
Ücretsiz kullanırsanız limitleri olan ve sizin siteniz için pek efektif ve mantıklı olmayan bir diğer çözüm de reCaptcha v3 skor bazlı kullanıcı etkileşimsiz captcha. Fakat korumak istediğiniz verilerinizi dinamik bir şekilde Ajax ve bu reCaptcha Response ile almanız lazım ve doğru şekilde yapmazsanız SEO'ya zarar verebilir.

Yapacağınız en mantıklı şey "bence" eğer tamamen aynı şekilde çekiyorsa Google'a spam bildirmek. 		Spam'ı sabahtandır her içeriği bildirdim ancak Google engeller mi bilmiyorum.