bilindik botlar için https://www.tekno50.com/robots.txt burada kural belirleyebilirsin, ancak kötü niyetli botları tespit etmek gerekiyor. şimdi "öğrenmek istiyorum" ile "bot istemiyorum ne yapabilirim" arasında dağlar kadar fark var, nasıl öğreneceğini teknik olarak anlatırım ancak bu sefer yeni sorular doğurur bu durum. ben direkt sonuca geçiyorum, cloudflare ile botları engelleyebilirsin, üstelik ücretsiz versiyonu da mevcut.