sadece projeler için kullandığım bir web sitem var ana sayfa boş index ve ftp içinde 10larca test yada kullandığım klasörler dolu,
ancak bazı botlar bu klasörleri nasıl olduysa görüyor, bunu test etmek için siteye tüm girişleri HTTP_USER_AGENT olarak veritabanına kayıt ettirdim ve çıkan sonuçlar bunlar
MixnodeCache/1.8(+https://cache.mixnode.com/) Mozilla/5.0 (Linux; Android 7.0;) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; PetalBot;+https://aspiegel.com/petalbot) Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.113 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) Mozilla/5.0 (compatible; NetcraftSurveyAgent/1.0; +info@netcraft.com) Mozilla/5.0 (compatible; MJ12bot/v1.4.8; http://mj12bot.com/) Mozilla/5.0 (compatible; Nimbostratus-Bot/v1.3.2; http://cloudsystemnetworks.com) Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)ben bunların girişlerinı tamamen nasıl engellerin istiyorumki dünyadaki hiç bir bot benim sitemi ziyaret etmesin..
