daha kesin bi işlem için Engellemek istediğin arama motoru botlarının ip adreslerini bulabilirsin. Daha sonra bu ip adresleri için siteye girişi kapatabilirsin htaccessten örnek verecek olursam sadece 10 saniyelik arama ile Google örümcekleri için paylaşılan ip adreslerini buldum.

https://www.lifewire.com/what-is-the...-google-818153
burada Googlebot IP Addresses alt başlığı ile verilen yerden görebilirsiniz.
htaccess için nasıl engelleriz dersende hocam;

deny from 111.111.111

yazdığında 111.111.111 ip adresini engeller.