Linux hostinglerde siteyi içeri alınca otomatik olarak cgi-bin diye bir dosya atıyor onun içinde yer almaktadır. Robots.txt ile cgi-bin engellersen bir sorun kalmayacaktır. Silsen bile tekrardan hostinge otomatik düşüyor bu yüzden engellenmen en iyi olan olacaktır.