@ebubekirbastama; teşekkürler. Evet tam olarak sözleşmedeki bu maddeye ihtiyacım vardı. Baya abartmışlar, göya web crawler yasak ama google'ın web crawlerları yasak değil keza 29 milyon indexlenmiş sayfası var googleda. Browserdan manuel f5 yapmakla arasında bir fark yok.
Ayrıca 100 farklı türk private proxy ile dakikada bir sefer yapılan requestlerin bot olduğunu nasıl tespit ediyorlar acaba, keza login olmadan da filtreleme ve arama yapılabiliyor.