robots.txt arama motoru botlarını engelleyen bir kural yok ise yql deneyebilirsiniz