aslında bu robot.txt ile site sahipleri kendilerini ele veriyor. öncemli bir dosyayı yazar oraya lamerin biri de bakar girer