bende bi script vardı örümceği olan site site gezip indexliyo sonra o sitedeki linklere giriyo oraları geziyo benim örümcek yaklaşık 1 satte 10000 siteyi taramıştı ama sen çalıştırınca indexliyo yoksa duruyo zor iş yani örümcekli arama motorunu boşver