botlar online çalışarak sitelerden rss, xmlhttp vb. metodlarla anlık bilgi çekerler ve bu tekniğe göre yavaştırlar ve yüklü miktarda veriyi çekemezler.ben bu işi kendi yazdığım bir exe ile yapıyorum ama önemli olan neyle yada nasıl yapıldığı değil önemli olan senin bir sitedeki yüksek mebladaki verinin database olarak düzenlenmiş halinin eline geçmesidir. örneğin bir yemek tarileri sitesi yemek tarifi kategorileri + resimleri + içerikleri ve düzenli. umarım ne demek istediğimi anlatabilmişimdir.