muhtemelen nette gördüğünüz o malum siteye özenip yapıyorsanız o site api ile çalışmıyor gibi apide limitler vardır onun 20 milyon sayfası var normal bir site ve botla çekilerek oluşturulmuş.