hocam nodejs de daha çok crawler diye geçiyor ve bu pakete bakabilirsiniz
https://github.com/bda-research/node-crawler