eğer veri çekeceğiniz yer api sağlamışsa bu belirli koşullar altında size izin verdiği anlamına gelir. ve o sınırlar dahilinde de rahatça çalışabilirsiniz. yani gg için geliştirici olursanız rahatlıkla kategorileri çekebileceksiniz.

ama gideceğimiz sitenin apisi yoksa ve doğal olmayan yolla çekeceksek o zaman dediğiniz gibi bir bot yazmak gerekebilir. forumda bot kavramı çokca geçtiği için normal olarak algılanır fakat botlar genelde anormal çalışır. yani ziyaret ettiğiniz site muhtemelen o talebinizden(kopyalamanızdan) hoşnut kalmıyordur.

sorunuza dönersek bot için çokca algoritma ve kullanılacak dil alternatifiniz var. siz kategorileri gezerken soldan gezdiğiniz kadarını ayıklayacak bir tarayıcı eklentisinden, sizin yerinize ilk kategoriden başlayıp sona kadar ilerleyip geri gelip bir sonrakine geçecek şekilde bir yazılıma kadar bir çok sistem geliştirebilirsiniz.

projeniz ne bilmiyorum fakat eğer "karşı tarafı rahatsız etmeyebilir" düşünceniz varsa iletişime geçerek doğru yoldan ilerlemenizi tavsiye ederim. yani apilerini kullanın. karşı taraftan habersiz çalışacağım diyorsanız da önünüzde ciddi bir yolun olduğunu hatırlatmak isterim

iyi çalışmalar.