Siteler feed sayfalarında son 10 20 içerik gibisinden içerikleri yayımlar. Yani feed üzerinden sitedeki tüm linklere ulaşamazsınız.

sitemap mevcutsa sitemap üzerinden ulaşabilir ya da ilgili site dolaşım yapacak ve linkleri toplayacak bir bot yaptırabilirsiniz.