Twitterın içeeiklerini çekip atıyorum ben geliştirdiğim sistem api ile çekiyor sonra veritabanına alıp indexleyorum. Bu tarz onlarca sitem var bazıları milyon indexe ulaştı bazıları ise neredeyse sıfır. İndexletmek için sitemap atabilirsin her 50 k url i okutursun. Yöntemlerden biri bu