konu biraz eski ama kendi deneyimlerimi aktarmaya çalışayım,bağlantının google dizinine eklenmesi üç aşamadan oluşuyor bunlar;

keşfetme (sitemap gönderdiğinizde veya bir sayfanız tarandığında diğer linklerin tespit edilmesi)
tarama (önce googlebot'un sayfayı ziyaret etmesi daha sonra googlebot mobil'in ziyareti)
dizine ekleme (sayfanın aramalarda görünmesi)

google gibi getirin ana amacı içerik çalınmasının önüne geçmek, adam sizin siteye cron kurup 1 dk sonra içeriğinizi çalabiliyor.böyle bir durum varsa kullanabilirsiniz.

wp vs kullanıyorsanız rss ve ping servisleri işinizi görür, siteye yeni içerik ekleme düzeniniz google tarafından anlaşılıyor botlar da ona göre ziyaret edip içerikleri tarıyorlar.

indeksleme konusunda takıntınız varsa veya merak edip araştırmak istiyorsanız tavsiyem sayfalarınıza useragent kontrollü küçük bir kod ekleyin, eğer bir bot ziyaret ederse dbye veya txtye detaylı bir şekilde yazdırırsınız.