Google gibi getir yaptıysanız mutlaka indexlemiştir.
makaledeki keyword site:www.trabzondayim.com diye arama yap, indexlendiğini göreceksin
Ama site:www.trabzondayim.com şeklinde aratınca göremeyebilirsin
Google bu işte, kafasına göre taklıyor.
Benimde bu durum başıma gelince merak ettim,
siteye gelen botları kayıt altına alan bir kod yazdım.
Google gibi getir yaptım
Bu durumda $_SERVER[HTTP_USER_AGENT]'ı google olan bir bağlantı olması gerekir ama maalesef yoktu.
(Getirdiği sayfanın koduna google webmaster toolstan bakınca yazmış olduğum
makeleyi görebiliyorum. Yani googlebot siteye gelmiş.)
her google gibi getir için bu durum geçerli değil. Çoğu kez googlebot geliyor.
Ama şunu kesinlikle söyleyebilirim $_SERVER[HTTP_USER_AGENT] adı içinde "google" geçmeyen google botu var, ya da Http dışında başka bir bağlantı ile tarıyor.
Bir gün içinde yüzlerce kez google bot, sayfalara geldiği halde, bazen son 24 saat içinde indexlenen bir tane sayfa bile göremezsiniz.