Kullandığın sunucuya göre özel yapılandırma yapmalısın. Eğer bir VDS/VPS kullanıyorsan müsait olduğum bir zaman diliminde ayarlama için yardımcı olurum. Hosting ise .htaccess içerisinde belirli sayfalar için manuel kurallar oluşturmalısın ve her ekleyeceğin sayfa için tekrarlamalısın. Veyahut ayrı gönderi tipi oluşturup .htaccess içerisinden google kaynaklı tüm botları engelleyerek de cezadan kaçabilirsin.
Google artık kendisinden gizlediğin sayfaları da izleyebiliyor sanırım. Search console / Önemli web verileri bölümüne bakacak olursanız sağ üst tarafta "Kaynak: Chrome kullanıcı deneyimi raporu" bölümünü göreceksiniz. Açıklamasında şu yazıyor;
"Rapor verileri, Chrome Kullanıcı Deneyimi Raporu'ndan gelir. Bu bilgi, dünyanın her yerinden kullanıcıların sitenizdeki gerçek kullanım verilerini yansıtır."
Burada da detayı var
https://support.google.com/webmaster...006#about_data