Hocam son zaman böyle siteler arttı.

Bana kalırsa sitelerin içeriklerini cache leyip google a gösteriyorlar.

Hatta bu forumda birisi benzer bir script yazmıştı.

Rest api si kapalı olmayan her sitenin içeriğini ön bellekten google a gösteriyorsun.