Hocam Google botların siteye girip girmemesine
Robots.txt ile karar verirsiniz
İsterseniz;
User-agent: *
Disallow: /
Bu kod ile bütün botları engellersiniz ama önermem site indexlenmez
Bu sadece legit'lerde ise yarar. Icerik calanlar cok takmaz buna.