4 5 yolu var, robot txt ye user agent ekleyebilirsiniz
veya php den
if (strpos($_SERVER['HTTP_USER_AGENT'], 'Googlebot') !== false) {
// Googlebot için doğrulamayı atla
} else {
// Diğer kullanıcılar için doğrulama yap
}
iplere izin verebilirsiniz bla bla