Yok mu çözümü acaba?

https://developers.google.com/search...oogle-crawlers bu linkteki tüm user agent'lari allow yapmama rağmen aynı sorun devam ediyor.