google bot normalde her yere girer , robots.txt dosyası ile engelleyemezsiniz

robots.txt dosyası sadece google aramalarında sonuç gözükmemesi içindir