robots.txt yapıp ardından sitemapıda googlenin webmaster yöneticisi kısımından gönderirsek daha yararlı olur