robots.txt dosyasında indexlenmesini istemediği klasor veya URL yapılarını bularak başlayabilirsiniz.