bu sorunu robots.txt ile çözebilirsiniz hocam. robots dosyası arama motorlarının tarayacağı urlleri barındırıyor. burada taraması ve taramaması gereken urller belirtilebilir. detaylı bilgi için aşağıdaki linki inceleyebilirsiniz.

Kaynak