yazdıklarını tam olarak anlamamakla beraber eğer bilmiyorsan robots.txt dosyana hiçdokunmamanı tavsiye ediyorum ben bi keresinde dokundum aman ya rabbim kendime 1 ayda zor geldim google bütün linklerimi kısıtlamıştı