Robots.txt içinde sitenizi taramasına engel olacak kodlaar var mı
Kullandığım robot.txt şu:
User-agent: *
User-agent: Mediapartners-Google
Disallow: /search
Allow: /
Sitemap:
https://siteadi.com
Robot.txt de özellikle engellemek istediğiniz bir bot falan yoksa siliniz bir şey olmaz. Sildikten sonra hatanın düzelmesi birkaç gün sürebilir.
Anladım. robot.txt dosyası kullanmadan önce sitenin hit sayısı çok düşük ve sayfaları çok atlarda görünüyordu. Şu an düzeldi o yüzden silmekten çekiniyorum.