ref bağlantıları engelleme ve bot ların görmesini istemediğin bazı yerleri disallow yapabilirsin
https://www.r10.net/robots.txt