Bulunamayın linkleri robots.txt dosyasına disallow olarak eklerseniz. kaldırabilirsiniz. Ali ata bak dizinine google bot okumuyacaktır ve indexten düşücektir.
Örnek :
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /ali-ata-bak/
Hocam bir tane link örnek yapabilirmisniz ben bu yöntemi denicem ama bir türlü doğru olanı bulamadım yanlış yapmaktan korkuyorum. Birde Bu robot.txt ye sitemap linki ekleniyor hocam kısaca söyle diyim
-sitemap linki
-olması gereken kod
-kaldırmak istediğimiz link (bir kaç tane)
Örnek robot.txt yazarsaniz minnettar kalırım sind
GT-I9500 cihazımdan gönderildi