hocam ben bunu anladım fakat webmaster toolsta domain düştü ben aldığım için eski siteden bulunmayan sayfalar var onları nasıl yapacağımı anlamadım tam olarak
bu linkler webmaster tools ta hata verenler robot dosyasına bu şekilde yazdığım zaman doğru mu hocam ?
Disallow: /groups/the-best-way-to-restoration-your-water-vessel-crucial-facts-you-might-want-to-understand/
Disallow: /groups/effortless-connecticut-sales-talent-agency-systems-an-intro/
Disallow: /forum/
Aynen öyle. Bu şekilde hepsini ekleyeceksiniz. Yakın zamanda o eski linklerden eser kalmayacaktır. Şöylesi daha uygun olacaktır;
Disallow: /groups/
Disallow: /groups/*
Disallow: /forum/
Disallow: /forum/*
Hem tek hem de önünde ne kadar sayfa böyle engellemiş olursunuz. Yani eklediğiniz linkler gibi yapmanıza gerek kalmaz. Ama php linklerde tek olmasını öneririm şöyle ki;
Disallow: /groups.php*
Disallow: /blogs.php*
Disallow: /showthread.php*
Disallow: /thread.php*
Böylelikle php sonrası ne kadar fonksiyonlu sayfa varsa (devamındaki kaynak sayfalar misal groups.php?groupid=1) hepsini silecektir. Ayrıca şunu da robots.txt dosyanıza ekleyin, 2 ay sonra kaldırın;
User-agent: ia_archiver
Disallow: /
Bunu yani ia_archiver'i 2 ay sonra kaldırın. Web Archive'de kayıt edilen eski sayfalar da silinir. Böylelikle eski kayıtlardan eser kalmaz.