Webmaster Tools'ta 404 Bulunamadı Sayısı Artıyor

şimdi bende robot.txt dosyası yokmuş bunu nasıl yapacağız acaba

Hocam robots.txt adında bir dosya oluşturun ve aşağıdaki kodları içine yazıp, sitenizin ana dizinine atınız...

User-agent: *
Allow: /
Disallow: /*ref=*

peki bu arkadaşın size önerdiklerini nasıl yapacağız inanın bir şey anlamadım hasta olduğumdanda olabilir bana örnek olarak gönderebilirmisiniz ?

Birkaç gün sonra tekrar hatırlatırsanız yardımcı olacağım inşaallah. Henüz bitmedi. Bitince size de birkaç örnek yapıp, yardım ederim.

@Derbederim68, hocam robots.txt dosyası olmadan olmaz. Bu büyük bir hatadır acilen halletmelisiniz. Örnek bir robots.txt;

https://xenforo.com/robots.txt SADECE ÖRNEKTİR. Sitenin FTP'de ana dizinde olması gerekir böyle.

Her sitede bunun olması şart. En altına da site haritasının linkini ekleyeceksiniz. Robots.txt çok önem teşkil eder. Google botları, sizin robot dosyasında verdiğiniz izinlere göre hareket eder ki, bu da size + olarak geri döner. Ayrıca istemediğiniz linkleri de bu yolla hemen silebilirsiniz.

hocam ben bunu anladım fakat webmaster toolsta domain düştü ben aldığım için eski siteden bulunmayan sayfalar var onları nasıl yapacağımı anlamadım tam olarak

--R10.NET; Flood Engellendi -->-> Yeni yazılan mesaj 18:20:44 -->-> Daha önceki mesaj 18:08:28 --

bu linkler webmaster tools ta hata verenler robot dosyasına bu şekilde yazdığım zaman doğru mu hocam ?

Disallow: /groups/the-best-way-to-restoration-your-water-vessel-crucial-facts-you-might-want-to-understand/
Disallow: /groups/effortless-connecticut-sales-talent-agency-systems-an-intro/
Disallow: /forum/

Aynen öyle. Bu şekilde hepsini ekleyeceksiniz. Yakın zamanda o eski linklerden eser kalmayacaktır. Şöylesi daha uygun olacaktır;

Disallow: /groups/
Disallow: /groups/*
Disallow: /forum/
Disallow: /forum/*

Hem tek hem de önünde ne kadar sayfa böyle engellemiş olursunuz. Yani eklediğiniz linkler gibi yapmanıza gerek kalmaz. Ama php linklerde tek olmasını öneririm şöyle ki;

Disallow: /groups.php*
Disallow: /blogs.php* 
Disallow: /showthread.php*
Disallow: /thread.php*

Böylelikle php sonrası ne kadar fonksiyonlu sayfa varsa (devamındaki kaynak sayfalar misal groups.php?groupid=1) hepsini silecektir. Ayrıca şunu da robots.txt dosyanıza ekleyin, 2 ay sonra kaldırın;

User-agent: ia_archiver
Disallow: /

Bunu yani ia_archiver'i 2 ay sonra kaldırın. Web Archive'de kayıt edilen eski sayfalar da silinir. Böylelikle eski kayıtlardan eser kalmaz.

hocam benim hata veren linklerimde .php veya .html uzantısı yok link yapısı öyleymiş aynı yazdığım gibi o şekil olursa tek tek yaparım öyle aşırı değil benimki 1.200 civarlarında yardımınız için çok teşekkürler

Rica ederim. Diğer belirttiğim şekilde yapabilirsiniz.