Robots.txt hakkında bir soru

Arkadaşlar merhaba,

Yakın zamanda bir domain kaydettim domainde eskiden otomatik etiket oluşturan sistem kullanılmış sanıyorum google tarama hatalarında sürekli aşağıdaki gibi hata sayfaları çıkıyor.

Bu etiket değişkenini robots.txt ile engellemenin bir yolu varmı örneğin başı etiketler olan url leri engelleyebilirmiyim.

Ayrıca ben suan sıtemde www.domain.com/etiket/icerik.htm kullanıyorum robots txt ile aşağıdaki düzeni engellesem şuanki etiketlerimde engellenirmi?

Yardımcı olursanız çok sevinirim. Teşekkürler.

http://www.domain.com/etiketler-123.html
http://www.domain.com/etiketler-154.html
http://www.domain.com/etiketler-187.html
http://www.domain.com/etiketler-154.html
http://www.domain.com/etiketler-112.html
http://www.domain.com/etiketler-097.html

robots.txt

User-agent: *
Disallow: /*etiketler*

404 sayfasınıda ana sayfaya yönlendir tarama hataları çıkmaz

Teşekkür ediyorum hocam bu benim mevcut olan www.domain.com/etiket/icerik.html düzenimi bozmaz değilmi birde çok sayıda tarama hatası var herbirini tek tek mi yönlendirmem gerekiyor tamamını yönlendirmenin bir yolu varmı?

mevcut olan içeriği engellemez, toplu olarak yönlendirebilirsin kullandığın yazılım nedir 404.php dosyası mevcut mu

wordpress kullaniyorum hocam 404.php dosyasida mevcut. Bu linkleri nasil toplu yonlendirebilirim birde yonlendirme sonrasinda urlleri webmaster toolsdan kaldirmalimiyim?

 <?php
header("HTTP/1.1 301 Moved Permanently");
header("Location: ".get_bloginfo('url'));
exit();
?>

404.php dosyasına bunu ekle hata sayfası çıkmaz olmayan içeriği ana sayfaya yönlendirir tarama hatası çıkmaz.

tarama hataları kısmını düzeltildi yap urlleri kaldırmana gerek yok zamanla hepsi kendiliğinden silinir

Nasıl olur da etkilemez dersiniz hocam? Verdiğiniz Disallow kodu arkadaşın bahsettiği /etiket/icerik.html yi etkileyecektir. Siteyi yeni kuruyorsanız, eğer ki /etiket/ klasörünü robots.txt ile Disallow edecekseniz, etiket yolunu değiştirin. örnek tags veya eti yada farklı bir tanımlama yaparak o şekilde robots.txt de etiket klasörünü engelleyin.

https://i.hizliresim.com/zEdWpB.jpg

niye etkilemedi?

Evet bende simdi test ettim etkilemedi kodda sorun yok tesekkurler hocam cok yardimci oldun sagolasin