Robots.txt URL Devamı Engelleme (R10+)

Merhabalar,

Sitemde bir eklenti kullandım ancak eklenti çok boş linkler oluşturduğu için kaldırıp linksiz başka bir eklenti kurdum. Ancak eklenti linkleri eklediği için ve google sitemiz hızlı indexlediği için hepsi index almış. Robots.txt ile bunları kolay şekilde nasıl engelleyebilirim.

Örnek:
url.com/detay/araba/mavi.html

bu örnek url de olan araba ve mavi olanları nasıl tek seferde engellerim. Çünkü bu tarz yaklaşık 2800 tane link var.

url.com/detay/*
url.com/detay/araba/*
Yapabilirsin

Selamlar bir dizini disallow yaptığında ona bağlı tüm uzantılar da disallow olur

o nedenle url.com/detay/

Bu kısmı disallow yapman yeterli

/detay/* yaptığımda hem arabayı hem de mavi.html içine alacak mı?

Detaydan sonra ne kadar URL varsa kapsar.

Çok teşekkür ederim.

Yine de emin olmak için robots.txt test araçlarından merak ettiğiniz url leri test edebilirsiniz.

Robots.txt ile dosya yolunu engelleyebilirsin. Ancak dosya yolunda yararlı engellenmemesi gereken bir URL ve kaynak bulunmadığından emin olmasın. Nasıl ekleyeceğin konusunda aşağıda sana bağlantı bırakıyorum ayrıca kötü ve spam botları engelleyebileceğin bir liste mevcut.
https://www.kukumav.net/blog/robots-txt-olusturma/

Merhaba,

İndekslenmiş URL adreslerine no index direktifi ekleyip ilgili URL'leri indexten düşürmeden robots.txt üzerinden engelleme yaptığınızda URL adresleri dizinden silinmeyeceklerdir.

Bunun yerine yapılması gereken sağlıklı işlem; Öncesinde <meta name="robots" content="noindex, nofollow" /> direktifini indekslenmesini istemediğiniz tüm sayfaların kaynak koduna eklemek ve ilgili sayfaların dizinden düşürülmesini beklemektir.

Sayfalar dizinden düşürüldükten sonra crawl budget'ı optimum seviyede tutabilmek adına robots.txt üzerinden tüm sayfaları engelleyebilirsiniz.

Engelleme direktifi için Disallow: /detay/araba/* komutunu kullanmanız yeterli olacaktır.