Merhaba arkadaşlar geçenlerde sitemizde bir hacklenme olayı yaşandı. Şükür virüsü temizledik ancak bize ait olmayan bir yığın URL var. bu URL leri tek tek google den kaldırma isteği yollamak çok yorucu olacak. bunun yerine robots.txs dosyasından bu url leri engellemek mümkün mü. hepsinin dosya yolu aynı. şu şekilde
https://siteadi.com/listing/11622136.html
yani
/listing/ diye bir klasörün içinde biz bu lisnting robots.txt dosyası içinde komple engelleyip işi çözemezmiyiz?
Ek olarak sitedeki tüm .html sayfaları google bota kapatmak istiyorum. bunu yapmak mümkünmü