Teşekkür ederim url kaldırmayı yapacağım fakat bu linkler artık sitede yok neden robots.txt dosyasına ekleme yapmam gerekiyor onu anlamadım.
Google indexinde olduğundan bot devamlı gelip indexlemek isteyecektir.
Robots.txt e yazmaz isen bulunamadı (404) hatası dönecektir.
404 hatasında dosyaları hemen indexten kaldırmaz.
Daha hızlı silinmesini istiyorsan robots.txt e yazman gerekir.