Sadece şurada araya girmek gerekiyor. Kaldırdığınız sayfalar için bir işlem yapmanıza gerek yok. 404 hataları donsun google botları index oluşturamayacaktir ve zamanla dizinden kalkacaktır. Bunun için robots.txt den bir işlem yapmanıza gerek yok. Forumda bu konu çok sık tekrarlandığı ve yanlış yapıldığı için bildirmek istedim.
Sevgiler.
Siteden kaldıramadıklarınızı robots.txt dosyasından engelleyin dedim hocam. Belki boş ve kalitesiz sayfadır ama yazılımsal veya başka nedenlerden dolayı silemiyordur. Bu gibi durumlar için geçerli.