robot txt generator var yani robot txt oluşturucu siteler var hocam oluşturup txt dosyanı sitenin htaccess idi sanırım bir dosyasına atıyordun siten diğer arama motorlarında gözüküyordu yüzeysel olarak bilgi vereyim dedim mantık bu.