teşekkürler fakat robots.txt nin nasıl oluşturulduğuna dair bilgiler gördüm
eğer silersem otomatikman tüm botlara izin mi vermiş olurum