arkadaşım bende aynı dertten muzdariptim traditional kardeşin verdiği bilgiler doğrultusunda robot.txt dosyası oluşturdum ve dediği gibi yaptım.

Teşekkürler traditional