https://www.seohocasi.com/robots-txt-generator/ Buradan sizin için önemli veya önemsiz gördüğünüz dizinlerin ayarlamasını yapabilirsiniz.
oluşturduğunuz komutları robots.txt dosyasına ekleyip dizine atacaksınız. Hepsi bu kadar