Robot.txt dosyası oluşturma

Web sitemde robot.txt dosyası eksik sanırım bu dosyayı oluşturmama yardım edebilecek varmı acaba ? Çok teşekkürler iyi forumlar dilerim.

​Free Music Download​​​
Sitemap

@Emreloji; hocamı önerebilirim.

robot.txt diye dosya oluştur

içine şunları yaz , kaydet , ftp hesabın at. bu kadar



User-agent: *
Allow: /

https://www.ihs.com.tr/seo/robots-txt-olusturucu

User-agent: *
Disallow:
Disallow: /cgi-bin/
Sitemap: https://freemusicdownload.online/sitemap

default şu şekildedir. ismi: robots.txt olacak. ana dizine atacaksınız.

User-agent: *
Allow: /
Sitemap: https://freemusicdownload.online/sitemap

ben sna nasıl oluşturacağını öğreteyim kendin yap daha faydalı olur;

Robots dosyası arama motorlarına neyi tarasın, indexlesin neyi yapmasın diye belirtmek içindir.

taramak istemediklerini

Disallow: yazıp o sayfaları belirt ( mesela aynı içeriğe sahip sayfaları, giriş sayfaları vs vs düşük içerikli önemsiz sayfaları)Allow: ise hangisini indexlesin istersen yapmak için. Yukarıda disallow dediğinden geri kalan tümünü indexlesin diyorsan * işareti kullanabilirsin.