bir yerel haber sitem var KaramürselHaber-Kocaeli,Karamürsel,Haberleri,Karam - Anasayfa (reklam amaçlı değil) bu sitenin robots.txt dosyası nasıl olmalı acaba ?

robots.txt dosyası sitenin içeriğinin kategorisine göre farklılaşmaz ki hepsi aynı

Robots.txt yardım