Robot.txt'nin Olmaması Dezavantaj Mıdır

Arkadaşlar benim scriptin kendisinde robot.txt yok ama ".htaccess" dosyası var aslında galiba ".htaccess" dosyası sayfaların linklerini ve "robot.txt" de google.com botları için dosyalar bende robot.txt yok bir dezavantaj olabilirmi?

eğer sitende google botlarının girmesini istemediğin klasör veya sayfa varsa robot.txt kullanırsın onun dışında robot.txt olmadığı zaman google botları senin siteni ziyaret etmeyecek diye birşey yok yada robot.txt olan sitelere bildiğim kadarıyla robotlar daha fazla gelmiyor. önemli olan sitemapini yapman . ben bi dezavantaj olacağını düşünmüyorum tabi başka fikirlerde olabilir...

robot.txt olan sitelere bildiğim kadarıyla robotlar daha fazla gelmiyor

arkadaşın bu üsteki lafı doğrumu az geliyor yani örümcekler ?

indexlenmesini istemediğin klasörlere gelmez sadece diğer bölümlere etkisi olacağını sanmıyorum

eklemesende google gelir sitene ama google ın görmesini istemediklerini "disable" yapmak için kullanabilirsin.

evt arkadaşlar bence önemli düşünsenize google böcüğünün sadece 100 syafa indexlemesi gelir siz istersinizki konuları indexleisn ama o gider üyeleri indexler siz bundan çok çok zor hit kazanırsınız. ama .htaccess ile bu durumu önleyebilirsiniz

google bikaç sayfanızı indexlese ne olacak ki yani ne kaybedersiniz ki.Bence robots.txt mantıksız ama üstadlar bişeyler derse daha net anlaşılır bu konu kesin konuşmayım.

şimdi sitenin her yerinin indexlenmesini istiyorsak ne gibi bi robots.txt atabiliriz veya boş atsak ne olur?

robots.txt kullanmazsanız varsayılan olarak google erişebildiği her yeri (linklenen tüm sayfalarınız) indexler.
Daha fazla bilgi için buraya göz gezdirebilirsiniz.