Merhaba arkadaşlar,

robots.txt dosyası oluşturma ile ilgili bir çok bilgi var ve net bir şey yok anladığım kadarıyla.

Peki sektör olarak net bir şey oluşturulabilir mi?

Yani kadın moda sitelerinde şu şekilde robots.txt oluşturulmalı gibi...

-------------------------------------------------------------------------------------

Bu konularda acemi biri olarak diğer bir sorum ise, robots.txt dosyası nerede bulunur. Ben sitem için oluşturmadığımı hatırlıyorum ama sitenin sonuna robots.txt yazdığımda şu şekilde çıkıyor. Yoksa yüklediğimiz eklentiler kendi mi oluşturdu bunu...

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Sitemap: http://www.sitem.com/sitemap.xml.gz

Sitemap: http://www.sitem.com/sitemap.xml


Şimdi sizin önerilerinize göre buna müdahale edeceğim ama bu robots.txt nerededir.

Ana dizinden falan bahsedilmiş. ftp den public/html 'nin içine baktım orada da yok.

------------------------------------------------------------------------------------

Diğer bir sorum arkadaşlar sitemap oluşturdum ama iki çeşit gördüğünüz gibi, bu ikisininde durması sıkıntı oluşturur mu yoksa sadece xml uzantılı olan mı kalsın.

Şimdiden teşekkürler