Robots.txt kadın moda siteleri için en iyi ayar nasıl olmalı

Merhaba arkadaşlar,

robots.txt dosyası oluşturma ile ilgili bir çok bilgi var ve net bir şey yok anladığım kadarıyla.

Peki sektör olarak net bir şey oluşturulabilir mi?

Yani kadın moda sitelerinde şu şekilde robots.txt oluşturulmalı gibi...

-------------------------------------------------------------------------------------

Bu konularda acemi biri olarak diğer bir sorum ise, robots.txt dosyası nerede bulunur. Ben sitem için oluşturmadığımı hatırlıyorum ama sitenin sonuna robots.txt yazdığımda şu şekilde çıkıyor. Yoksa yüklediğimiz eklentiler kendi mi oluşturdu bunu...

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Sitemap: http://www.sitem.com/sitemap.xml.gz

Sitemap: http://www.sitem.com/sitemap.xml


Şimdi sizin önerilerinize göre buna müdahale edeceğim ama bu robots.txt nerededir.

Ana dizinden falan bahsedilmiş. ftp den public/html 'nin içine baktım orada da yok.

------------------------------------------------------------------------------------

Diğer bir sorum arkadaşlar sitemap oluşturdum ama iki çeşit gördüğünüz gibi, bu ikisininde durması sıkıntı oluşturur mu yoksa sadece xml uzantılı olan mı kalsın.

Şimdiden teşekkürler

robots.txt bir plugin oluşturuyor gördüğüm kadarıyla..sorun yok gibi..böyle devam edin..yok illa ben robots.txt yapıcam derseniz sektöre göre değişen birşey değildir..

User-agent: *
Disallow:

bu bile yeterli..public_html içinde yoksa robots.txt dosyası oluşturup atın..not defteri ile..dediğim gibi sorun yok gibi şu an..google bot robots.txt doğru okuyorsa yeterli..

Hocam anlamadigim public_html icinde yok robots.txt dosyasi ama google da dogru okuyor web master toolsdan vaktim.
Nereden buluyor acaba google

bazı sitemap eklentileri sanal olarak oluşturuyor dosyayı. ftp dizinde göremezsiniz bu nedenle. sanal alemde sanal dosya

Peki hocam fiziksel olarakta olusturmali miyim. Yoksa oyle kalsin mi

Eğer sanal robots.txt dosyanız mevcutsa fiziksel olarak oluşturmanıza normalde gerek yok. Ama dosya içine sitenize özel ekstra bir bilgi ekleyecekseniz o zaman oluşturabilirsiniz, hiç bir zararı yok. ister fiziksel ister sanal olsun, robots.txt dosyanızı kontrol etmek isterseniz tarayıcıya siteniz.com/robots.txt yazıp görebilirsiniz.