Selamunaleykümm..
Arkadaslar siteme google'da robot.txt olusturduktan sonra eğer wordpress kullanıyorsam bunu header.php'nin en üst kısmına mı ekleyeceğim..?
Googlenin bana vermis olduğu :
User-Agent: *
Allow: /

robots.txt dosyanızı kaydedin ve sitenizin en üst düzey dizinine yükleyin (diyor google.)
En üst düzeyden kasıt nedir? Nereye yüklemem gerekir..
Birde ; Bir dizin olarak algılandı; belirli dosyaların farklı kısıtlamaları olabilir (diyor bu ne anlama geliyor aceba sitemde robot.txt yüklü, ama sitemde google'ye kısıtlama mı var? Tam anlamış değilim..
Birde robot.txt eklerken ; User agent sekmesinde hangisini işaretlemeliyim? ; Googlebot, useragent, googlebot-mobile, tüm tarayıcılar, diğer robot..