Robots.Txt Hakkında Acil

26-02-2016, 16:44:43

#1

modalika

Merhaba,

Arkadaşlar sorunum var robots.txt nasıl olmalıdır.

Webmaster tools uyarı veriyor

Site haritasında robots.txt tarafından engellenen URL'ler bulunuyor. diyor

itemap: http://buradakentisitemyazıyor.com/sitemap.xml

User-agent: Googlebot

Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /archives/
Disallow: /index.php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
Disallow: /page/
Disallow: /tag/
Disallow: /category/

User-agent: Googlebot-Image
Disallow: /wp-includes/

User-agent: ia_archiver
Disallow:
07-04-2016, 16:42:27

#2

~~atiryaqi~~

Üyeliği durduruldu

modalika adlı üyeden alıntı: mesajı görüntüle

Merhaba,

Arkadaşlar sorunum var robots.txt nasıl olmalıdır.

Webmaster tools uyarı veriyor

Site haritasında robots.txt tarafından engellenen URL'ler bulunuyor. diyor

itemap: http://buradakentisitemyazıyor.com/sitemap.xml

User-agent: Googlebot

Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /archives/
Disallow: /index.php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
Disallow: /page/
Disallow: /tag/
Disallow: /category/

User-agent: Googlebot-Image
Disallow: /wp-includes/

User-agent: ia_archiver
Disallow:

disallow içinde bulunan sayfaları engelle komutudur yani bot gelince bu sayfalara bakmadan geç demektir bu uyarı sitemap ile alakalı değil sizin robotstxt de oluşturduğunuz izinle ilgilidir
kısacası googleın tüm sitenizi indexlemesini taramasını istiyorsanız şu kod yeterlidir
;;

User-agent: *
Disallow:
Disallow: /cgi-bin/

bu kod temel dizininiz hariç tüm sayfalarınıza tüm arama motorlarının erişebilmesi maanasına gelir