Yeni bir sitemi içerikleri eklemeden önce wordpress tarafından arama motorlarına engelledim.
İçerikleri ekledim, robots.txt dosyasını düzenledim. içeriği şu şekilde;
User-agent: * Disallow: /wp-admin Disallow: /wp-includes Disallow: /httpd/ Disallow: /cgi-bin/ Disallow: /stats/ Disallow: /wp- Allow: /tag User-agent: Mediapartners-Google Allow: / User-agent: Adsbot-Google Allow: / User-agent: Googlebot-Image Allow: / User-agent: Googlebot-Mobile Allow: / User-agent: YandexBot Allow: / User-agent: Cuil Allow: / User-agent: Slurp Allow: / User-agent: Yahoo Allow: / User-agent: Yahoo! Slurp Allow: / User-agent: ia_archiver-web.archive.org Disallow: / User-agent: aipbot Disallow: / User-agent: BecomeBot Disallow: / User-agent: psbot Disallow: / User-agent: fast Disallow: / User-agent: GigaBot Disallow: / User-agent: Voyager Disallow: / User-agent: BaiDuSpider Disallow: / User-agent: BackRub/*.* Disallow: / User-agent: Grub.org Disallow: / User-agent: BotRightHere Disallow: / User-agent: larbin Disallow: / User-agent: psbot Disallow: / User-agent: Walhello appie Disallow: / User-agent: Python-urllib Disallow: / User-agent: CherryPicker Disallow: / User-agent: EmailCollector Disallow: / User-agent: WebBandit Disallow: / User-agent: EmailWolf Disallow: / User-agent: CopyRightCheck Disallow: / User-agent: Crescent Disallow: / Sitemap: http://xx/sitemap.xml Sitemap: http://xx/sitemap-image.xml.gzwordpressden arama motorlarını engelle kutucuğunu kaldırdım, sitemap ekledim fakat sürekli bu hatayı alıyorum.
Site haritasında robots.txt tarafından engellenen URL'ler bulunuyor.Search conselode her url engelleniyor gözüküyor, fakat engelleyecek bir durumla karşılaşmadım. Sitemap yeniden gönderiyorum test ediyorum yine aynı hata.
Robots.txt test aracında url lerde bir problem gözükmüyor, google bot ile getir yaptığımda site bot görüntüsü veriyor.
Fakat ana sayfa indexi düzelmedi ve linkler eklenmiyor dün akşamdan beri.
Sorun neden kaynaklanıyor olabilir?