tarama bütçesini olumsuz etkiler
robots.txt dosyasına bazı kurallar ekleyerek engellemek gerekir. örnek olarak;
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /author/
Disallow:/?s*
Disallow: /*?sort*
Disallow: /*=DESC
Disallow: /*=ASC
Disallow: /*search&tag=*
Disallow: /*search&search=*
Disallow: /archives/
Disallow: /cgi-bin/
Disallow: /feed/
Disallow: /trackback/
Hocam zaten robots.txt bu sayfaların dizine eklenmesini önlemiş, bu sayfalar neden yada nasıl oluşuyor onu bilmiyorum. Sitelerin kök dizinine bakıyorum, robots.txt dosyasını da bulamadım
Bunlar zaten eklenmemeli.. Robots.txt üzerinden engelleyin, noindex tagı koyabiliyorsanız noindex de koyun o sayfalara
Hocam robots.txt bulamadım, yeni kurulan sıfır wordpress siteye bakıyorum onda da yok yada ben bulamıyorum.