Kontrol etmen gerekenler :
- Site haritası
- Robots.txt
- Htaccess
- Yinelenen sayfalarında artış var mı
- Tarama sayfalarında aşırı bir artış var mı ?
-güncellenen linkler site haritasında yok hocam site haritasında "Haberler-sektor.asp" ye link var.(? işaretinden sonraki paremetre bölümlerine link yok)
-robots.txt de
Haberler-sektor.asp?tarih=23.11.2014
Haberler-sektor.asp?tarih=22.11.2014
Haberler-sektor.asp?tarih=21.11.2014
bu 3 satırı disallow etmiştim(örümcekler boş sayfalara gitmesin diye),web yönertici araçlarında test aracı ile denediğimde diğer tarihlere örneğin "Haberler-sektor.asp?tarih=19.1.2015 " izin verildi diyor.yinede 3 gün önce robots.txt yi boşaltmış olmama rağmen hala index almadı.
-site asp olduğu için bizde htaccses yok
-sayfalar hergün otamatik ekleniyor.haberleri google alert ile rss den alıp veritabanına kaydediyorum
web yönetici araçlarından aldığım görüntü şu şekilde