URL, Google tarafından kullanılamaz

Merhaba,

5 yıldır Google Search Console'da bulunan internet mağazam bugün yaptığım bir canlı test sonucunda hata vermeye başladı.
Sabahtan bu yana sitenin ana sayfası ve url'lerini CANLI TEST yapmaya çalışıyorum.

Ekranda şöyle bir hata var:

URL, Google tarafından kullanılamaz
Taramaya izin verildi mi? Hayır: robots.txt tarafından engellendi

Sayfa getirme: Başarısız: Robots.txt tarafından engellendi


robots.txt'te herhangi bir engelleme yok.


Yıllardır kullandığım robots.txt dosyası aşağıdaki gibi:



Sitemap: https://www.sitemin adresi burada.com/sitemap/0/sitemap-index.xml
User-agent: *
# === Lightning code start
Disallow: /*li_op=
Disallow: /*tag=
Disallow: /*search=
Disallow: /*manufacturer_id=
Disallow: /*sort=
Disallow: /*order=
Disallow: /*limit=
Disallow: /*filter_name=
Disallow: /*filter_sub_category=
Disallow: /*filter_description=
# === Lightning code end

Disallow: /admin/
Disallow: /system/
Disallow: /download/
Disallow: /xml/
Disallow: /panelim/
Disallow: /veri/

Merhaba
doğru hatırlıyor muyum bilmiyorum ama yanlışsam kusuruma bakma
Robots.txt dosyanız ön belleğe alınmış olabilir ve Google’a site haritanızı yeniden taraması için biraz zaman vermelisin
Google’a sitenizi taramasını manuel olarak yapmasını söyleye bilirsin
Console property > Crawl > Fetch as Google diye bir seçenek olması lazım
Google'ın sizi uyardığı URL yolunu ekleyin
Yeniden yüklendikten sonra Request Indexing > Crawl sadece eklemiş olduğunuz URL yi seçin tamam diyin

Web sitenizin ön belleğinide temizlemeyi unutmayın

not: Robots.txt dosyanızda herhangi bir değişiklik yapıldıktan sonra, Google’ın sitenizi yeniden taraması biraz zaman alabilir. Bu nedenle, çakışan Disallow kurallarından herhangi birini kaldırdığınızdan eminseniz, muhtemelen Google’ın işini yapmasını beklemeniz gerekir.

bu site belki sorunu çözebilir
https://kb.yoast.com/kb/fix-blocked-...earch-console/

Az önce robots.txt test aracını buldum, daha önce hiç kullanmamıştım. birkaç deneme yaptım sanırım bir iki dakika içerisinde mevcut durumu güncelleyecek.

Yukarıdaki bir disallow komutu her şeyi engelleyecek hale getirmiş. index sayım azalmaya başladı birkaç gündür.

Hocam son durumu bildirirsen sevinirim
Bu arada index sayına takılma hocam önemli olan şu probleminden kurtulmak
kurtulduktan sonra kaybettiğin günleri telafi edersin hocam

Robots txt dosyasını test aracı üzerinden silip yeniden ekledim, belleğe alınan kısımları sildim. Sonunda düzeltebildim. Canıma okudu vallahi.

başarılı olmana sevindim hocam
kolay gelsin

ben hala çözemedim robots.txt yeniden gönder deyince hata veriyor ne yapmalıyım arkadaşlar