search console, robots.txt taraflı engelli bile olsa işleme alıyor.

Artık gına geldi, robots.txt de zaten klasör engelli aşağıya robotx.txt içeriğimi ekleyeceğim. Php taraflı baktım sonuca ulaşamadım bu naleti nasıl engellerim ki taramasın artık.

User-agent: *
Disallow: /assets/
Disallow: /cache/
Disallow: /sources/
Disallow: /api/
Disallow: /script_backups/
diye devam ediyor yukarda engelli yav

cache klasörünü engellemişsiniz cache get sorgusu olan sayfaları değil, o get sorgusu varken açılan sayfanın noindex nofollow olduğundan ve canonical olarak ana url yi içerdiğinden emin olun hocam

meta name="robots" content="noindex,nofollow" />

siz sadece

domain.com/cache/sayfa-adi.htm
domain.com/cache/2-sayfa-adi.htm

vb tüm urllerin taranmasını engellemişsiniz.

Disallow: /?cache=

şeklinde yaparsanız artık taramaz.

Dikkat!

?cache= ile başlayan hiçbir url taranmayacağından bilginiz olsun.

daha detaylı bilgiler için aşağıdaki sayfayı ziyaret edip bilgi alın.

https://developers.google.com/search...bots-txt?hl=tr