Artık gına geldi, robots.txt de zaten klasör engelli aşağıya robotx.txt içeriğimi ekleyeceğim. Php taraflı baktım sonuca ulaşamadım bu naleti nasıl engellerim ki taramasın artık.

User-agent: *
Disallow: /assets/
Disallow: /cache/
Disallow: /sources/
Disallow: /api/
Disallow: /script_backups/
diye devam ediyor yukarda engelli yav