robots.txt hakkında bir soru(n)

merhaba arkadaşlar google web yönetici araçlarında engellenen url'kısmında engellene 75 diyor ben robots.txt oluşturmamıştım scriptte varmış her neyse içerisine girdim aslında engellenmemesi gerek urller vardı onları kaldırdım fakat içersinde 75 adet yok onun dışın da bir sorum daha olucak google bu belli bir süreyle indiriyor değil mi hemen aktif olmuyor

teşekkürler

Robots.txt içerisinde 75 satır olması gerekmiyor oradaki tek bir satır websitende pek çok içeriği etkileyebilir.

Hemen işlemez. Robots.txt den disallow kısımlarını kaldırdıysan bir kaç gün içerisinde sorun düzelir, index vs almaya başlarsın.

hepsini silmedim acaba hepsini silsemmi zaten admin sayfasını falan hiç bir scriptte indexlemiyor komple kaldırsam bir sıkıntı olur mu

Hepsini silmeye gerek yok , admin vs gibi klasörler kesinlikle disallow olmalı.

şuan bu şekilde


Disallow: /3rdparty/
Disallow: /antispam.txt
Disallow: /admin/
Disallow: /admin/admin_index.php
Disallow: /backup/
Disallow: /cache/templates_c/
Disallow: /cache/admin_c/
Disallow: /install/
Disallow: /internal/
Disallow: /languages/
Disallow: /libs/
Disallow: /LICENSE.txt
Disallow: /modules/
Disallow: /plugins/
Disallow: /readme.html
Disallow: /spamlog.log
Disallow: /templates/

Bu şekilde gayet iyi