Arkadaşım bildigim kadarı ile google o kadar uzun robots.txt yi sevmiyor. Sen google a izin verir. Geri kalanlarını komple engellersin. ve htacses koruması varsa onu yaparsın. Belki bir nebze indexlemelerine çözüm olur