Sorunu tam yazsanız hocam.Robottxt dosyası tamam şuanda tüm botları siteye çağırıyorsunuz ama,site içeriği nedir site ne kadar zamandır açık vs? bunlarda birer etkendir.eğer içeirk daha önceden başkaysa ve silinip başka birşey kuruldu ise eski linklerin silinmesi zaman alabilir.hızlandırmak için yeni sitemap oluşturup google a tanıtın.sitemapa arada ping atın