Evet bazen benim de bazı sayfalarım robot.txt sebep gösterilerek engelleniyor, bu konuda bilgi sahibi bir arkadaş yardımcı olursa iyi olur.