Sorunu gene kendim çözdüm

robots.txt dosyasını güncelledim ama cache'de kalmış. Engelliyormuş siteyi.