işte sorunun cevabı;

# Robots.txt file from http://www.turkwebmasters.net
#
# All robots will spider the domain

User-agent: *
Disallow:

ayrıca bazı arkadaşlar robot.txt şeklinde kullanıyor. robots.txt olacak.

son olarak sayfanızın meta kısmına bunu da koymanız lazım;

<meta name=siteinfo content=http://www.turkwebmasters.net/robots.txt />