Robots.txt’te engel olmadığını ve sitenin 200 OK verdiğini kontrol et, başka bir şey yapmana gerek yok.