robots.txt test aracı ile engellenen kaynağı tarat. izin verildi yazısı çıkıyorsa sorun yoktur, ileride kaybolur. reddedildi yazısı çıkarsa robots.txt'den özel olarak izin vermen gerekir.