Robots.txt oluşturma adresi:

http://www.mcanerin.com/EN/search-engine/robots-txt.asp

İzin vermek istediğiniz seçenek için allowed seçeneğini işaretlemeniz yeterlidir.

İşleminiz tamamlandıktan sonra Create Robots.txt butonuna tıklayarak Robots dosyasını oluşturabilirsiniz.