Merhaba,
robots.txt oluşturma hakkında tam olarak detaylı bir metine ulaşamadım. Yararlandığınız kaynaklar var mıdır?