Açıkçası robots.txt'de nasıl yapılıyor bana da lazım oldu pek uğraşmak istemedim. Excel formatında indirip ekleyebilirsiniz diye tahmin ediyorum.