Açıkçası robots.txt'de nasıl yapılıyor bana da lazım oldu pek uğraşmak istemedim. Excel formatında indirip ekleyebilirsiniz diye tahmin ediyorum.
CSV olarak indirdim biraz olsun işi kolaylaştırdı yanlız. 24 bin tane url yi tek tek göndermek ölüm resmen ve tek sitede değil
. Bunu toplu göndermenin bir yolu varmıdır acaba ?. Birde bu kadar url düşürmenin bir zararı olur mu ?