Evet gerekli, özel robots.txt içeriğini etkinleştir diyip konunuzdaki kodu kendi sitenize göre düzenleyip ekleyin.