Sitemin 404 linklerini indeksten kaldırmak istedim fakat tümü reddedildi

Reddedilme sebebi olarak bu belirtliyor:

Sitenin yöneticisi bu sayfayı dizine eklememizi veya arşivlememizi engellemek üzere ilgili robots.txt dosyasını veya meta etiketleri uygulamadığından isteğiniz reddedilmiştir.

Robot.txt de nasıl bir düzenleme yapmam gerekir veya meta etiketlerde? Tam olarak ne yapmam gerekiyor anlamış değilim..