Şu eklentiyi deneyebilirsiniz:
https://wordpress.org/plugins/block-...rg-robots-txt/
Bu eklenti aktif olarak çalışıyor. Hatta eklentiye gerek kalmadan kendiniz de bir robots.txt eklemesi yapabilirsiniz ancak archive.org bunu dikkate almayabilir. Hatta dikkate almayacağını bazı destek makalelerinde açıkça dile getirdiklerini de okumuştum.
En garanti yöntem mail göndermek. Mail gönderirseniz 1-2 hafta içinde kaldırıyorlar.
Mail:
info@archive.org Başlık: İçerik:
ia_archiver botunun Alexa botu olduğunu da okumuştum. Robots düzenlemesi yapmadan da mail gönderebilirsiniz. Garanti olsun diyorsanız ilk olarak Robots.txt güncellemesi yapın. Mail gönderirken de mutlaka kaldırma talebi bulunduğunuz sitenin mail adresi ile gönderin.
info@siteadi.com gibi.
Hocam şu an site aktif değil. Aktif edince archive'in index almasını istemiyorum. Mail ile kaldırtabilirsiniz demişsiniz ama kaldırınca yine index alır mı bilemedim. Robots için engellenmesi gereken linkler nedir? Sadece bu mu ia_archiver. Site wordpress olmayacağı için eklenti kullanamayacağım.