MimariuS adlı üyeden alıntı: mesajı görüntüle 
User-agent: *
Bu kodu kaldırman lazım. Ama bu senin için sorun olabilir.Bahsettiğin arama motorlarının tüm bot isimlerini bilmiyoruz neticede.
oda doğru 1 harf yanlıs olsa o platform ındex almayacak.
MimariuS adlı üyeden alıntı: mesajı görüntüle 
User-agent: *
Bu kodu kaldırman lazım. Ama bu senin için sorun olabilir.Bahsettiğin arama motorlarının tüm bot isimlerini bilmiyoruz neticede.
hocam sadece bunu kaldırmam yeterlı mı User-agent: * yoksa bunun altındakı allow uda sılecekmıyım

https://www.maxiforum.net/robots.txt

bu sekılde sadece belırledıgım botlara ızın vermıs oldum değilmi? @MimariuS;