yoast seo kullanıyorsan gelişmiş ayarlardan dosya düzenleme kısmında robots.txt oluşturmasını görürsün .htacces kodlarını aşağıdan değiştirebilir eklemeler yapabilirsin ama bilgin yoksa htaccess fazla bulaşma siteni kullanılamaz hale getirirsin.