Wordpress robot.txt Hk ?

1) Arkadaslar kök dizinde www.domain.com/robots.txt yazınca robots.txt geliyor ama ftp den bakınca böyle bir dosya yok anlamadım ?
2)En iyi robots.txt nasıl olmalı yani içinde ne yazılmalı?

htaccess başka dizinden çekiyordur. htaccess dosyana bak.

Merhabalar,

All in one seo ya da sitemap eklentileri kullanıyorsanız sanal robot.txt oluşturmuş olabilir.

Kullandığınız seo eklentisinde sanal robots.txt dosyası oluşturma aktif olabilir

htaccess robot.txt ilgili bir alan bulamadım hocam



Yoast kullaniyorum, kendisimi oluşturmuş en doğrusu nasıl olmalı kök dizinde yok



Yoast kullaniyorum nerden bakacağım

Gün içerisinde mesaj atarsanız pcye geçince kendi sitelerimizde kullandığımız robots.txt dosyasını göndereyim.

Whatsaptan yazdım

Eyvallah büyük dostum... whatsaptan yazdım hallediyorum sende sagolasın

robots.txt dosyanızı aşağıdaki gibi oluşturup ana dizine atabilirsiniz. Eklentilerin yada kullancığınız scriptin oluşturacağı otomatik robots.txt yerine bu geçecektir. Bundan sonra search console ye gidip yeni robots.txt göstererek işlemi bitirebilirsiniz.

Sitemap: https://siteadresiniz.com/sitemap.xml

User-agent: Googlebot

Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /archives/
Disallow: /index.php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/

User-agent: Googlebot-Image
Disallow: /wp-includes/

User-agent: ia_archiver
Disallow: /

User-agent: duggmirror
Disallow: /