Robots.txt bunların arasındaki fark nedir?

1-
User-agent: *
Allow: /

2
User-agent: *
Disallow:

Sitede ilk önce 2. numaradakini kullandım sonra İndex sorunu yaşayınca 1. İi
le değiştirdim. Doğru mu yaptım yanlış mı yaptım bilmiyorum.

Arasındaki fark nedir?

1.si arama motorlarına izin verir, 2.si arama motorlarını engeller.
Yapman gereken 1. olan yani Allow kullanmak.

Tüm robotlar, tüm her şeyi görebilir;

User-agent: *
Allow: /

Arkasında herhangi bir değer olmadan "Disallow :" yazmanız, tüm robotların web sitenizi taramasını istediğiniz anlamına gelir.

User-agent: *
Disallow:

Yani hiç bir farkı yok hocam

Niye engellesin boş zaten, şu an aynı ikisi de.

User-agent: *
Allow: /

şuna bunu kullanıyorum
zaten alt satırlarda sitemap adresleri var

bu şekil

User-agent: *

Allow: /

Sitemap: siteadresi/sitemap.xml

Hocam komut başlangıcı olarak boş fakat "/admin" vs klasör ismi veya php dosyası yazmaya kalksa engeller.
Ben başlangıcına bakarak söyledim.

Doğru hocam, olması gereken budur. WordPress kullanıyorsanız bunu da kullanabilirsiniz;

User-agent: *
Disallow: /wp-content/plugins/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.test.com/sitemap.xml