robots txt google,yandex,bing yok sanki?

Merhaba arkadaşlar aşağıda resmini koyacağım burada bunları eklememişler ben mi yanlış görüyorum acaba?

Bunları engellemek için eklemişler. İzin vermek için ya yazmayacaksın ya da allow şeklinde ekleyeceksin.

alttaki *All da hepsini kapsıyor o da kısmi engelleme yapmışlar zaten.

Merhaba
User-agent: *
İbaresi tüm botlar için uygulanan kural anlamına gelir.
Disallow ise üstündeki arayüzün ilgili klasöre erişimini engellemek içindir.

İlgili arayüzün altında allow verildiğinden Google bing dahil tüm (en üstteki engellenenler hariç) arama motorlarına izin verildiğini belirtir.
Saygılarımızla

Google yandex vs. olmaması doğal hocam zaten mantık olarak petal dotbot gibi botlara siteyi engellemişler diğer botların tamamı için belli sayfaları engellemişler.

En sondaki * işareti bütün robotları kapsıyor.

Bu konularda biraz heyecanliyim sitenin ilk indexlenmesi uzun sürmesi 😊