İpucu: Robot.txt oluşturmamda yardımcı olur musunuz?

Tüm sayfalarımı indexlemesini istiyorum

*Bide şöyle bir detay var /ahmet klasörüme girdiğimde boş gözüküyor ama /ahmet/denem.php gibi dosyalar var içinde ama direk /ahmet yazınca gözükmüyor. Onların tümünü nasıl indexletebilirim.

Umarım açıklayabildim Bilgim düşük kusura bakmayın


Hariç sayfa /admin

User-agent: *
Disallow:/admin

sitemap.xml dosyasını da eklerseniz iyi olur

User-agent: *
Disallow: /admin

Sitemap: http://web-adresiniz/sitemap.xml

Arkadaşlar robots.txt'yi vermişler bende
*Bide şöyle bir detay var /ahmet klasörüme girdiğimde boş gözüküyor ama /ahmet/denem.php gibi dosyalar var içinde ama direk /ahmet yazınca gözükmüyor. Onların tümünü nasıl indexletebilirim.
Bu sorununu şöyle çözmende yardımcı olayım,
/ahmet/ bu dizine .htaccess dosyasını oluştur,
içine

DirectoryIndex denem.php

yaz kaydet, artık /ahmet/ dizinine giren denem.php yi görüntüleyecek.

ama bir den çok php dosyası var içinde

Fark etmez bu .htaccess deki DirectoryIndex komutu hangi dosya ile açılacağını belirliyor.

Yanlış anlamadıysam şunu mu istiyorsunuz?

/ahmet - URL'i taranmasın.

/ahmet/denem.php - URL'i taransın
/ahmet/xxx.php - URL'i taransın
/ahmet/xxx - URL'i taransın
/ahmet/denem - URL'i taransın

hocam özelden anlatımda bulunayım

SEO uyumlu robots.txt dosyası oluşturma, kötü botları engellemek için ilgili makaleyi incelemenizi öneririm.
https://www.kukumav.net/blog/robots-txt-olusturma/