robots.txt wordpress ve xenforo

Merhaba arkadaşlar,

web sayfam için aşağıdaki robots.txt dosyasını hazırladım.
size zahmet kontrol edebilirmisiniz herhangi bir eksiklik ve yanlışlık var mı?
wordpres ve xenforo kurulu aşağıdaki gibi.

site içeriği;
sitenin ana dizine wordpress kurdum ve
site.com/forum kısmına ise xenforo forum kurdum

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /readme.html
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-includes/js
Disallow: forum/account/
Disallow: forum/posts/
Disallow: forum/login/
Disallow: forum/admin.php
Disallow: forum/ajax/
Disallow: forum/data/
Disallow: forum/conversations/
Disallow: forum/internal_data/
Disallow: forum/js/
Disallow: forum/library/
Disallow: forum/styles/
Disallow: forum/install
Allow: /

User-agent: Mediapartners-Google*

Sitemap: https://site.com/sitemap_index.xml
Sitemap: https://site.com/forum/sitemap.php


not: sitede robots.txt dosylarını incelediğimde çok eski tarihli bu nedenle konu açma ihtiyacı hissetim.

xenforo sitemde aşağıdaki şekilde
User-agent: *
Disallow: /whats-new/
Disallow: /find-new/
Disallow: /members/
Disallow: /account/
Disallow: /attachments/
Disallow: /goto/
Disallow: /posts/
Disallow: /login/
Disallow: /online/
Disallow: /admin.php
Disallow: /threads/*/reply
Disallow: /help?*
Disallow: /misc/
Disallow: /install/
Disallow: /admin.php
Allow: /

forum/ bunun önüne / ekle

Disallow: /wp-admin/
Disallow: /wp-content/

edit:
Disallow: /wp-content/cache
Disallow: /wp-content/themes

sadece Disallow: /wp-content/ yazmanız yeterli

Hem bunu yazmışsın ama altına bir şey eklememişsin

User-agent: Mediapartners-Google*

bu gereksiz duruyor şuanda. Zaten en üstte All* ile izin vermişsin. Engelleme yapmayacaksan bunu silebilirsin.

hocam biraz daha ayrıntılı bilgi rica ederim anlamadım ne demek istediğini.

hatta zahmet olmazsa güzel bir robot.tex hazırlayıp paylaşırmısın.

en ağzından gelecek olan arkadaşlarda güzel bir doküman olur.

hocam yorum için teşekkür ederim.
/wp-content/uploads/ - indexlemesini istediğim için ayrı ayrı yazdım. Malum görsellerde baya ziyaretçi çekiyor.
bu düşüncem yanlış mı sizce?

En üste User-agent: * yazmışsın. Bu tüm robotlar anlamına gelir. Tüm robotlar aşağıdaki yönergelere uysun demek. Sonra altına

Bazı robotların bazı yerelere erişmemesi için tekrar User-agent: -robot ismi- yazabilirsin sonra bunun altına da izin vermeyeceğin disallow yapacağın dizinleri yazabilirsin.

Yani seninkinde User-agent: Mediapartners-Google* bu robota izin vermek istiyorsan zaten en üstte vermişsin. Yok buna izin vermek değilse amacın bunun altna disallow şekline yerler belirtmelisin. O orada gereksiz kalmış gibi.

tekrardan teşekkür ederim hocam şimdi anladım o zaman bu anlatımına göre aşağıdaki robot.tex hazırladım şimdi var mı bir sorun sence?

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-content/plugins/
Disallow: /wp-includes/
Disallow: /readme.html
Disallow: /wp-includes/js

Disallow: /forum/whats-new/
Disallow: /forum/find-new/
Disallow: /forum/members/
Disallow: /forum/account/
Disallow: /forum/attachments/
Disallow: /forum/goto/
Disallow: /forum/posts/
Disallow: /forum/login/
Disallow: /forum/online/
Disallow: /forum/admin.php
Disallow: /forum/threads/*/reply
Disallow: /forum/help?*
Disallow: /forum/misc/
Disallow: /forum/install/
Disallow: /forum/admin.php
Allow: /

Sitemap: https://site.com/sitemap_index.xml
Sitemap: https://site.com/forum/sitemap.php