En üste User-agent: * yazmışsın. Bu tüm robotlar anlamına gelir. Tüm robotlar aşağıdaki yönergelere uysun demek. Sonra altına
Bazı robotların bazı yerelere erişmemesi için tekrar User-agent: -robot ismi- yazabilirsin sonra bunun altına da izin vermeyeceğin disallow yapacağın dizinleri yazabilirsin.
Yani seninkinde User-agent: Mediapartners-Google* bu robota izin vermek istiyorsan zaten en üstte vermişsin. Yok buna izin vermek değilse amacın bunun altna disallow şekline yerler belirtmelisin. O orada gereksiz kalmış gibi.
tekrardan teşekkür ederim hocam şimdi anladım o zaman bu anlatımına göre aşağıdaki robot.tex hazırladım şimdi var mı bir sorun sence?
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-content/plugins/
Disallow: /wp-includes/
Disallow: /readme.html
Disallow: /wp-includes/js
Disallow: /forum/whats-new/
Disallow: /forum/find-new/
Disallow: /forum/members/
Disallow: /forum/account/
Disallow: /forum/attachments/
Disallow: /forum/goto/
Disallow: /forum/posts/
Disallow: /forum/login/
Disallow: /forum/online/
Disallow: /forum/admin.php
Disallow: /forum/threads/*/reply
Disallow: /forum/help?*
Disallow: /forum/misc/
Disallow: /forum/install/
Disallow: /forum/admin.php
Allow: /
Sitemap:
https://site.com/sitemap_index.xml
Sitemap:
https://site.com/forum/sitemap.php