Teşekkürler katkınız için. Ancak gereksiz kod kalabalığı olmuş. Aşağıdaki şekilde kullanılırsa da aynı işlevi sağlar:
User-agent: Googlebot
User-agent: Googlebot-Image
User-agent: Googlebot-News
User-agent: Googlebot-Video
User-agent: Googlebot-Mobile
User-agent: Mediapartners-Google
User-agent: AdsBot-Google
User-agent: AdsBot-Google-Mobile
User-agent: Applebot
User-agent: Bingbot
User-agent: msnbot
User-agent: Twitterbot
User-agent: Yandex
User-agent: DuckDuckBot
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
User-agent: ia_archiver
Disallow: /
Sitemap: https://www.siteadi.com/sitemap.xml
Daha fazla bilgi için:
https://developers.google.com/search...ots/robots_txt
Teşekkürler düzenleme için evet bu şekilde de olur. Ben LinkedIn, Twitter gibi 4-5 tane büyük siteyi incelemiştim hepsi benim yazdığım gibi ayrı şekilde yazınca öyle yapayım dedim. Bir fark olmaz tabi ama çoğunluğa uydum.