Merhaba arkdaşlar robots.txt dosyasına ihtiacım var nasıl bişey hazırlayabilirim? şuan ki kullandığım şu şekilde

User-agent: * 
Disallow: /admincp/
Disallow: /includes/
Disallow: /modcp/
Disallow: /customavatars/
Disallow: /images/
Disallow: /clientscript/
Disallow: /ajax.php
Disallow: /attachment.php
Disallow: /calendar.php
Disallow: /cron.php
Disallow: /editpost.php
Disallow: /global.php
Disallow: /image.php
Disallow: /inlinemod.php
Disallow: /joinrequests.php
Disallow: /login.php
Disallow: /moderator.php
Disallow: /newattachment.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /poll.php
Disallow: /postings.php
Disallow: /printthread.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /subscription.php
Disallow: /threadrate.php
Disallow: /usercp.php
Disallow: /usernote.php
Disallow: /member.php
Disallow: /vaispy.php
Disallow: /showpost.php
Disallow: /misc.php

mesela frmtr.com'da böyle kullanmış. bu daha mı faydalı? veya başka varmı iyi yararlı birşey.

User-agent: *
Allow: /

User-agent: *
Disallow: /?ref=

User-agent: BoardReader
Disallow: /

User-agent: Yandex
Disallow: /

user-agent: AhrefsBot
disallow: /

Bana yardımcı olabilecek varmı nasıl yapayım?