Robots.txt dosyası

Merhabalar

Şimdi robots.txt baktımda aşağıdaki gibi sizce bu robots.txt dosyası doğru mu?


User-agent: *
Allow: /wp-admin/admin-ajax.php
Disallow: /forum/
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /trackback
Disallow: /comments
Disallow: /feed
User-agent: AhrefsSiteAudit
Allow: /

User-agent: AhrefsBot
Allow: /

User-agent: Googlebot
Disallow: /wp-includes/
Disallow: /tag/*
Disallow: /category/
Disallow: /archives/
Disallow: /comments/feed/
Disallow: /trackback/
Disallow: /index.php
Disallow: /xmlrpc.php
Disallow: *?wptheme
Disallow: ?comments=*
Disallow: /search?
Disallow: /?p=*
Disallow: /*page/*
Disallow: */trackback
Disallow: *?replytocom
Disallow: /*/feed
Disallow: /category/*/*
Disallow: /*?*
Disallow: /*?

Sitemap: https://xxxxxx.com/sitemap_index.xml

disallow ile işaretlediğiniz kısımlar indexlenmesin istiyorsanız doğru.
AhrefsBot her yeri tarayabilir,

Öncelikle ilginiz için teşekkür ederim. Hocam normal wordpress bir site için disallow yazan kısımlar olması gerektiği gibi mi sizce?

Aşağıdaki gibi default bir robots.txt yeterli hocam. Ben aşağıdaki robots'u kullanıyorum

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://emirkandamar.com/sitemap_index.xml

Hocam bende normalde böyle kullanıyorum ama bu şekilde nasıl oldu bende anlamadım. Rank match SEO ayarı yapmıştık sanırım o ekledi bunları

Arşiv, kategori, etiketleriniz google tarafından taranmıyor bu robots'a göre. Aşağıdaki araçtan bir test edin isterseniz

https://www.google.com/webmasters/to...ign=%206062598