Herkese merhaba sevgili r10 üyeleri. Sizlere bu konuda arama motorlarının sitenizi indexleme konusunu anlatacağım. Bazı forum sahipleri robots.txt dosyasını genelde unutuyorlar veya içini eksik hatalı bir şekilde bırakıyorlar. Bu dosyanın önem taşıdığını unutmamak gerekir. Forum siteniz için ideal bir robots.txt dosyasını şöyle paylaşayım:

HTTP kullanıyorsanız:
User-agent: *
Disallow: /*ref=*
Disallow: /*?ref=
Disallow: /goto/
Disallow: /misc/
Disallow: /posts/
Disallow: /help/
Disallow: /members/
Disallow: /account/
Disallow: /find-new/
Disallow: /admin.php*
Disallow: /misc/style*
Disallow: /attachments/
Disallow: /profile-posts/
Disallow: /misc/language*
Disallow: /misc/quick-navigation-menu*

Allow: /

Sitemap: http://www.siteadresiniz.com/sitemap.php
HTTPS kullanıyorsanız:
User-agent: *
Disallow: /*ref=*
Disallow: /*?ref=
Disallow: /goto/
Disallow: /misc/
Disallow: /posts/
Disallow: /help/
Disallow: /members/
Disallow: /account/
Disallow: /find-new/
Disallow: /admin.php*
Disallow: /misc/style*
Disallow: /attachments/
Disallow: /profile-posts/
Disallow: /misc/language*
Disallow: /misc/quick-navigation-menu*

Allow: /

Sitemap: https://www.siteadresiniz.com/sitemap.php
Not: forum siteniz forum klasöründe bulunuyorsa, Sitemap kısmındaki adres satırına /forum/ eklemeyi unutmayınız.

Buradan istemediğiniz bölümlere disallow ekleyerek index almasının önüne geçebilirsiniz.

Eğer ki, routes yani rota filtreleri bölümünden URL önek değişikliği yaptıysanız misal members'ı, uyeler yaptınız diyelim. İzinlerden açık dışarıya ama siz indexlenmesin istiyorsunuz, disallow kısmına:

Disallow: /uyeler/ olarak da ekleyebilirsiniz. Diyelim ki, Google'da siteniz içeriklerinin /posts/ veya /mesaj/ olarak index aldığını gördünüz. Bunu da dediğim gibi engelleyebilirsiniz.

Robots.txt dosyası çok önemlidir ve belki burada paylaştığım şeyler size lazım olabilir. Hepinize kolay gelsin.

İlginizi çekebilecek diğer konular:
https://www.r10.net/xenforo/1362995-...if-edilir.html
https://www.r10.net/xenforo/1363059-...yakalamak.html
https://www.r10.net/xenforo/1175336-...ngelleyin.html
https://www.r10.net/xenforo/1588635-...e-xenforo.html