sayfalar varsa, burada hariç tutulan sayfaların listesi ve neden hariç tutulduğu hakkında bilgi bulabilirsiniz.
URL İncelemesi: URLlerinizi manuel olarak Search Consoledan URL İnceleme aracıyla kontrol edebilir ve Dizine ekleme isteği yapabilirsiniz
Robots.txt Dosyası: Sitenizin kök dizinindeki robots.txt dosyasında Disallow: / gibi ifadeler varsa, Google botlarının sitenizi taraması engelleniyor olabilir. robots.txt dosyasını kontrol edin ve gerekirse düzenleyin.
Noindex Etiketi: Sayfalarınızın HTML kodunda <meta name="robots" content="noindex"> etiketi varsa, bu sayfalar Google tarafından dizine eklenmez. noindex etiketi olmadığından emin olun.
User-agent: PetalBot
User-agent: AspiegelBot
User-agent: AhrefsBot
User-agent: SemrushBot
User-agent: DotBot
User-agent: MauiBot
User-agent: MJ12bot
User-agent: Amazonbot
Disallow: /threads/*/reply
User-agent: *
Disallow: /whats-new/
Disallow: /account/
Disallow: /hesap/
Disallow: /members/
Disallow: /kullanicilar/
Disallow: /attachments/
Disallow: /goto/
Disallow: /posts/
Disallow: /login/
Disallow: /admin.php
Disallow: /help?*
Disallow: /yardim?*
Disallow: /search/
Disallow: /arama/
Disallow: /misc/
Disallow: /install/
Disallow: /admin.php
Disallow: /yonlendirme?*
Disallow: /yonlendirme*
Disallow: /misc/cookies*
Allow: /
bunlar mevcud evet