Robots.txt Uzmanlarına Soru

Sadece tek sayfadan(anasayfa) oluşan bi sitemiz olduğunu düşünürsek sizce bu hakkımızda iletişim gibi sayfaları indexlemeye kapatmalı mıyız?

Hayır. Özgün içerikten oluşur o sayfalar genelde, neden siteye olumlu bir özgünlük kriteri kazandıracak sayfaları kendi elinizle kapatasınız?

İletişim,Hakkımızda,Gizlilik Politikası,Çerez vb sayfaları oluşturmak hem kurumsallık açısından hem de arama motorları açısından fayda sağlayacaktır.

Peki tek sayfadan oluşan siteler için sizce robots.txt veya sitemap koymaya gerek var mıdır?

Sitemap ve robots.txt dosyaları arama motorlarından gelen botlara url yollarını gösterir. Eklemekte fayda olur tabi ki.

Yönergelerden baktığım kadarıyla robots.txt ve sitemap.xml aşağıdaki şekilde oluşturdum. Bu şekilde kullanımları doğru mudur sizce? Sayfamda güncelleme olmayacağı için <changefreq> eklemedim. Bu hakkimizda iletişim gibi sayfaların priority lerinin 0.80 olması doğru mudur emin değilim.

Robots.txt

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Sitemap.xml

<?xml version="1.0" encoding="UTF-8"?>
<urlset
xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://www.sitemaps.org/schemas/sitemap/0.9
http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd">

<url>
<loc>https://example.com/</loc>
  <lastmod>2022-05-24T15:10:57+00:00</lastmod>
  <priority>1.00</priority>
</url>
<url>
  <loc>https://example.com/Hakkimizda</loc>
  <lastmod>2022-05-24T15:10:57+00:00</lastmod>
  <priority>0.80</priority>
</url>
<url>
  <loc>https://example..com/Iletisim</loc>
  <lastmod>2022-05-24T15:10:57+00:00</lastmod>
  <priority>0.80</priority>
</url>
<url>
  <loc>https://example.com/Gizlilik</loc>
  <lastmod>2022-05-24T15:10:57+00:00</lastmod>
  <priority>0.80</priority>
</url>


</urlset>

Kesinlikle gerek var.

Kötü niyetli botlara komut vermese de iyi niyetli ve faydalı botların işini kolaylaştırdığından mutlaka konulmalı derim. (Not: Konulmasa da onlar zaten buluyor)

Robots.txt'deki "Disallow" ile sayfanın meta'sındaki "noindex" etiketi farklı şeylerdir, robots.txt'de sayfaya disallow yapsanız gene de index'te çıkacaktır, ancak boş bilgi ile. Sayfanın index'lemesini engellemek istiyorsanız noindex yapın. Gizlilik politikası vb. sayfalara noindex eklemelisiniz, index almayabilir ancak google yine tarayacaktır. Hakkımızda, iletişim sayfaları markayı aratınca genelde ana sayfanın linkinin altında çıkıyorlar, yani kullanıcılar için yararlıdır, çünkü hemen kim olduğunuzu öğrenmek isteyecektir, ya da hemen iletişime geçmek isteyecektir.