Web Sitelerinde Robots.txt Dosyasının Önemi (SEO Rehberi)

Web sitenizin Google’da üst sıralara çıkmasını istiyorsanız, sadece içerik üretmek yetmez. Arama motorlarının sitenizi nasıl taradığını da doğru yönetmeniz gerekir. İşte tam bu noktada devreye robots.txt dosyası girer.
Bu yazıda, robots.txt dosyasının ne işe yaradığını ve neden kritik olduğunu;
palmiyeahsapdekorasyon.com,
otelmobilyalar.com ve
otelmobilyalar.com.tr
örnekleri üzerinden anlatıyoruz.
Robots.txt Nedir?

Robots.txt, web sitenizin kök dizininde bulunan (örn: siteadi.com/robots.txt) bir metin dosyasıdır.
Arama motoru botlarına şu komutları verir:
  • Hangi sayfaları tarayabilir
  • Hangi sayfaları tarayamaz
  • Site haritası (sitemap) nerede
Yani kısaca:
👉 Google botlarına yol haritası sunar


Robots.txt Neden Bu Kadar Önemli?

1. Crawl Budget (Tarama Bütçesi) Yönetimi


Google sitenize sınırsız zaman ayırmaz. Robots.txt ile:
  • Gereksiz sayfaları kapatırsınız
  • Önemli sayfaların daha hızlı indexlenmesini sağlarsınız
Örnek:

Disallow: /wp-admin/
Disallow: /cgi-bin/

2. SEO Performansını Artırır


Yanlış yapılandırılmış bir robots.txt:
❌ Tüm sitenizi index dışı bırakabilir
❌ Önemli sayfaları gizleyebilir
Doğru yapılandırma ise:
✅ Kategori sayfalarını öne çıkarır
✅ Ürün sayfalarını güçlendirir
✅ SEO performansını artırır

3. Gereksiz İçerikleri Gizler


Özellikle WordPress sitelerde:
  • /wp-admin/
  • /wp-includes/
  • filtre URL’leri
  • parametreli linkler
Google için gereksiz içeriktir.
Robots.txt ile bunları kapatabilirsiniz.
Örnek Siteler Üzerinden Robots.txt Kullanımı

🔹 palmiyeahsapdekorasyon.com


Bu site, otel mobilyaları ve proje bazlı üretim üzerine kurulu.
👉 Robots.txt ile:
  • Proje sayfaları açık tutulmalı
  • Admin ve sistem klasörleri kapatılmalı

🔹 otelmobilyalar.com


Daha geniş ürün ve içerik yapısına sahip.
👉 Öneri:
  • Blog içerikleri indexlenmeli
  • Filtreli URL’ler engellenmeli

🔹 otelmobilyalar.com.tr


SEO açısından kritik bir domain.
👉 Robots.txt ile:
  • Sitemap mutlaka eklenmeli
  • Kategori sayfaları açık olmalı
  • Gereksiz parametreler engellenmeli
Örnek Robots.txt Dosyası (WordPress)

Aşağıdaki yapı çoğu WordPress sitesi için idealdir:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Disallow: /wp-includes/
Disallow: /cgi-bin/

Sitemap: https://siteadi.com/sitemap.xml



En Sık Yapılan Hatalar

❌ Tüm siteyi kapatmak:

Disallow: /

❌ Sitemap eklememek
❌ Önemli sayfaları yanlışlıkla engellemek
❌ Robots.txt ile index kontrol etmeye çalışmak (yanlış yöntem)
Profesyonel SEO İçin Robots.txt Stratejisi

Eğer hedefiniz:
  • Google’da üst sıralar
  • Daha hızlı index alma
  • Daha güçlü SEO
ise robots.txt şu şekilde kullanılmalı:
✔ Gereksiz sayfaları kapat
✔ Değerli sayfaları açık bırak
✔ Sitemap ekle
✔ Düzenli kontrol et
SONUÇ

Robots.txt küçük bir dosya gibi görünse de:
👉 SEO’nun temel yapı taşlarından biridir
Özellikle
palmiyeahsapdekorasyon.com,
otelmobilyalar.com ve
otelmobilyalar.com.tr
gibi rekabetçi sektörlerde faaliyet gösteren siteler için kritik öneme sahiptir.