Acil Bakarmısınız ? Robots.txt Dosyası ?

Ben her ihtimale karşı

User-agent: *
Allow: /
Disallow: /*ref=*
Disallow: /*?ref=
Disallow: /wp-login.php
Disallow: /wp-admin/

Sitemap:

bu şekilde düzenledim index'in eklenmesi hiç mantıklı gelmiyor hani faydasını filan bilmediğim için o yüzden.

teşekkür ederim tüm cevap verenlere kolay gelsin. r10+ 'ları verdim.

index.php disallow olduğunda yeni yazdığınız içerikler googlede indexlenmiyor mu?

indexleniyor fakat mantık olarak wp-admin'e filan disallow yazıp indexlenmesini istemeyip

tutupta disallow diye index.php yi de eklemek hani bilmesem bile mantık olarka hatalı geliyor.

Ayrıca içeriğimi ana sayfa değil de zaten sitemap.xml ' den çekiyor google 3-4 farklı kategoriye eklediğim için .

+ olarak ana sayfam keyword kelimeler de çıkmıyor du hep alt sayfalarım çıkıyordu belki de bundan dolayıdır düzenledim şimdi bekleyip görelim.

mesela comments te disallow olarak eklenmiş mantık olarak yine hatalı bir durum bilmiyorum bide böyle deneyelim

Benim mesela siteismi.com/konu.html/feed

Bu şekilde binlerce sayfa indexlenmiş. Şimdi yasakladım bu seferde webmaster toolsta hata verdi, bu robotsu harbiden iyi ayarlamak gerekiyor.

Disallow: /*?
www.site.com/'dan sonra gelen herşeyi arama motoru botlarına engelle anlamı taşıyor hocam bu robots.txt bilinçli olarak hazırlandıysa durum vahim çok vahim

düzelttim hocam da tek kafama takılan burdaki arkadaşların anormal bir durum yok demesi.

Arkadaşım bence robots.txt dosyasına hiç gerek yok sitemap.xml en varsa yeterli olacaktır sil gitsin derim veya robots.txt dosyasını şu şekilde yapın;

Derler derler bilmeselerde biliyoruz derken.. robots.txt hazırlarken sitenizin teması sef url yapısı v.b bir çok özelligin gözden geçirilmesi lazım ha babam robots.txt hazırlanmaz.