seoteknikleri'nin robots.txt si?

20-10-2009, 11:57:26

Kimlik doğrulama veya yönetimden onay bekliyor.

robots.txt dosyası ile ilgili biraz bakayım dedim sonra 4 günden beri indexlenmeyen blogumun GOOGLE SİTE MAP (WordPress › Google XML Sitemaps WordPress Plugins ) tarafından oluşturulan sanal robots.txt dosyasının
User-agent

Disallow: /
oldugunu ve bunun arama motorlarının siteme girmesini engellediğini öğrendim.
robots.txt dosyası ne işe yarar? Acemi Blogcu
ve
robots.txt dosyasınındaki ayarların önemli oldugunu yapılan kısıtlamaların google daki "double content" olayını engellediğini gördüm.
bende örnek bir robots.txt bulmak ümidiyle seoteknikleri.com a girip baktıgımda robots.txt dosyasının

Alıntı

User-agent: Googlebot (ben blogumda burayı "*" olarak bıraktım"
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /archives/
Disallow: /index.php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
Disallow: /page/
Disallow: /tag/
Disallow: /category/
User-agent: Googlebot-Image
Disallow: /wp-includes/
User-agent: ia_archiver
Disallow: /
User-agent: duggmirror
Disallow: /

gibi oldugunu gördüm bende bunu 2 blogumuda uyguladım.? Acaba doğru mu yaptım, bu konuda bilgili arkadaşların yorumlarını bekliyorum?

20-10-2009, 12:34:25

#2

WebMad

whoyouare adlı üyeden alıntı: mesajı görüntüle

robots.txt dosyası ile ilgili biraz bakayım dedim sonra 4 günden beri indexlenmeyen blogumun GOOGLE SİTE MAP (WordPress › Google XML Sitemaps WordPress Plugins ) tarafından oluşturulan sanal robots.txt dosyasının
User-agent

Disallow: /
oldugunu ve bunun arama motorlarının siteme girmesini engellediğini öğrendim.
robots.txt dosyası ne işe yarar? Acemi Blogcu
ve
robots.txt dosyasınındaki ayarların önemli oldugunu yapılan kısıtlamaların google daki "double content" olayını engellediğini gördüm.
bende örnek bir robots.txt bulmak ümidiyle seoteknikleri.com a girip baktıgımda robots.txt dosyasının
gibi oldugunu gördüm bende bunu 2 blogumuda uyguladım.? Acaba doğru mu yaptım, bu konuda bilgili arkadaşların yorumlarını bekliyorum?

2 oldu konu açmışsın bence tam olarak sorununu tek konuda anlat orda çözelim parçalıyorsun sorununuda tam olarak anlayamıyoruz...

Buna gelirse bence şöyle yap kalsın
User-agent: *
Allow: /

kafana göre temalarıda allow yapabilirsin

20-10-2009, 12:53:42

#3

whoyouare

ilk sorunum farklıydı hocam, yine de teşekkürler...

WebMad adlı üyeden alıntı: mesajı görüntüle

Buna gelirse bence şöyle yap kalsın
User-agent: *
Allow: /
kafana göre temalarıda allow yapabilirsin

işte bu şekilde robots.txt yapıp bırakırsak "double content" sorunu cıkabiliyorMUŞ... Bu işi bilen arkadaşlar varsa bi zahmet yanıtlasınlar....
şimdiden teşekkürler

20-10-2009, 12:58:40

#4

archslayer

User-agent: ia_archiver
Disallow: /
bunun gereği olduğunu sanmıyorum,sitenin archive.org da kaydının alınmasını engellemek gereksiz bence.

Disallow: /tag/
Disallow: /category/
eğer genel içerikli bir blogsa bunları engellemekte pek faydana olmayacaktır,ne bloglar var sadece tag sayfalarından googledan bir sürü hit alıyorlar.

20-10-2009, 13:01:15

#5

whoyouare

archslayer adlı üyeden alıntı: mesajı görüntüle

User-agent: ia_archiver
Disallow: /
bunun gereği olduğunu sanmıyorum,sitenin archive.org da kaydının alınmasını engellemek gereksiz bence.
Disallow: /tag/
Disallow: /category/
eğer genel içerikli bir blogsa bunları engellemekte pek faydana olmayacaktır,ne bloglar var sadece tag sayfalarından googledan bir sürü hit alıyorlar.

Alıntı

User-agent: ia_archiver
Disallow: /

evt bu bencede gereksiz benim bloguma göre kaldırayım.

Alıntı

Disallow: /tag/
Disallow: /category/
eğer genel içerikli bir blogsa bunları engellemekte pek faydana olmayacaktır,ne bloglar var sadece tag sayfalarından googledan bir sürü hit alıyorlar.

sitem genel içerikli değil, yani tek bir konuya odaklı acaba kaldırmamamın bi faydası olur mu? Diğer izinler doğru mu?

20-10-2009, 13:03:18

#6

winnt

Kimlik doğrulama veya yönetimden onay bekliyor.

Alıntı

User-agent: Googlebot (ben blogumda burayı "*" olarak bıraktım"

* karakteri kullanırsan ve aynı zamanda Adsense kullanıyorsan reklamlar görünmeyecektir. Googlebot şeklinde olsun.

20-10-2009, 22:47:27

#7

whoyouare

winnt adlı üyeden alıntı: mesajı görüntüle

* karakteri kullanırsan ve aynı zamanda Adsense kullanıyorsan reklamlar görünmeyecektir. Googlebot şeklinde olsun.

adsense kullanmıyorum hocam, uyarın için teşekkürler.

Şimdi ben robots.txt mi değiştirdim ancak GOOGLE WEBMASTER TOOLS da hala

Alıntı

User-agent: *
Disallow: /

şeklinde görünüyor. Ve bu kodda googlebot unun siteme girmesini engelliyor.
Sitemin şuandaki kendi robots.txt si

Alıntı

User-agent: Googlebot (ben blogumda burayı "*" olarak bıraktım"
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /archives/
Disallow: /index.php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
Disallow: /page/
Disallow: /tag/
Disallow: /category/

User-agent: Googlebot-Image
Disallow: /wp-includes/

User-agent: duggmirror
Disallow: /

şeklinde....

Google webmaster tool hala eski robots.txt görüyor galiba buda sitemap te

Alıntı

robots.txt tarafından kısıtlanan URL
Site Haritanıza erişmeye çalışırken bir hatayla karşılaştık. Lütfen Site Haritanızın yönergelerimize uygun ve belirttiğiniz yerde erişilebilir olmasını sağlayın ve yeniden gönderin.

bu soruna yol açıyor. Nasıl olacak, yani ne zaman bu düzelir geçici bir durum mudur?

Şimdiden teşekkürler....

20-10-2009, 22:57:42

#8

~~yagityagel~~

Üyeliği durduruldu

Tag kaldirma negatife olur..

20-10-2009, 23:01:57

#9

winnt

Alıntı

Disallow: /tag/
Disallow: /category/
eğer genel içerikli bir blogsa bunları engellemekte pek faydana olmayacaktır,ne bloglar var sadece tag sayfalarından googledan bir sürü hit alıyorlar.

arkadaşın dediği gibi hit geliyor kategori ve etiketlerden. ben bütün sitelerimde şu şekilde kullanıyorum.

Alıntı

User-agent: *
Disallow:

seo tekniklerinin listesi kendine göre. çok fazla takmamak gerek bu konuyu. önemli olan içerik.