Robots.txt'te yapabileceğiniz bazı yenilikler

03-09-2007, 20:43:31

Google içeriğinizi tanımlama aşamasında yararlandığı en büyük araçlardan biri robots.txt. Bu yüzden google googlebotun tanımlayabileceği yeni tagler çıkarmış.
1. Örneğin sitenizin tüm sayfalarının googlebot tarafından tranabilmesini ancak yeni eklediğiniz /resim klasörünün taranmamasını istiyorsunuz. Bunun için tekrar Sitemap hazırlamanıza gerek yok.

disalow resim
user-agent: *
Disallow:
sitemap: http://www.örnek.com/sitemap.xml

yaparak googlebotun sitemapinize bu durumu bildirmesini sağlayabilirsiniz.
Webmaster Central da şöyle bir ekran göreceksiniz.

2. Yeni olarak "unavailable_after" şeklinde bir tag oluştuldu. Örneğin bir kampanya yappıyorsunuz ve bu kampanya 31 Aralık 2007de bitiyor. Bunun için hazırladığınız sayfanın bu tarihten sonra indexlenmemesini istiyorsunuz.
Hazırladığımız sayfanın meta tag bölümüne

<META NAME="GOOGLEBOT"
CONTENT="unavailable_after: 31-Dec-2007 23:59:59 EST">

yazarak bunu engelleyebilirsiniz.
Eğer bir web sayfası değilse pdf, doc gibi bir dosya ise

X-Robots-Tag: unavailable_after: 31 Dec
2007 23:59:59 EST

tagını kullanabilirsiniz

03-09-2007, 21:46:52

#2

Tobin

iyi de zaten böle bişe vardı. yani yeni değil ki

03-09-2007, 21:49:01

#3

doink

http://googlewebmastercentral.blogsp...meta-tags.html

15 Ağustos 2007

03-09-2007, 22:10:52

#4

Tobin

doink adlı üyeden alıntı: mesajı görüntüle

Official Google Webmaster Central Blog: New robots.txt feature and REP Meta Tags

15 Ağustos 2007

arada fark varmı?? bu kaç sene önce bilinen bişe idi.
hani evirilip çevirip aynı kapıya çıkılıyor

03-09-2007, 22:38:01

#5

doink

expires ile sayfanızın işlevselliğini yitirdiğini ve silinebileceğini belirtirsiniz. unavailable_after ile ise googlebotun tekrar tekrar crawler ile indexlemeye çalışmasını engellersiniz. sayfanız silinmez ancak google bot daha fazla crawl yapmaz.

03-09-2007, 22:46:46

#6

Tobin

doink adlı üyeden alıntı: mesajı görüntüle

expires ile sayfanızın işlevselliğini yitirdiğini ve silinebileceğini belirtirsiniz. unavailable_after ile ise googlebotun tekrar tekrar crawler ile indexlemeye çalışmasını engellersiniz. sayfanız silinmez ancak google bot daha fazla crawl yapmaz.

kampanyanın günün dolması ile sayfanın bi önemli kalmayacağı yani taranmaması pek bi önemli değil yani silinmesi de aynı taranmaması da aynı. zaten aramalarda çıkmasını istemiyorsun ki.

ama şunu fark etmen lazım benim verdiğim tag da belirtiğin özel güne yaklaştıkça sayfanın önemini google artırır ve yukarı çıkmasını sağlar

sence hangisi daha yararlı?

03-09-2007, 22:54:19

#7

doink

Anlamsız bir tartışma sanırım. Bir Sunucu satıcısı yaptığı kampanyanın silinmesini mi ister yoksa bir köşede durmasını mı? Expires ile unavailable_after farkı olduğu açık.

Expires'ın öyle bir özelliği olduğunu sanmıyorum. Hiç duymadım. Kaynak gösterirsen biz de öğrenmiş olurum

12-09-2007, 22:56:09

#8

diskjokey85

ben herhangi bir sayfayı engelemeyeceksem yani tüm heryere girip çıkması istiyorsam ne yapmalıyım robots.txt yi boşmu atmalıyım yoksa hiç atmamalımıyım..?

01-10-2007, 00:08:37

#9

sser

Google Webmaster Tools bölümünde sitemap.xml dosyasını daha önce ekledim. Sit sayfalarım indexlendi.
ANCAK
sitemap.xml dosyamı yeniden hazırladım hosta attım. google webmaster tools da Seçileni yeniden gönder dedim. Kısa bir süre sonra kontrol ettiğimde Site haritası durumu HATALAR veriyor, tıkladığımda aşağıdaki metin çıkıyor.

Ağa ulaşılamıyor: robots.txt dosyasına ulaşılamıyor
Site Haritanıza erişmeye çalışırken bir hatayla karşılaştık. Lütfen Site Haritanızın yönergelerimize uygun ve belirttiğiniz yerde erişilebilir olmasını sağlayın ve yeniden gönderin. [?]

Oysaki Site hostumda robot dosyası var.

Yardım edermisiniz.