ARkadşalar forumda robotla ilgili konuları okudum google'ın hangi sayfanızı indexlemesini isteiyorsanız yazıyorsunuz vs.
GEnerator yazdım genelde sitemap generator falan çıktı. Bir internet sayfasında aşağıdaki kodlar sayfada bulunuyor normalde metalar hakkında bilgim var fakat bu ikisini bilmiyorum(generator ve robot)
<meta name="robots" content="index,follow" />
Bu tag, arama motorlarına site içeriği ile karşılaştıklarında nasıl davranmaları gerektiğini anlatıyor. Virgülün solundaki ifade sayfanın indekslenip indekslenmeyeceğine karar verilmesini sağlarken, sağındaki ifade sayfadaki linklerin takip edilip edilmeyeceğini belirtiyor. İndeksleme için seçenekler index (indeksle) ve noindex (indeksleme). Linklerin izinin sürülmesi ile ilgili seçenekler de follow (takip et), nofollow (takip etme) şeklinde. Bu tag özellikle indekslenmesini istemediğiniz bir sayfa varsa önem kazanıyor, çünkü robotlar sadece noindex değerini dikkate alıyorlar ve bu değer yoksa öntanımlı olarak siteyi indeksleyip linkleri de takip ediyorlar. Web sitenizdeki bir sayfanın indekslenmesini istemiyorsanız o sayfaya:
<meta name="robots" content="noindex,nofollow" />
Şeklinde bir tag yerleştirmeniz bunu sağlayabiliyor. Seçeneklerden sadece birer tanesi kullanılabiliyor. Örneğin;
<meta name="robots" content="index,noindex,follow,nofollow" />
dikkate alınmıyor. Bu kodun alternatifi ise robots.txt dosyası kullanmaktır, detaylı bilgiye buradan ulaşabilirsiniz.
Alıntı
Generator
<meta name="generator" content="Blogger" />
Site içeriğinin (HTML kodunun) hangi yazılım ile oluşturulduğu hakkında bilgi veriyor. Bu yazılımların popülerliği hakkında pazar araştırması oluşturmak için ortaya çıkarıldığı düşünülüyor Blogger’da öntanımlı meta bilgisi içerisinde MSSmarttagsPreventParsing ile birlikte mutlaka bulunuyor.