robots.txt belli bir url'yi engelleme?

27-09-2016, 19:12:20

selam arkadaşlar belli urllerin indexlenmesini engellemek istiyorum googledan araştırdım yaptım fakat çalışmadı

User-agent: Googlebot
Disallow: /hata.html
Disallow: /blog/lol-yerlestirme-maclari-ilk-10-mac.html
Disallow: /blog/kategori/haberler.html
Disallow: /blog/kategori/genel.html
Disallow: /blog/kategori/taktikler.html  
Disallow: /tag.php?tag=LoL%20İlk%2010%20Maç
Disallow: /blog/lol-yerlestirme-maclari-ilk-10-mac.html

buradaki hata ne acaba?

27-09-2016, 20:06:35

#2

BiELOF

robots.txt ne için kullanılır?

Alıntı

Genellikle Google tarayıcısının sunucunuzu çok fazla meşgul etmesini veya tarama bütçesinin, sitenizdeki önemsiz ya da birbirine benzeyen sayfaları taramak için harcanması istemezsiniz. Bu yüzden, resim olmayan dosyalar (yani web sayfaları) için robots.txt yalnızca tarama trafiğini kontrol etmek amacıyla kullanılmalıdır. robots.txt dosyasını, web sayfalarınızı Google Arama sonuçlarından gizlemenizi sağlayan bir araç olarak kullanmamalısınız. Çünkü sayfanıza bağlantı veren başka sayfalar olabilir. Bu durumda sayfanız, robots.txt dosyasına rağmen dizine eklenebilir. Sayfanızın arama sonuçlarında görünmesini engellemek isterseniz şifre koruması veya no index etiketleri ya da yönergeler gibi başka bir yöntem kullanın.

Robots meta etiketini kullanma

Robots meta etiketi, tek bir sayfanın dizine nasıl eklenmesi ve arama sonuçlarında kullanıcılara nasıl sunulması gerektiğini kontrol etmek için ayrıntılı, sayfaya özel bir yaklaşım kullanabilmenizi sağlar. Robots meta etiketini belirli bir sayfanın <head> bölümüne şu şekilde yerleştirin:

<!DOCTYPE html> 
<html><head> 
<meta name="robots" content="noindex" /> 
() 
</head> 
<body>()</body> 
</html>

Kaynak: https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag#robots-meta-etiketini-kullanma

Yalnızca Googlebot'un sayfanızı taramasını engellemek için, etiketi aşağıdaki şekilde güncelleyin:

<meta name="googlebot" content="noindex" />

Bu etiket artık, Google'a (diğer arama motorlarına değil) bu sayfayı web arama sonuçlarında göstermemesini bildirmektedir. Hem name hem de content özelliği büyük/küçük harfe duyarlı değildir.

Eğer bahsettiğiniz belli urllerin indexlenmesini engellemek istiyorsanız sadece bahsettiğniz sayfalara no index meta etiketini ekleyebilirseniz sorunu aşabilirsiniz.

27-09-2016, 20:14:14

#3

TacerWeb

BiELOF adlı üyeden alıntı: mesajı görüntüle

robots.txt ne için kullanılır?

Robots meta etiketini kullanma

Robots meta etiketi, tek bir sayfanın dizine nasıl eklenmesi ve arama sonuçlarında kullanıcılara nasıl sunulması gerektiğini kontrol etmek için ayrıntılı, sayfaya özel bir yaklaşım kullanabilmenizi sağlar. Robots meta etiketini belirli bir sayfanın <head> bölümüne şu şekilde yerleştirin:

<!DOCTYPE html> 
<html><head> 
<meta name="robots" content="noindex" /> 
() 
</head> 
<body>()</body> 
</html>

Kaynak: https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag#robots-meta-etiketini-kullanma

Yalnızca Googlebot'un sayfanızı taramasını engellemek için, etiketi aşağıdaki şekilde güncelleyin:

<meta name="googlebot" content="noindex" />

Bu etiket artık, Google'a (diğer arama motorlarına değil) bu sayfayı web arama sonuçlarında göstermemesini bildirmektedir. Hem name hem de content özelliği büyük/küçük harfe duyarlı değildir.

Eğer bahsettiğiniz belli urllerin indexlenmesini engellemek istiyorsanız sadece bahsettiğniz sayfalara no index meta etiketini ekleyebilirseniz sorunu aşabilirsiniz.

teşekkürler fakat ben o dökümanı okudum, sayfadan bahsetmiyorum ''url''den bahsediyorum..

örneğin bir blog yazısının ftp de sayfası olmuyor..

27-09-2016, 20:17:41

#4

BiELOF

Olmayan bir sayfanın URL olur mu?

İletişim sayfanız yok ise siteisminiz com/iletisim.html diye bir link olabiliyor mu?

27-09-2016, 20:28:44

#5

TacerWeb

BiELOF adlı üyeden alıntı: mesajı görüntüle

Olmayan bir sayfanın URL olur mu?

İletişim sayfanız yok ise siteisminiz com/iletisim.html diye bir link olabiliyor mu?

olur tabii veri tabanında kayıtlı bir içerik ise olur, etiketler, blog yazıları...

27-09-2016, 20:35:22

#6

BiELOF

Bence kafan biraz karışmış. Bi cigara yok bir 10-15 dakika mola ver.

Disallow: /blog/lol-yerlestirme-maclari-ilk-10-mac.html

Eğer Yerleştirme Maçları İlk 10 ile ilgili bir etiket, sayfa, yazı v.s. yok ise bu şekilde link olmaz. Bununla ilgili bir yazı, etiket veya kategori artık ne varsa o yüzden Link vardır.
siteismin com/blog/lol-yerlestirme-maclari-ilk-10-mac.html

Disallow: /blog/kategori/haberler.html

Eğer sitende HABERLER kategorisi olmasaydı bu şekilde link olmadı.

Olmayan LİNK zaten 404 hata sayfası demektir.
Çünkü böyle bir etiket, sayfa, yazı veya adına ne dersen bununla ilgili bir şey olmadığında ZATEN URL LİNKİ olmaz.

BLOG denilince bir çok kişinin kafası mı karışıyor.

Not: Son yazımdı. Belki konu üste çıkınca birisi okur yardım eder. Ben anlatamadım olayı. Yada ben anlamadım