Sayfa İndexlenmesini nasıl engellerim ?

Merhaba arkadaşlar dün açmış olduğum sitem hemen index aldı ve ben sitemde burçları çekiyorum. google burçlarıda çekmiş bunu nasıl engellerim ben sadece sayfaları,konuları felan çekmesini istiyorum örneğin google böyle çekiyor

sizce böyle burçları çekmesi iyimi kötümü ?

Robots.txt dosyanızda indexlenmesini istemediğiniz uzantıyı disallow edebilirsiniz.

onu nasıl yapabilirim ? Birde engellersem zararı olurmu çünkü site daha yeni indexlenme ye başladı ??

User-agent: Googlebot
Disallow: /*?

not: bu herşeyi engeller tam okumadım k.bakmayın

buyurun hocam ama çok sıkıntı yaşarsınız söyleyeyim.

Hocam ben herşeyi niye engellim zaten site yeni maksat ordaki burçlarda linkler kötü duruyor onun için

https://support.google.com/webmaster...r/156449?hl=tr

burası yardımcı olacaktır o zaman

Robots.txt dosyasını kullanarak sayfaları engelleme veya kaldırma

Googlebot'un sitenizdeki sayfaları taramasını önlemek için bir robots.txt dosyası kullanabilirsiniz.

Örneğin, robots.txt dosyasını el ile oluşturuyorsanız, Googlebot'un belirli bir dizindeki (örneğin lemurlar) tüm sayfaları taramasını önlemek için aşağıdaki robots.txt girişini kullanırsınız:

User-agent: Googlebot
Disallow: /lemurlar

Googlebot'un belirli bir dosya türündeki (örneğin .gif) tüm dosyaları taramasını engellemek için aşağıdaki robots.txt girişini kullanabilirsiniz:

User-agent: Googlebot
Disallow: /*.gif$

Googlebot'un ? içeren URL'leri taramasını engellemek için (daha açık belirtmek gerekirse, etki alanı adınızla başlayan ve ardından herhangi bir dize, bir soru işareti ve herhangi bir dize gelen URL'leri) taramasını engellemek için):

User-agent: Googlebot
Disallow: /*?

robots.txt tarafından engellenen içerik sayfalarını taramamamıza veya dizinlerini oluşturmamamıza karşın, bunları web üzerindeki diğer sayfalarda bulduğumuz takdirde URL'leri tarayıp dizinlerini oluşturabiliriz. Sonuç olarak, sayfanın URL'si ve büyük olasılıkla herkesin kullanımına açık olan site bağlantılarındaki metin veya Açık Dizin Projesi'nden bir başlık gibi (www.dmoz.org) diğer bilgiler Google arama sonuçlarında görünebilir. Ancak, sayfalarınızın hiçbir içeriği taranmaz, dizine eklenmez veya görüntülenmez.

Bir sayfanın, başka sitelerde bu sayfa için bağlantı olsa bile Google dizinine eklenmesini bütünüyle önlemek için bir noindex meta etiketi kullanın ve sayfanın robots.txt dosyasında görünmemesini sağlayın. Googlebot sayfayı taradığında, noindex meta etiketini tanır ve URL'yi dizinden çıkarır.

Kaynak