Bir sayfanın tüm robotlar tarafından indekslenmesini engellemek

bu şekilde hiç kullanmadım ama mantık olarakda doğru olan Disallow: /*?yer= budur şayet böyle engelleme yapılıyorsa.

Cevaplar için teşekkürederim. Sabah yapmıştım sonucuca bakacagız artık.

Sitemap daki "priority" etiketi nin anlamı adreslerin işlenme sıralamasını belirtmemize yarıyor. Yani sık güncellen sayfalarımıza priority değerini yüksek veriyoruz. Güncellenmeyen sayfalara ise priority değeri düşük verilir. Bölelikle google bot sitemap daha çok sever ve önceliğe göre indexler v.s.
Senin inceleyecegin etiketler
priority : 0.0 1.0 aralığında rakamlar
changefreq : gün, ay, yıl
Sayfalarına öncelik verirsin belki işine yarar daha detaylı bilgiyi google de bulabilirsin.
hoşcakal.

Peki sitemin sayfaları tamamen silinmiş durumda ama google bunları hala armalarda gösteriyor..

Silinmiş bir sayfayı google'nin hafızasından nasıl silebiliriz...?

evet sitemap o şekilde ayarlı zaten ama. gereksiz yerleride indexliyor veya içerik aynı ama sayfanın teması değişiyor veya hava durumu listeleniyor ufak bir alanda onuda indexliyor. Kısaca ne var ne yok indexliyor. toplam sayfa 50 tane diyelim ama 600 tane index var robot.txt yaptım ama halen bir sonuc yok. Olmazsa kotlamayı değiştirecem. bu tip şeyleri query değilde cookie atacam o şekilde okucam veya session.

Arkadaşlar gereken yanıtı vermişler fakat birde ben teyit geçeyim Robots sayfasına şunu eklemeniz yeterli olacaktır :

Disallow: /*?yer=

Tabi bunu robots.txt dosyanızda 2 şekilde de belirtmeniz gerekli. Yani:

User-agent: *
Disallow: /default.aspx?yer=

User-agent: Googlebot
Disallow: /*?yer=

Bunun nedeni diğer botlar * parametresini algılayamıyorlar. bu sebeple user-agent: * ile googlebot hariç diğer botlara default.aspx?yer= ile başlayanlara indeksleme demiş oluyorsunuz. Bu detayların atlanmaması gerekli.

Ek olarak sedathut un sorduğu "Silinmiş bir sayfayı google'nin hafızasından nasıl silebiliriz...? " sorusunun cevabı ise:

Öncelikle silmek istediğiniz sayfaların disallow ile robots.txt den ayarını yapıyorsunuz.

User-agent: *
Disallow: /busayfasilinecek1.html
Disallow: /busayfasilinecek2.html

Ardından google webmasters tools üzerindeki url kaldırma aracını kullanıcaksınız. 1-2 güne indeklerden silindiğini göreceksiniz.

@pastelrenk;
session ve cookie yi nereye atıyacaksın. Yani google botu tanıma amaçlımı yapacaksın tam olarak anlayamadım.Ama php ile geliştirilebilir. "QUERY_STRING" ile adresleri çekersin

$text = $_SERVER['QUERY_STRING'];
$veri = implode(' ', $_GET);
if(preg_match( "#?yer|?yerler|?adres#si",  $veri))
{
//dosya işlemleri ile robots.txt eklerin v.s.
}

Bu şekilde olabilir gibi geldide paylaşmak istedim.Belki sende biliyorsundur.Ama büyük bir sunucuda oldukça kasar. Daha iyi bir fikir geliştirmen lazım bence veyahutda bunun daha kolay bir çözümü olmalı.Bu arada neden bu kadar önemli indexlesin ne olucakki Spammı yapıyorsun yahuu :P

Mesela hava durumunu sağ veya sol sutunda gösteriyorum. Doğal olarak ordan ili değiştirdikleri zaman Querystring ile alıyor il degerini. ne kadar il varsa google hepsini indexliyor ama sayfanın içeri değişmiyor sadece ilgili sutunda ufal bir alan güncelleniyor. session ie yaparsam link almadıgı için google indexlemez diye düşünüyorum. robots.txt yede arama motorları bazen uymuyor mesela aynı proje ile şu anda 1 web sayfası geliştirdim. Bunlardan 3. de robots.txt engelli olmasına rağmen google yine indexlemiş.
+ olarak gerekli bilgiler google aramalarında arka sayfalarda kalıyor ama bütün iller ön sıralarda
Bunun için ek kod yazmaya gerek görmedim. çünkü sadece ?*yer= engellemem yetiyor.

Bu arada bir soru daha sormak stiyorum vakit ayırdığınız için teşekkürederim.
Diyelimki arama motorları siteyi indexleme'den robots.txt den gerekli yerleri engelledik. google için diyorum Web master tool dan url kaldırma istegi vermeye gerek varmı?
veya siz veriyomusunuz?