Arkadaşlar web sitesinde seri sayfaların indexlenmesini istemiyorum.Çünkü bu sayfaların hepsi aynı içeriğe sahip.Fakat URL' leri farklı oldugundan, arama sonuçlarında görünüyorlar.
Sayfalar şu şekilde başlıyor
www.siteadi.com/yorum.php?id=535
www.siteadi.com/yorum.php?id=536
www.siteadi.com/yorum.php?id=537
www.siteadi.com/yorum.php?id=538
www.siteadi.com/yorum.php?id=539
www.siteadi.com/yorum.php?id=540
İşte bu şekilde devam edip gidiyor.Sadece sondaki id no değişiyor.Robots.txt den bunu en dogru şekilde nasıl yapabilirim (Yada başka bir yol ile)
Robotların Bazı URL' leri indexlemesini Nasıl Engelleyebilirim?
2
●345
- 18-04-2009, 16:45:17
- 18-04-2009, 19:07:55webtahta adlı üyeden alıntı: mesajı görüntüle
Şuan Kullanıdıgım Robots.txt şu şekilde
User-agent: Googlebot
Disallow:
User-Agent: Googlebot-Image
Disallow:
User-agent: Mediapartners-Google*
Disallow:
User-agent: MSNbot
Disallow:
User-agent: Yahoo! Slurp
Disallow:
Sitemap:http://www.siteadi.com/sitemap.xml.gz
Disallow:
User-agent: *
Disallow: /*ref*
Sizin dediğinize göre yenisi ise şu şekilde olması sorunumu çözermi?
User-agent: Googlebot
Disallow:
User-Agent: Googlebot-Image
Disallow:
User-agent: Mediapartners-Google*
Disallow:
User-agent: MSNbot
Disallow:
User-agent: Yahoo! Slurp
Disallow:
Sitemap:http://www.siteadi.com/sitemap.xml.gz
Disallow:
User-agent: *
Disallow: /*ref*
Disallow: /yorum.php
NOT:Yıldız olmalımı yoksa Olmamalımı?
