Merhaba arkadaşlar,
Bir websiteme örnek vermek gerekirse şu şekilde siteadi.com/www.reklam gibi '/' işaretinden sonra kendilerinin belirlediği şekilde index aldırıyorlar. Bunu sadece anasayfa için değil şöyle baktığımda tüm altsayfalara dahi yapıyorlar. Aynı zamanda sayaçtan bu şekilde siteme google üzerinden girişler geldiğini görüyorum.
Şimdi sorum şu olacak ben robots.txt içine Disallow: /www.reklam girdim fakat sadece anasayfa için oldu. Tüm alt sayfalarımı bundan arındırmak istiyorum. Çok fazla sayıda altsayfa için olduğundan da webmaster tools dan tek tek url kaldırma da oldukça zor olacak. Bu konuda önerilerinize açığım. Şimdiden teşekkür ederim
Merhaba, engellemeyi 2 şekilde yapabilirsin. İndexlenmeden önce robots.txt indexlendikten sonra url kaldırma ile bu işlemleri gerçekleştirebilirsin. Eğer bu tür urlleri kaynak siteden yolluyorlarsa o siteleri engellemelisin. Sabit bir url yoksa her serferinde farklı url geliyorsa ancak bunu indexlendikten sonra url kaldırma olarak kaldırırsın dediğim gibi kaynak referans olarak geliyorsa gelen siteleri reddetmen lazım.