merhaba arkadaşlar
ben google Web Yöneticisi Araçları sayfasına gırerek sayfa bılgılerıme bakarken robots.txt ile kısıtlanan URL'ler de bir url olmuş bu url Film izle , Film Seyret , Film indir , Dizi izle , Seyret , İzlesene , Bedava Film , Online Film ,Sinema , Lost izle Filmler neden kısıtlanmaya girmiş acaba? cevaplar için teşekkürler
google Web Yöneticisi Araçlarındaki robots.txt
4
●489
- 05-04-2008, 09:59:11Bu sorduğun robots.txt dosyasının içinde yazıyor bunu burada verirsen söyleyebiliriz
- 05-04-2008, 10:33:13User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Sitemap: Film izle , Film seyret , Dizi izle , Seyret , Film, Bedava Film , Online Film ,Sinema - 05-04-2008, 12:34:29ulaşıma izin verilmeyen adres /search/label/Yabancı
Robots.txt de
Disallow: /search var tabi doğal olarak /seacrh/ adresini bir klasör olarak algıladığı için onun içerisindeki dosyalara izin verilmiyor demesi çok normal değilmi