Merhaba arkadaşlar, Nokia firmware için bir siteden bot ile bilgileri çekmeye başladık.Sitenin içeriği de oldukça fazlaydı. Daha doğrusu siteyi tam incelememiştim bu kadar fazla veri olacağını düşünmüyordum. Botu sunucuda başlatmıştım 1-2 gün sürdü tamamlanması .221 bin dosya oluşturmuş. Bunları kontrol etmek için veri tabanına kayıt yaptıracaktım ki hata vermeye başladı.
Html verilerine c# ile ulaşmaya çalışınca şu hatayı alıyorum;

\nNotice: Undefined index: HTTP_USER_AGENT in /var/www/domainadi.net/public_html/index.php on line 3\n\nNotice: Undefined index: HTTP_USER_AGENT in /var/www/domainadi.net/public_html/index.php on line 3\n

bunu nasıl aşabilirim ? yolu yordamı var mıdır ?

 {
        WebRequest istek = HttpWebRequest.Create(link);
        WebResponse cevap = istek.GetResponse();
        StreamReader donenBilgiler = new StreamReader(cevap.GetResponseStream());

        return donenBilgiler.ReadToEnd();

    }