c# bot sorunu

Merhaba arkadaşlar, Nokia firmware için bir siteden bot ile bilgileri çekmeye başladık.Sitenin içeriği de oldukça fazlaydı. Daha doğrusu siteyi tam incelememiştim bu kadar fazla veri olacağını düşünmüyordum. Botu sunucuda başlatmıştım 1-2 gün sürdü tamamlanması .221 bin dosya oluşturmuş. Bunları kontrol etmek için veri tabanına kayıt yaptıracaktım ki hata vermeye başladı.
Html verilerine c# ile ulaşmaya çalışınca şu hatayı alıyorum;

\nNotice: Undefined index: HTTP_USER_AGENT in /var/www/domainadi.net/public_html/index.php on line 3\n\nNotice: Undefined index: HTTP_USER_AGENT in /var/www/domainadi.net/public_html/index.php on line 3\n

bunu nasıl aşabilirim ? yolu yordamı var mıdır ?

 {
        WebRequest istek = HttpWebRequest.Create(link);
        WebResponse cevap = istek.GetResponse();
        StreamReader donenBilgiler = new StreamReader(cevap.GetResponseStream());

        return donenBilgiler.ReadToEnd();

    }

Bu hatayı bilgi çekmeye çalıştığınız sayfada bir problem olduğu için yapıyor tahminimce. Sizin kodunuzda herhangi bir sıkıntı yok. İyi çalışmalar.