Merhaba arkadaşım,
Bir antivirüs yazmak için her şeyden önce "windows kernel" hakkında çok çok iyi derecede bilgi sahibi olman gerekir. Eğer zaten ben bu kadar bilgi sahibiyim diyorsan çok sıkı bir algoritma kurmanı tavsiye ederim.

Devamında sana yardımcı olacağını düşündüğüm konu başlıkları şöyle ;
1 - Virüs total veritabanını ücretli satın alıp bildiğim kadarıyla veritabanı her dili destekleyen bir algılama sistemine sahip bir API ile yada import ile algılamayı çalıştırabilirsin. En geçerli yöntemlerden birisi bu çünkü sürekli güncel vaziyette.

2 - Kernel driver nedir, nasıl yazılır nasıl build edilir, bir kernel driver ile usermode ( kullanıcı tarafında ) çalışan bir uygulama arasında iletişim nasıl sağlanır driver communication olarak adlandırılan olay nedir bunu öğrenmeni tavsiye ederim.

3 - Sisteme nasıl müdahale edilir, hook nedir kernel tabanlı hook için bilmen gerekenler kullanman gerekenler nelerdir bunları öğrenmen gerek. Genellikle virüsler hangi apileri kullanır kendi aralarında ayrıldıklarında hangi apileri kontrol altına alman gerekir? Bir uygulamayı nasıl henüz uygulama sistemden çalışmadan önce tarayabilirsin bunu öğrenmelisin.

4 - x64 Mimari sistemlerde bir önceki maddede saydıklarımı yapabilmen için imzali sürücüye ihtiyacın var. Ve windows kernel erişimini imzalı sürücülere dahi vermiyor bunun için alternatif yöntemlere ihtiyacın var. Callback registeration nedir araştır.

5 - Uygulama bilgisayara kayıt edildiğinde henüz dosya kaydetme apisi çalıştırımadan önce dosyanı nereye kayıt edileceğini görmen o dosyayı kayıt edildiği an taraman gerekir. Tarama bitmeden kullanıcının o dosyayı çalıştırmasını engellemen gerekir.

6 - Soket kullanımını incelemelisin, 2. bir kişi ile verilerin paylaşılmadığına emin olman gerekir uzaktan bağlantılar gelen giden paket verileri analiz etmen gerekir bunun içinde soket sınıfına hook atman gerekecek tabiki..

7 - Hepsini aştığını var sayalım. Güncelleme sistemini çok iyi tasarlaman lazım kurduğun yapı hangi virüs çıkarsa çıksın mutlaka işe yaramalı yeni eklemeleri mutlaka eski sisteme uygun biçimde çalıştırman gerekir.

Bildiklerim bu kadar yanlış yazdığım bir şey var ise hatalı bilgilendirdiysem affola.
Zor iş ve maalesef bu saydıklarım için Türkçe kaynak oranı %3 saydıklarımın bir çoğu hakkında daha farklı bir proje için araştırma yaptım. Yaptığım araştırmalar %90 sonuç verdi. Bu süreç ortalama 4 yılımı aldı bilgin olsun

İyi çalışmalar, başarılar..