konu çeken botlar

yapılır yapılır ona da yapılır

nasıl?

herkes bilirse biz nasıl ekmek yiycez dimi ama

Html kodları değiştirdiğiniz taktirde google açısından dezavantaj yakalamış olursunuz ve ayrıca botlarıda bu şekil kesinlikle engelleyemezsiniz ve azaltmış bile olmazsınız.

Yapabileceğinizin en mantıklısı korunmaya yakın korumadır. Yani belli bir süre içerisinde aynı ip'den istek geliyorsa ve limiti geçerse ip ban yaparsınız.

Detaylı anlatmak gerekirse;
Diyelim ki istek limitiniz 20, süre aşımıda 60 saniye.
Ziyaretçi 60 saniye içerisinde 21 istekte bulunursa yasaklarsınız.

Peki bu süreyi nasıl ayarlayacağız?
2 yolu var;
- simule edebilirsiniz.
- siteniz için bot yazarsınız ve çalıştırdıkça istatistik çıkartırsınız. (sizler için en mantıklı olan bu)

İyi güzel peki bu anlatılan, botları sitemizden korur mu?
Kısmen korur.

Detayına inersek bir kaç ihtimalli cevaplar verebilirim.

- sitenizde herhangi bir kategoriye girildiğinde 15 20 30 lu içerik başlıkları olur.. ve botu hazırlayacak kişi başlar kodlamaya.. dakikalar süren yada saatler süren kodlamanın sonuna gelmiştir ve test ederken bot kategori sayfalarını dolaşıp tek tek içerik başlıklarını alır.. derken.. bot çalışmamaya başlar.. botu hazırlayan dakikalarca kodları inceler nerede hata var diye bakar ve bulamaz.. sonra browserden hedef siteye girdiğinde yasaklandınız diye uyarı alır ve tühh baştan bilseydim hiç uğraşmazdım der ve kendisine başka hedef siteler bulur.

- botu hazırlayan kişiler genelde orta veya amator seviyede kişilerdir. (uzmanları başka ihtimalde anlatacağım) bir sitenin botu hazırlanmadan önce mutlaka hedef sitenin alternatifi vardır ve sitenizi incelediğinde bu korumayı tespit ederse diğer alternatif siteye yönelir veya üstteki ihtimalle karşı karşıya kalır.

- gelelim uzmanlara.. üstte anlattığım korunmaya yakın koruma olayı malesef tam uzmanların seveceği tarzdan işlerdir. Bu işi bir matematik denklemi çözmek gibi görür ve mutlaka istediklerini alırlar. yani uzmanlar bu olayıda aşabilir. ha üşengeç bir uzmandır uğraşmaz bu sadece istisnadır.

Sonuç ?
Bu olayın sonucu sonuçsuzdur.. diyelim ki 10 kişi sitenizin botunu yapacak, belki 6 kişi bu işin içinden çıkamaz.. belki 3 belki 9.. bilemeyiz.

Olayı sadece ortalamaya vurursak 70% 80% oranında başarı sağlarsınız.

Şimdi gelelim asıl soruya
Bir şekilde kısmi olarak engelledik.. peki engelleyemediğimiz o uzman kişi başka siteye çektiğinde o sitedende çalınmayacak mı ?..

Makale için teşekkürler dvdbil.
bence zehiri yapan pan zehirinide biliyordur.vb-germany sitesinede bu konuyu taşıdım. bu sorun eninde sonunda çözülecektir.

İçeriğiniz bütün güncelliğini koruduğu için herhangibir sıkıntı yaratmaz. Sadece kodlama yapısını değiştiriyorsunuz.Google sizin içeriğinizi indexler kaynak kodunuzu değil.

Bu botların çoğu seo kurulu sitelerden çekemiyor konuları. Linklere misafirlere gizlereniz çekemiyorlar konuları.

Piyasadaki botlar hep aynı. Böyle yaparsanız en az %50' si biter bu botların.

Lütfen dikkat aşağıdaki yazacaklarım sadece bir fikirdir... ve uygulamalarda sorumluluk size aittir yalnış ve eksik bilgilerle yaparsanız normal kullanıcılarınızıda engelleyebilirsiniz.
Botlara karşı önlem için useragentlere odaklanmakta fayda olabilir.
useragent nedir? browserlar yada diğer programlar (filezilla, getright) sunucudan istekten bulunduklarında kim olduklarınıda söylerler. Google şu şekilde şöyler;
detaylı bilgi için bakınız
Firefox 3 de ise Mozilla/5.0 (Windows; U; Windows NT 5.1; tr; rv:1.9.0.4) Gecko/2008102920 Firefox/3.0.4 (.NET CLR 3.5.30729) şeklinde görünür.
Birkaç farklı browserda şu adresten sizde test edip sonuçları görebilirsiniz.

Bazı uyanık programlama bilmeyen yada botlara para vermeyen arkadalarda gsitecrawler gibi crawlerdan faydalanıyor onun agent i da örnek vermek gerekirse GSiteCrawler/v1.xx rev. xxx (Google Sitemap Generator for Windows :: GSiteCrawler) şeklinde görünür. Yani piyasadaki bir çok crawlerin %90 agent i vardir.

Şimdi bu elimizdeki bilgiyi nasıl kullanıcaz? aslında oldukça basit aşağıdaki vereceğim örnek asp.net içindir ancak sizlerde benzer mantıkla php ye uygulayabilirsiniz.
Bir class 'a aşağıdaki fonksiyonu yazıyoruz.

    Shared Function botkontrol() As Boolean
        Dim ua As String
        Try
            ua = My.Request.UserAgent.ToString
            'shared functionda request direkt çağrılmaz. my'dan çağrılır.
        Catch ex As Exception
            ua = "BOT"
        End Try
        If ua = "BOT" Then
            Return False
        Else
            Return True
        End If
    End Function

Yukarıdaki kod napıyor? Çok basit istekte bulunan programın/browser in agent bilgisini alıyor. Özellikle try catch içerisine kondu. Çünkü; Bir çok bot yazarı kimliği ile ilgili derdi olmadı için istekte bulunurken agent'i set etmez ve normal HttpWebRequest'de bulunur. Bu nedenle "Object reference not set to an instance of an object." hatası alacağımız için try catch içerisine aldık.
Koda a göre basit bir botsa gelen False dönecek Form Load inizda buna göre işlem yapabilirsiniz.
örnek;

        If botkontrol() = False Then
            Response.Redirect("BOT.aspx")
        End If

Yukarıdaki örnek basit bir örnek olup. Sağlıksız olabilir. Çünkü kötü niyetli bot agentini set ettiyse onu algılayamazsınız. Peki bunun için napabiliriz. İzin verilenler için bir wordlist.txt oluşturup onun içinde geçip geçmediğine baktırabiliriz (Yada array oluşturun.) Bunun için loglarınızdan yararlanın size gelen programların agentlarına bakın ve istediklerinizin agent bilgilerinde neler var bakın. Log larınızda hizmet aldığınız hostingden böyle bir imkan yoksa bir süre agent bilgilerini bir txt ye yada db ye yazdırıp kullabilirsiniz.
Php de $_SERVER['HTTP_USER_AGENT']; ile agent bilgilerini alabileceğinizi biliyorsunuzdur.
Ayrıca apache kullanıcıları .htaccess dende yararlanabilirler bot ları bloklamak için. .htaccess için döküman (ingilizce)

Son olarak List of User-Agents (Spiders, Robots, Browser) adresinide paylaşmak istiyorum bilinen bir çok useragent bilgisi mevcut işinize yarayabilir.

Bunlar benim hızlı bir şekilde aklıma gelenler. Bu yöntem kullanılarak sonuç almak mümkün gibi görünsede sürekli takip ve izin verilenler/verilmeyenler için güncelleştirme gerekliliği şart görünüyor. Bir arkadaş bunu yapar ve web servisi haline getirip API ilede webmasterlarla paylaşırsa güzel bir webservisi ortaya çıkabilir

Bir ara bendeki vbulletin botu inceledim Bot içindeki kodlarda "hedef" foruma bir üye yapıyoruz.Ve onun kullanıcı adı ve şifresinide oraya yazıyoruz.O zaman bu taktik işe yaramıyor