AntiBot yapalım ne dersiniz ?

Question

Merhaba arkadaşlar

Çoğu arkadaşımız içeriklerinin çalındığından şikayetçi. Bunların bir çoğu yazılan botlarlar çekiliyor. 
Zamanında bende çok yapmıştım hatta bu işi başlatan bendim. Baktımki olmuyor bunları engellemek için yeni bir sistem geliştirme kararı aldım.

Sistem botları engellemek için kullanılacak. Şimdiden ben biraz başladım ama daha ortada bişey.

Sizinde bu konuda fikirlerinizi almak hatta birlikle çalışmak istiyorum. Hep beraber olursak güzel bir sistem yapabiliriz.

okokok · Answer

turkcekaynak adlı üyeden alıntı:						mesajı görüntüle									kodlar 3 5 farklı şekilde yayınlansa ?
bot alırken bir yerden bir yere kadar alıyor geldiği zaman almak istediği satır şekilleri değişse mesela otomatik olarak 3-5 farklı kod dizilimi sıra ile dönse ? 		google da her geldiğinde siteyi farklı görcek

obidergi · Answer

Dediğim gibi, mantığını kullanan yapar. API yok ise sonuç alması uzun sürer o kadar.

Simasher · Answer

ocr cidden çok kolay bir olay aslında şey yapılabilir şekilli şekilde düzgün ama göze hitap edicek derece graffiti yada el yazısı gibimsi bir kağıda yazıp onu scan ederek yayınlarsan ocr ile zorlanabilirler belki 
Bence en güzel olay resim olayı ama tabi ocr olayına önlem alman lazım.

obidergi · Answer

Yapay zeka girer devreye o zaman (ki ocr de zaten yapay zeka ile tasarlanır; fonksiyonları yenilenir onları da okur hale gelir. Karakter tanıma falan filan o kadar elzem şeyler değil son kullanıcılar için, hazır fonksiyonları bile var. - Bu işin mühendislik kısmına girmiyorum, o zor olan tarafı, özgün olma tarafı yani-). Bunun sonu neredeyse gelmez diyorum bu yüzden.

kassarulu · Answer

Benim başta dediğim gibi zaten bu olayı tamamen engellenmesi mümkün değil
sadece bot yazacak kişi sayısını azaltırsın. yazanlarda 10 bot 5 ytl diye foruma mesaj atmaz.

obidergi · Answer

Orası öyle tabi.

backdoor · Answer

w2box file repository for PHP şu sitenin kaynakçasına bi bakar mısnız arkadaşlar ?

Burada görünen hiçbir içerik kaynakçada görünmüyor.

obidergi · Answer

Ben pek bir farklılık göremedim, biraz daha açar mısın?

kassarulu · Answer

backdoor adlı üyeden alıntı:						mesajı görüntüle									w2box file repository for PHP şu sitenin kaynakçasına bi bakar mısnız arkadaşlar ?
Burada görünen hiçbir içerik kaynakçada görünmüyor. 		bende gözüküyor kaçırdığım bir ayrıntı yoksa tabi

ilave olarak benim dediğimi yani imaje resim olayını google kullanmış şimdi aklıma geldi 
http://books.google.com.tr/books?id=...qqCaBQ#PPA4,M1

backdoor · Answer

Pardon arkadaşlar yanlış örnek oldu

ruuzgar · Answer

1-Yazılamızı resim haline getirip yayınlanabilir fakat google botlarının okuması zorlaşır. 
2-Yazılar arasına background rengi ile  kodlar gömüp karşı tarafta yayınlandığı zaman resim göstermeyi sağlayabiliriz. Bunlar por-no grafik resimler olabilir.Siteye giren girmesin bidaha.
3-Botları satan kişilerin r10 yönetimi tarafından banlanmasını isteyebiliriz. Buda bot satışının sayısını azaltmakta ilk adım olabilir.Diğer webmaster sitelerindede bu adımı başlatabilriz.

Haymac · Answer

yöntemi var ama google botuda devre dışı bırakıyor  hiçbir bot curl ıvır zıvır giremiyor.

KorcanErgun · Answer

aslında basit bir yöntemim var teknik olarak browserda görüntüleniyor ancak kodlara baktığınız zaman göremediğiniz bir içerik yapısı kullanıyorum.Botlar sadece kod içinden kısımları aldığı için maalesef kodu göremiyor bu şekilde rahat ediyorum.Bir kaç php kodu ve js ile yapıyorum.Ayrıca js dosyasını php içinden çağırttığım için kodların görülmesi en azından orta seviyeli kullanıcılar için bile aşırı zor oluyor.  satsammı acaba ne yapsam bu zamanda sır ortaya çıkar birisi düşürür wareze.
ayrıca google bot kardeşimizde sorun yaratmıyor ona özel bir kod barındırıyor ancak diğer arama motorları biraz işlev dışı kalıyor geliştirebilirsem sunarım hizmetinize vakit bulunduğu taktirde

NET · Answer

Haymac adlı üyeden alıntı:						mesajı görüntüle									yöntemi var ama google botuda devre dışı bırakıyor  hiçbir bot curl ıvır zıvır giremiyor. 		ben ne anladım o engellemeden

turkcekaynak · Answer

kodlar 3 5 farklı şekilde yayınlansa ?
bot alırken bir yerden bir yere kadar alıyor geldiği zaman almak istediği satır şekilleri değişse mesela otomatik olarak 3-5 farklı kod dizilimi sıra ile dönse ?

emirSR · Answer

Ment adlı üyeden alıntı:						mesajı görüntüle									Vay anasını biraz okudum da bu botu ilk bulan acaba şuan ne düşünüyodur.
Kalaşnikof'u yapan adam gibi. 		
Keşke engellenebilse cok güzel olur içeriklerimiz uçu uçu veriyor

bilgiliweb · Answer

google da bir bot unutmamak lazım  her sitenin sayfa kaynağı var sayfa kaynağını gizlemek gerek buda imkanısz explolerda gizlersin ff de gizlersin ama adam kendine bir webbrowser yapar yine görüntüler .. bottan kurtulmanın yolu yok gibi birşey ama teknoloji bu hiçbirşey belli olmaz

AtomaniA · Answer

Selamlar,
Konuyu okumaya fırsatım olmadı ama büyük sitelerin yaptığı hotlink olayı var?

kassarulu · Answer

AtomaniA adlı üyeden alıntı:						mesajı görüntüle									Selamlar,
Konuyu okumaya fırsatım olmadı ama büyük sitelerin yaptığı hotlink olayı var? 		hotlink botlara yemez

dvdbil · Answer

1 dakika içerisinde aynı ip'den 20 30 istek gelirse yasaklayabilirsiniz, ayrıca google gibi botlar için bir white list oluştabilir veya sadece browser dili TR olanlar için filtreleyebilirsiniz.

Bu yöntem ile acemi ve orta düzey kişilerin botlarını engellersiniz fakat ne yaparsanız yapın.. isterseniz flash içine gömün içeriği yinede iyi bilenler için çözüm bulamazsınız.

by_wirus · Answer

Kaynak kodu google ipsi hariç diğer iplere gizlesek ?

obidergi · Answer

Spam siteler kullanıyor o yöntemi.
Google bot'a farklı sayfa, kullanıcıya farklı sayfa yaptığın takdirde sonu hüsran olabilir.

AtomaniA · Answer

kassarulu adlı üyeden alıntı:						mesajı görüntüle									hotlink botlara yemez 		Vidivododa vardı.

kassarulu · Answer

AtomaniA adlı üyeden alıntı:						mesajı görüntüle									Vidivododa vardı. 		aynı şeyden bahsetmiyoruz. 
açıklamaya çalışacaktım ama doğru kelimeleri bulamadım 
yani başka bir siteden sizin serverınızda  bulunan video yada resimleri izlettirmeye çalışırlarsa bunu hotlik ile engellersiniz. ama adam bot ile sizin sitenizdeki videoları çekip kendi server'ına çekerse bunu engelleyemezsiniz

10ur · Answer

sitelerimizi flash yaparız

kassarulu · Answer

10ur adlı üyeden alıntı:						mesajı görüntüle									sitelerimizi flash yaparız  		google indexlemez

dvdbil · Answer

kassarulu adlı üyeden alıntı:						mesajı görüntüle									google indexlemez 		flash +xml ile indexler

kassarulu · Answer

dvdbil adlı üyeden alıntı:						mesajı görüntüle									flash +xml ile indexler 		bot da xml li alır

dvdbil · Answer

kassarulu adlı üyeden alıntı:						mesajı görüntüle									bot da xml li alır  		Bir kaç gün önce bu konuya bir yöntem yazmıştım, o yöntem veya benzeri ile büyük ölçüde engelleyebilirsiniz.

Ki zaten "uzman" kodculara karşı asla önlem alınamaz.

Bu arada Flash içine gömülen metin bilgiside decompile edilmesi ile alınabilir..

Örneğini çin forumunda yazışmada görmüş ve uygulamıştım bende

saho · Answer

engellenebilecek onlarca yöntem var ki ama kendime saklıyorum , pek paylaşmıyorum akıllı davranıp sizinde bunları açıktan vermemenizi tavsiye ederim onlarada elbette anti - özellikler yapılacaktır...
bu yüzden gizli yapın algoritmanız basit te olsa pek bilmezseler her türlü engellersiniz.

benikaydet · Answer

zehiri yapan, panzehiri de yapabilir

MToprak · Answer

writeln("daha pascalı yeni bitirdim php mhp ogrenirsem yetişirim size);

ruuzgar · Answer

Daha önce bot yapmadım ama bunu engellemenin tam anlamıyla yolu yok galiba. çünkü sayfanın belirli kesimlerini okuyup veri tabanına ekliyor. bunuda engelyemeyiz.

Ançak sitemizden boot yardımı ile veri çeken siteleri bulup girişlerini yasaklayabiliriz diye düşünyorum.

Not : yaptığınız botları biraz açıklarmısınız veriyi nasıl alıyordunuz. Belki bize bir fikir verebilir.

EmreUnan · Answer

olmaz kanımca, browserın siteyi açması için yorumlanmış html görmesi lazım. Botta bu htmlyi okuyacak.

ubermensch · Answer

olmaz diye birşey yok..

Boxer · Answer

hotlink koyarız tabiki video veya resim kendi serverimizde ise buda bi yöntem

WWW · Answer

Olsun iyi olur

RHCP · Answer

Süper olur sonuna kadar desteklerim.. Bota karşıyım zaten..

andyou · Answer

cıx e olur cıs olur ölürüz

çalışma prensibi hakkında bilgi verebilir misin ?

bana biraz mantıksız gibi geldi

hotlink bile aşılabiliyorken ne bileyim login olup bilgi alınabiliyorken

nasıl birşey düşünüyorsun merak ettim doğrusu

aLKaDraZ · Answer

Nası yaparız şu şekilde olabilir. Sayfa geçiş saniyeleri hesaplanır bu tarz bir koruma yapılır. Ama bunuda geçerler eninde sonunda.  php nin cURL kütübanesi oldukça saglam. Buna karşı bir kod geliştirebilmek biraz zor olsa gerek. Veyahutda cookieler ile ilğili bir sistem de geliştirilebilir. Sen kafandaki sistem nedir nası bir koruma olucak.Sistemden bahsette olup olmayacagınıda konuşalım.

simdidensaol · Answer

şöyle birşeyde olabilir ;

mesela her konuya gizli bi kod eklenir , o kodda sayfanın geçiş hızına 2-3 konudan sonra devreye girer.. xx siteden izinsz olarak alınmıştır vs. şeyler yazılır böylece 2-3 konu dışında tüm konularda böyle gözükür ve adam uğraşsın tek tek bakalm nasıl ayıklayacak

not : kod yazmayı bilmem,böyle bir uygulama yapılırmı onuda bilmem.. sadece bi düşünce =)

SNaRe · Answer

tek bir sleep komutuyla buda aşılır. Bende düşündüm ama hiçbir çözüm aklıma gelmiyor. 
						simdidensaol adlı üyeden alıntı:						mesajı görüntüle									şöyle birşeyde olabilir ;
mesela her konuya gizli bi kod eklenir , o kodda sayfanın geçiş hızına 2-3 konudan sonra devreye girer.. xx siteden izinsz olarak alınmıştır vs. şeyler yazılır böylece 2-3 konu dışında tüm konularda böyle gözükür ve adam uğraşsın tek tek bakalm nasıl ayıklayacak 
not : kod yazmayı bilmem,böyle bir uygulama yapılırmı onuda bilmem.. sadece bi düşünce =)

obidergi · Answer

JS ile yazıları ekrana bassanız, bir div içine dinamik olarak?
<div........></div> olacak, yani arada aslında metin olmayacak. Sunucu taraflı bir sonuçtan sonra çıktıyı veren JS olacak.

Ayrıca alexa sıralamanızı kopyalayıp yapıştırdığınızda farklı bir verinin geldiğini göreceksiniz.

mstf · Answer

obidergi adlı üyeden alıntı: mesajı görüntüle

JS ile yazıları ekrana bassanız, bir div içine dinamik olarak?
<div........></div> olacak, yani arada aslında metin olmayacak. Sunucu taraflı bir sonuçtan sonra çıktıyı veren JS olacak.
Ayrıca alexa sıralamanızı kopyalayıp yapıştırdığınızda farklı bir verinin geldiğini göreceksiniz.

obidergi · Answer

Google JS'lerin bir kısmını okur.
Sayfanın deneme sürümünü yapın, google bota okutun bakın, botun nasıl görebildiğini görmek için. Bunu test eden birçok araç da var zaten.

mstf · Answer

obidergi adlı üyeden alıntı:						mesajı görüntüle									Google JS'lerin bir kısmını okur.
Sayfanın deneme sürümünü yapın, google bota okutun bakın, botun nasıl görebildiğini görmek için. Bunu test eden birçok araç da var zaten. 		gorebiliyorsa guzel olur.

kassarulu · Answer

sanırım lugesoft un bahsettiği bir anda sitedeki bütün sayfaları tarayıp istenen bilgileri çekip kaydetmek
ki bu da kısaca küçük çaplı dDOS oluyor. ve malesef engellenemiyor.

aslında bende bir fikir var
yazıları resim'e çevirme; diyelim 5-6 paragraflı bir yazımız var bir bölümünü resim olarak ekrana basmak. bu sayede kişi sayfayı gezerken tüm içeriği görebilirken bot resim olan bölümü göremiyecektir.

obidergi · Answer

Bot neden göremesin resmi?
system komutu ile ya da curl ile isterse (resmi indirip kendi sunucusuna yükleyerek bile) resmi alıp kullanabilir.

kassarulu · Answer

obidergi adlı üyeden alıntı:						mesajı görüntüle									Bot neden göremesin resmi?
system komutu ile ya da curl ile isterse (resmi indirip kendi sunucusuna yükleyerek bile) resmi alıp kullanabilir. 		Bot resmi tabiki görebilir ama resme logo konabilir yada fligran kaldıki botçuların %99 u resimleri sitesine indirme işlerine gelmiyecektir.
 orjinal sitesinden çağrılmasın diye hotlink konur.

obidergi · Answer

Eğer çaldığı bilgi değerli ise, sunucu tarlasına 1-2 sunucu daha koyar yine indirir, ya da "file hosting" denilen çözümlerle ilgilenir. Yani bunun sonu biraz zor gelir. Hotlink de aşılır. İlk yayıncı direk olarak logosunu basarsa ancak çözüme ulaşır ama resimden de biraz olsun feragat etmiş olur. Almak isteyen, bulanıklık efekti verir, keser biçer yine alır.

fabal · Answer

bir tek yöntemi var. yazınızı / makalenizi yayınlamamak. diğer türlü ne yaparsanız yapın internette yayınladığınız herşey karşı tarafın elinde demektir.

yapabileceğiniz tek şey sitenizden verileri çekebilecek olan botu yazabilecek kişi sayısını azaltmakdır. adam bot yazamarsa elle kopyalar - yapıştırır. site de yazılar resim olarak gösteriliyorsa ocr programlarını kullanır, onlarla veriyi yazıya çevirir. yazıları oldukça düzenli yazılacaklarından dolayıda ocr programları oldukça başarılı bir şekilde resimleri yazıya çevirecektir

obidergi · Answer

Ocr %97 civarında başarı sağlar. Hele bir de API desteği varsa, onu bile otomatiğe bağlar.

kassarulu · Answer

ocr ile dediğim yöntem çözülebilir ama bu işi bu sitede kaç kişi yapabilir

obidergi · Answer

Zor birşey değil, mantığını kullanan yapar.

Ment · Answer

Vay anasını biraz okudum da bu botu ilk bulan acaba şuan ne düşünüyodur.
Kalaşnikof'u yapan adam gibi.

Ment · Answer

Vay anasını biraz okudum da bu botu ilk bulan acaba şuan ne düşünüyodur.
Kalaşnikof'u yapan adam gibi.

kassarulu · Answer

obidergi adlı üyeden alıntı:						mesajı görüntüle									Zor birşey değil, mantığını kullanan yapar. 		sen yaparsın yani