Tweet Analiz Siteleri, Şirketleri

Bütün Hashtaglerin analizini yapan bir site var, mesela.

http://talkincity.jp/Bazendiyorumki

Böyle bir site yapmayı düşünüyorum, googleda 664k indexleri var.
Aceba atılan tweetler veritabanına kaydediliyormu ?
Kaydediliyorsa ne sıklıkla kaydediliyor,
Çünkü düşünsenize binlerce tweet ID'si var, bir süre sonra o veritabanı şişer şişer şişer şişer ve patlar.
Adamlarındaki mantık sanırım şu ;
Tweet ID veya http://talkincity.jp/ url den sonrakı kısmı get ile aldırıp, eğer rakamdan oluşuyorsa tweet bilgilerini çektiriyor, eğer rakamlardan değilde yazılardan oluşuyorsa doğrudan tag, tweet olarak arama yapıp sonuçları getiriyor. başında @ varsa, kullanıcı ile ilgili tweetleri çekiyor vs çok farklı bir sistem böyle birşey düşünüyorum,

Streaming Api üzerinde çalışmalarım hergeçen gün artıyor,
Uygulamalara gerek kalmadan doğrudan twitter üzerinden verleri çekiyorum.

Projeyi node.js + streaming api + socket.io kullanmayı öğrenmek isteyen olur diye açık kaynak kodlu olarak dağıtıyorum ( https://github.com/BatuhanK/TurkceCanavari ) .

Hayır geçmişe dönülmüyor streaming api ile.

Şirketler nasıl çalışıyor derseniz işin içinde big data giriyor.

https://dev.twitter.com/docs/api/1.1...tuses/firehose

Yukarıda yazmış olduğum endpoint'in aylık erişim ücreti 5.000-6.000 $ civarından başlıyor, fakat açık kaldığı sürece atılan her tweeti alıp veritabanınıza kaydetmeniz ve daha sonra analiz yapmanız mümkün.


Herkese açık olan endpoint ise https://dev.twitter.com/docs/api/1.1...tatuses/filter

Bunda da bazı limitler var, en temel olarak 1 ip üzerinden 1 bağlantı yapmanız gerekiyor.

Verebilecek olduğunuz 400 kelimenin ve ( ve ya ) 5,000 kullanıcının datasını real-time alabilirsiniz yukarıdaki gibi.


1 şirkete özel çalışma yapılacaksa twitter'a para bayılmaya gerek yok, public endpoint ile özel yazılım hazırlanabilir ama gerçekten data-mining & big data işine girilecekse private endpoint ( en üstte bahsettiğim paralı olan ) şart

Umarım anlatabilmişimdir



Bu site streaming api değiş rest api kullanıyor büyük ihtimalle.

Vermiş olduğun linkteki ilk tweete tıklarsan açamıyor, demek ki kaydetmiyor istek olduğunda gidip twitterdan alıyor.

Hashtagleri de trend topic olan ve ya sitede arama yapılan şeklinde aynı mantıkla alıyordur diye düşünüyorum

CEvabınız için teşekkürler Ekip veya şirket olarak girmek lazım veri madenciliği olayına Peki bu 5000 Kişilik sınırı Twitter mı belirliyor, yani bizim belirlediğimiz kişiler mi yoksa parametrelere göre (yaş, lokasyon vs.) sistem tarafından atanan kişiler mi? Bu gün içinde tweetlerine erişebileceğimiz kişi sayısı mı?

Siz veriyorsunuz id'lerini.

ID yerine lokasyonun enlem ve boylamını verip oradan atılan tweetleri çekmek de mümkün fakat yaş-cinsiyet vb. şeyler twitterda yok

Dostum sitenin 664k indexi var ve tt olan her kelimeyi otomatik olarak alıyor ve googleda anında indexlıyor sayfasını.
Çok değişik ama iyi bir sistem.
Node js ile ilgili senden yardım bekliyorum, skype varsa özelden konusalım.

Trend topic olan kelimeleri rest api ile alabilirsiniz, 1 dakika aralıklarla kontrol ettirin yeterli ( zaten 1 dakika aralıklarla güncelleniyor twitter'ın söylediğine göre )

Node.js konusunda ben yardımcı olmayayım, internette çok güzel tutorialler var

Nojde.js yi php ile nasıl birleştiriyoruz yanı site üzerinde nasıl gostertıyoruz onu cözemedm hepsı js dosyası

Bence tutorial izle bol bol

Siz http://twikan.com/turkce/ bu projenizde tweetleri lokasyona göre mi alıyorsunuz? Günde en az kaç tweet alabiliyorsunuz hani 5000 sınırı varya onu merak ediyorum 5001'e ertesi gün mü izin var?