Projen harika, çok beğendim hocam. Başarılar dilerim. Streaming API dediğiniz sisteminizi kurduktan sonra, o andan itibaren gelen tweetleri alabiliyorsunuz. Yoksa 2009'da atılmış bir tweete erişemiyorsunuz. Doğru mudur?
Kısıtlamalar nelerdir, tam olarak? Bu konuda bilgi verebilirmisiniz.
Projeyi node.js + streaming api + socket.io kullanmayı öğrenmek isteyen olur diye açık kaynak kodlu olarak dağıtıyorum (
https://github.com/BatuhanK/TurkceCanavari ) .
Hayır geçmişe dönülmüyor streaming api ile.
Şirketler nasıl çalışıyor derseniz işin içinde big data giriyor.
https://dev.twitter.com/docs/api/1.1...tuses/firehose
Yukarıda yazmış olduğum endpoint'in aylık erişim ücreti 5.000-6.000 $ civarından başlıyor, fakat açık kaldığı sürece atılan her tweeti alıp veritabanınıza kaydetmeniz ve daha sonra analiz yapmanız mümkün.
Herkese açık olan endpoint ise
https://dev.twitter.com/docs/api/1.1...tatuses/filter
Bunda da bazı limitler var, en temel olarak 1 ip üzerinden 1 bağlantı yapmanız gerekiyor.
Verebilecek olduğunuz 400 kelimenin ve ( ve ya ) 5,000 kullanıcının datasını real-time alabilirsiniz yukarıdaki gibi.
1 şirkete özel çalışma yapılacaksa twitter'a para bayılmaya gerek yok, public endpoint ile özel yazılım hazırlanabilir ama gerçekten data-mining & big data işine girilecekse private endpoint ( en üstte bahsettiğim paralı olan ) şart
Umarım anlatabilmişimdir
Bütün Hashtaglerin analizini yapan bir site var, mesela.
http://talkincity.jp/Bazendiyorumki
Böyle bir site yapmayı düşünüyorum, googleda 664k indexleri var.
Aceba atılan tweetler veritabanına kaydediliyormu ?
Kaydediliyorsa ne sıklıkla kaydediliyor,
Çünkü düşünsenize binlerce tweet ID'si var, bir süre sonra o veritabanı şişer şişer şişer şişer ve patlar.
Adamlarındaki mantık sanırım şu ;
Tweet ID veya
http://talkincity.jp/ url den sonrakı kısmı get ile aldırıp, eğer rakamdan oluşuyorsa tweet bilgilerini çektiriyor, eğer rakamlardan değilde yazılardan oluşuyorsa doğrudan tag, tweet olarak arama yapıp sonuçları getiriyor. başında @ varsa, kullanıcı ile ilgili tweetleri çekiyor vs çok farklı bir sistem böyle birşey düşünüyorum,
Streaming Api üzerinde çalışmalarım hergeçen gün artıyor,
Uygulamalara gerek kalmadan doğrudan twitter üzerinden verleri çekiyorum.
Bu site streaming api değiş rest api kullanıyor büyük ihtimalle.
Vermiş olduğun linkteki ilk tweete tıklarsan açamıyor, demek ki kaydetmiyor istek olduğunda gidip twitterdan alıyor.
Hashtagleri de trend topic olan ve ya sitede arama yapılan şeklinde aynı mantıkla alıyordur diye düşünüyorum