• 01-11-2024, 23:49:56
    #1
    Selamlar,

    Son zamanlarda bir çok veriyi,bir çok şekilde inceleme çalışıyorum.Lakin bir çok sosyal medya platformu belirli bir istek sınırından sonra resmi developer apilerine kısıtlama veriyor ve maleseff işlemler yapamıyoruz.

    Nodejs,Python dillerinde her platform için şuanda unoffical apilere bakıyorum lakin öneriniz olarak bir kütüphane varsa o kütüphane api sınırlarlarına takılmıyorsa kullanmak isterim.

    Sizlerin de bildiği veri kazıma konusunda(veri kazıma derken "Scrape" işleminden bahsetmekteyim") güzel bir kütüphane varsa,yorumlarda değerli cevabınızı bekliyorum,
    Saygılarımla.
  • 01-11-2024, 23:59:58
    #2
    Hocam merhaba, bilgisizlikten soruyorum. Veri kazmayı tam olarak neden yapıyorsunuz ne işe yarıyor yani mesela kullanıcıların belirli bir siyasi eğilimini vs. analiz etmek gibi bir şey mi bu ?
  • 02-11-2024, 00:05:34
    #3
    disavurum adlı üyeden alıntı: mesajı görüntüle
    Hocam merhaba, bilgisizlikten soruyorum. Veri kazmayı tam olarak neden yapıyorsunuz ne işe yarıyor yani mesela kullanıcıların belirli bir siyasi eğilimini vs. analiz etmek gibi bir şey mi bu ?
    Selamlar,
    Sorun değil hocam, öğrenmek güzeldir. Açıklayayım:

    Bazı hesaplarımız var ve bu hesaplarda yapay zeka desteğiyle içerik üretiyoruz. Ürettiğimiz içerikleri rastgele bir süreçte paylaşıyoruz; bu, algoritmanın saatine bağlı olarak değişkenlik gösteriyor ve sistem otomatik karar veriyor. Bu durumda, benim otomatik olarak bu süreçleri algılamam gerekiyor. Algıladığımda, sistemden kendi verilerimiz arasından otomatik olarak o videoya bir kısmına beğeni, bir kısmına da görüntüleme ekliyoruz. Bu şekilde videomuz keşfete girebiliyor ve daha fazla izlenme elde edebiliyoruz. Bu sadece bir örnek. Video paylaşıldığında "post atın" diyebilirsiniz, ama her zaman kendi videolarımız için yapmıyoruz; bazen arkadaşlarımız için ya da bu konuda "demo" isteyen kişiler için yardımcı olurken sistemin o videoyu otomatik olarak algılaması gerektiği durumlar olabiliyor. Anlık işlem yapmamız gerekiyor, bunu böyle düşünebilirsiniz.

    Ayrıca veri kazıma ile ilgili olarak, örneğin Instagram’da bir kişinin takipçilerini çekiyoruz. Bu takipçiler arasında bot olanları algılayıp, bunları teker teker çıkarıyoruz. Attığımız mailler işe yaramazsa ya da "değerlendir" butonu her hesapta açılmayabiliyorsa, bu tür durumlarda veri kazıma yoluyla hızlı bir şekilde temizleme işlemi gerçekleştirebiliyoruz. Bu sistemlerde otomasyon ile birlikte, algılamaları dakikası dakikasına yapabiliyoruz.
    Umarım anlatabilmişimdir.
    Teşekkürler.
  • 02-11-2024, 15:51:54
    #4
    soylenmezsmt adlı üyeden alıntı: mesajı görüntüle
    Selamlar,
    Sorun değil hocam, öğrenmek güzeldir. Açıklayayım:

    Bazı hesaplarımız var ve bu hesaplarda yapay zeka desteğiyle içerik üretiyoruz. Ürettiğimiz içerikleri rastgele bir süreçte paylaşıyoruz; bu, algoritmanın saatine bağlı olarak değişkenlik gösteriyor ve sistem otomatik karar veriyor. Bu durumda, benim otomatik olarak bu süreçleri algılamam gerekiyor. Algıladığımda, sistemden kendi verilerimiz arasından otomatik olarak o videoya bir kısmına beğeni, bir kısmına da görüntüleme ekliyoruz. Bu şekilde videomuz keşfete girebiliyor ve daha fazla izlenme elde edebiliyoruz. Bu sadece bir örnek. Video paylaşıldığında "post atın" diyebilirsiniz, ama her zaman kendi videolarımız için yapmıyoruz; bazen arkadaşlarımız için ya da bu konuda "demo" isteyen kişiler için yardımcı olurken sistemin o videoyu otomatik olarak algılaması gerektiği durumlar olabiliyor. Anlık işlem yapmamız gerekiyor, bunu böyle düşünebilirsiniz.

    Ayrıca veri kazıma ile ilgili olarak, örneğin Instagram’da bir kişinin takipçilerini çekiyoruz. Bu takipçiler arasında bot olanları algılayıp, bunları teker teker çıkarıyoruz. Attığımız mailler işe yaramazsa ya da "değerlendir" butonu her hesapta açılmayabiliyorsa, bu tür durumlarda veri kazıma yoluyla hızlı bir şekilde temizleme işlemi gerçekleştirebiliyoruz. Bu sistemlerde otomasyon ile birlikte, algılamaları dakikası dakikasına yapabiliyoruz.
    Umarım anlatabilmişimdir.
    Teşekkürler.
    Basit bir şey olmadığını daha iyi anladım hocam. Kolay gelsin bol kazançlar dilerim, açıklamanız için çok teşekkür ediyorum.