0
Kayıt Ol

Günde 20 Milyon Sayfa Taramak Mümkün Mü?

45

●

3.665

  • 11-12-2013, 20:36:14
    #37
    EmrePirasa
    EmrePirasa
    Üyeliği durduruldu
    İRoyal adlı üyeden alıntı: mesajı görüntüle
    bunu söylemeniz çok iyi oldu hocam , bilmiyodum

    Şaka bi yana, facebook datası toplarken kullanmıştım.
    GRAPH.API sorgusu çok hızlı oluyodu o zaman.

    *açık bırakıyodum bilgisayarı
    Bilmiyormuşsunuzki javascript ile veri çekileceğini söylemişsiniz sizin dediğiniz json javascript'e bağlı doğrudur ama onla veri çekemezsiniz sadece apilerde kullanırsınız. ve sql vs.. kayıt edemezsiniz bunun için server side dil gerekir örnek php
  • 12-12-2013, 15:26:36
    #38
    ArBiTeR
    ArBiTeR
    Üyeliği durduruldu
    Frissco adlı üyeden alıntı: mesajı görüntüle
    Kardeşim benim bu konuda pek bilgim yok. Fakat cok yakın linux php mysql oracle c++ java uzmanı bir abim var. Airties'da mühendis. İstanbulda yüzyüze görüşmek istersen ziyaret ederiz. istersen evrendemir@outlook.com skype eklersen oradanda görüşmenizi sağlayabilirim. gerçekten sana faydası olacağı kanatindeyim. iyi calısmalar dilerim.
    Çok teşekkür ederim, sizi skype'den ekledim.

    BySeco adlı üyeden alıntı: mesajı görüntüle
    Ahrefs gibi bir projeniz mi var?
    Benzer bir çalışma denebilir aslında.. Bizim amacımız blog vb. url'ler tarayarak ufak bir kütüphane oluşturmak. Ahrefs mantık olarak çok uyuyor.

    İRoyal adlı üyeden alıntı: mesajı görüntüle
    jquery ?
    Kendi çapımda yaptığım araştırmalarda Perl ve Java'nın bu tarz sistemlerde PHP'ye göre çok ama çok daha hızlı olduğunu ve kaynakları %400'den daha fazla verimli kullandığını okudum. Fakat API olmadan toplanan veriyi mysql tarzı bir veritabanına kaydetmek mümkün mü bilmiyorum :S

    EmrePirasa adlı üyeden alıntı: mesajı görüntüle
    Javascript tarayıcı tabanlı calışır
    Perl için düşünceleriniz ne olur? Perl ve Javanın daha iyi olabileceğini okudum birkaç makalede.. Aslında sıralamayı şu şekilde vermişler;
    C (++)
    PHP
    Ruby
    Phyton
    Perl
    C (gcc)
    Java

    İRoyal adlı üyeden alıntı: mesajı görüntüle
    bunu söylemeniz çok iyi oldu hocam , bilmiyodum

    Şaka bi yana, facebook datası toplarken kullanmıştım.
    GRAPH.API sorgusu çok hızlı oluyodu o zaman.

    *açık bırakıyodum bilgisayarı
    Sanırım halen en hızlılarından birisi Java bu konuda

    EmrePirasa adlı üyeden alıntı: mesajı görüntüle
    Bilmiyormuşsunuzki javascript ile veri çekileceğini söylemişsiniz sizin dediğiniz json javascript'e bağlı doğrudur ama onla veri çekemezsiniz sadece apilerde kullanırsınız. ve sql vs.. kayıt edemezsiniz bunun için server side dil gerekir örnek php
    20 milyon sorgu konusunda düşündürüyor sadece PHP aslında ama altından kalkabilir şeklinde bir sonuca varacağız sanırım, sizlerin de değerli görüşleri ve aktarımları ile..
  • 12-12-2013, 16:10:57
    #39
    EmrePirasa
    EmrePirasa
    Üyeliği durduruldu
    piton daha iyi
  • 13-12-2013, 03:36:03
    #40
    biomooj
    biomooj
    EmrePirasa adlı üyeden alıntı: mesajı görüntüle
    piton daha iyi
    python kodlayabiliyor musun?
  • 13-12-2013, 13:18:04
    #41
    EmrePirasa
    EmrePirasa
    Üyeliği durduruldu
    biomooj adlı üyeden alıntı: mesajı görüntüle
    python kodlayabiliyor musun?
    hayır. piton kullanmadım ama php gibi dillerden daha hızlı calıştığını biliyorum.
  • 13-12-2013, 15:19:23
    #42
    ArBiTeR
    ArBiTeR
    Üyeliği durduruldu
    EmrePirasa adlı üyeden alıntı: mesajı görüntüle
    hayır. piton kullanmadım ama php gibi dillerden daha hızlı calıştığını biliyorum.
    Yaptığım araştırmalarda hız ve verimlilik olarak benzer projelerdeki karşılaştırmada sıralamanın şu şekilde olduğunu gördüm bende...

    PHP
    C++
    Ruby
    Phyton
    C (gcc)
    Java
    Perl

    PHP'ye göre gerçekten hızlı, burada beni asıl şaşırtan konu Java ve Perl'in performansı oldu. Sıralamada 1-2 ve 3 arasında çok büyük fark var örnek 1000 tarama için;

    PHP 4.8sn
    C++ 4sn
    Ruby 3.8sn
    Phyon 3.6sn
    C (gcc) 3.2sn
    Java 1.6sn
    Perl 1.3sn

    gibi bir sonuç vardı.

    Bahsettiğime benzer bir kaşılaştırma



    Daha Farklı bir kaşılaştırma:


    burada da php, phton'un önünde gibi..

    Memory konusunda C'ye aşık olmamak elde değil
  • 13-12-2013, 15:38:44
    #43
    grafitus
    grafitus
    Kimlik doğrulama veya yönetimden onay bekliyor.
    EmrePirasa adlı üyeden alıntı: mesajı görüntüle
    Javascript tarayıcı tabanlı calışır
    NodeJS ile server-side JavaScript yazılabiliyor.

    ---

    Dillerin derleme ve çalışma hızlarında dil ağacına yakınlığı baz alınır -ve tabii diğer etkenler- Ancak bu demek değldir ki en yazılım için Assembler kullanalım. Amacınıza en uygun hazırlanmış dili seçmelisiniz.

    Ve performans arttırıcılar kullanabilirsiniz. Örneğin Facebook'un PHP için HipHop dediği bir proje var. Yanlış hatırlamıyorsam 5 saniyelik yüklenme süresini 0,6 saniyeye indiriyordu.
  • 13-12-2013, 16:48:38
    #44
    Hyperion
    Hyperion
    Üyeliği durduruldu
    .NET ile güzel bir şekilde yapılabilir bu bence (java 8 daha çıkmadığına göre), Parallelism kullanarak tek makinadaki işlem hızını bayağı artırabiliriz
  • 14-12-2013, 16:48:08
    #45
    yLmz
    yLmz
    grafitus adlı üyeden alıntı: mesajı görüntüle
    Kaldırabilir. Ancak gerekli index ve partition çalışmaları yaparak.

    Facebook hâlâ MySQL kullanıyor. Ve 1 milyar kullanıcıyı aştı, siz düşünün...
    Facebook Hadoop kullanıyor mysql değil! hadoop üzerinde kendi geliştirdikleri hive sistemini kullanmaktadır hatta hive sistemi çok yavaşladığı için google un hadoop üzerinden kullanmaya çalıştığı big-table sistemini entegre etmeye çalışıyor.

    Hive sistemi hadoop üzerinde sql sorgu çalıştırmak için geliştirilen ve sanal tablolar yaratarak hadoop sorgusunu tablo sorgusu gibi gösterip sonuç alan sistem.