Günde 20 Milyon Sayfa Taramak Mümkün Mü? - Sayfa 2

09-12-2013, 06:43:28

#10

Bu işlemi Php ile yapmanız sıkıntı yaratıcaktır performans açısından belirttiğiniz rakam zor görünmekte ancak Python ile bir yazılım geliştirilmesi daha sağlıklı olacaktır ve yazılımın çalışacağı server donanımsal ve hat olarak güçlü olması gerekmektedir veritabanı olarak oracle yada arkadaşın dediği gibi hadoop tarzında bir sistem kullanmanız gerekmetedir ki bu veritabanı performans ve verim için tek başına bir server üzerinde bulundurulmalıdır

09-12-2013, 12:17:31

#11

nurettin

python kullanmanız gerekli. bi ara big db vardı şimdi ne oldu bilmiyorum

09-12-2013, 21:36:55

#12

~~ArBiTeR~~

Üyeliği durduruldu

F.Gungor adlı üyeden alıntı: mesajı görüntüle

Php gereksiz iş yükü olur python vb. kullanımı işlemci kullanımınızı düşürecektir. Eğer verileri kayıt altında tutacaksanız o zamanda mysql yetersiz kalacaktır. Veritabanı için de hadoop benzeri sistemler geliştirmenizi tavsiye ederim.

ibaran adlı üyeden alıntı: mesajı görüntüle

Bu işlemi Php ile yapmanız sıkıntı yaratıcaktır performans açısından belirttiğiniz rakam zor görünmekte ancak Python ile bir yazılım geliştirilmesi daha sağlıklı olacaktır ve yazılımın çalışacağı server donanımsal ve hat olarak güçlü olması gerekmektedir veritabanı olarak oracle yada arkadaşın dediği gibi hadoop tarzında bir sistem kullanmanız gerekmetedir ki bu veritabanı performans ve verim için tek başına bir server üzerinde bulundurulmalıdır

nurettin adlı üyeden alıntı: mesajı görüntüle

python kullanmanız gerekli. bi ara big db vardı şimdi ne oldu bilmiyorum

Değerli görüşleriniz için çok teşekkür ediyorum arkadaşlar. Konuyu değiştirmeden birşey daha sormak istiyorum.. Amatör bir gözle ve işin özü olarak 5 sutunu ve 125 milyon civarında bir satırı mysql kaldırmaz mı?

09-12-2013, 21:44:22

#13

grafitus

Kimlik doğrulama veya yönetimden onay bekliyor.

ArBiTeR adlı üyeden alıntı: mesajı görüntüle

Değerli görüşleriniz için çok teşekkür ediyorum arkadaşlar. Konuyu değiştirmeden birşey daha sormak istiyorum.. Amatör bir gözle ve işin özü olarak 5 sutunu ve 125 milyon civarında bir satırı mysql kaldırmaz mı?

Kaldırabilir. Ancak gerekli index ve partition çalışmaları yaparak.

Facebook hâlâ MySQL kullanıyor. Ve 1 milyar kullanıcıyı aştı, siz düşünün...

09-12-2013, 21:53:25

#14

mtn

grafitus adlı üyeden alıntı: mesajı görüntüle

Kaldırabilir. Ancak gerekli index ve partition çalışmaları yaparak.

Facebook hâlâ MySQL kullanıyor. Ve 1 milyar kullanıcıyı aştı, siz düşünün...

Bu arada bir ekleme yapmak istiyorum. Facebookun kullandığı normal MySQL değil, kendilerine göre geliştirdikleri bir versiyonu.

Facebookun geliştirdiği repolara şuradan göz atabilirsiniz: http://github.com/facebook

10-12-2013, 01:55:14

#15

functions

Kimlik doğrulama veya yönetimden onay bekliyor.

MySQL kaldırır, bunun için tablolarda partition kullanabilirsiniz diye düşünüyorum. Onun dışında PHP5 ile process ve alt process şeklinde yapılabilir multi-curl araştırabilirsiniz. Bunu tamamen profesyonel ve tecrübeli kişilerin yapmasını tercih edin yoksa hem zaman ve maddi kaybınız olur

10-12-2013, 11:33:40

#16

F.Gungor

ArBiTeR adlı üyeden alıntı: mesajı görüntüle

Değerli görüşleriniz için çok teşekkür ediyorum arkadaşlar. Konuyu değiştirmeden birşey daha sormak istiyorum.. Amatör bir gözle ve işin özü olarak 5 sutunu ve 125 milyon civarında bir satırı mysql kaldırmaz mı?

Aslında o satırlarla ne kadar yoğunlukta bir iş yapacağınıza bağlı. Kaldırmasına kaldırır ama yine sizin kullanımınız belirleyecek ne kadar stabil çalışacağını.

10-12-2013, 13:18:34

#17

~~EmrePirasa~~

Üyeliği durduruldu

Yazmasına Yazarımda sunucuların kaldırırmı oda var ? cpu tavan yapıcaktır tek sunucu ile imkan yok datacenter olması lazım

10-12-2013, 13:45:11

#18

functions

EmrePirasa adlı üyeden alıntı: mesajı görüntüle

Yazmasına Yazarımda sunucuların kaldırırmı oda var ? cpu tavan yapıcaktır tek sunucu ile imkan yok datacenter olması lazım

Process'lere bölersen hacmi problem kalmaz diye düşünüyorum. Bkz: OOP