Günde 20 Milyon Sayfa Taramak Mümkün Mü?

Gereksiz yere oop kullanmak sunucuyu yorar. oop un nasıl calıştığını anlarsanız bellekteki oranları görürsünüz hocam

Konuda bahsi geçen işlemde gerekli olacağı kanısındayım. Sizin gereksiz olacağını düşünmeniz açıkçası bana biraz saçma geldi.

Benim bilgim gerçekten bu konuda yeterli değil. Yaklaşık 1 ay kadar önce duyduğum bir konu vardı.. Yine çok değerli bir PHP Coder arkadaş ile görüşüyordum. Haber sitesi yapmışlardı (OOP ile) 250K ve üzerine çıkınca büyük sıkıntılar yaşadık ve normal düzene geri döndük, sistem rahatladı demişti. Dediğim gibi gerçekten bilgim az, belki de OOP'u kullanmayı beceremediler veya yeterli seviyede olmadıkları için bu durum oluştu ama bu olayı bana anlatması ister istemez bir önyargı oluşturmuştu bende. Sizin yazınızı okuduktan sonra ise hatanın büyük ihtimalle arkadaşımda olduğu kanısına vardım.

Yukarıda bununla ilgili ufacık bir yorum yaptım. Bunu bende duymuştum. Yüksek oranda CPU kullanımı yüzünden 250K ve üzeri bir hitte OOP olan sistemi yeniden PHP'ye taşımışlardı. Benim bilgim ve deneyimim yok tabi ki sizler kadar.

Tabi ki, seve seve bilgi veririm. Ayrıca bilgi ve paylaşımınız için de çok teşekkür ediyorum. Benden çok çok daha fazla bilgi ve deneyime sahip olan sizin gibi kişilerin görüşü gerçekten çok önemli. Hatta nasip olursa ve gerekli zamanı ayırabilecek bir arkadaş olursa buradan birisi ile çalışmayı çok istiyoruz.

Çok teşekkürler, Mongo'yu çok sık duydum. Nerede ise her yerde dile geldi bu projede. Mutlaka birlikte başlayacağımız arkadaşa da bunu söyleyeceğim.

Aslında birden çok sunucu kullanabiliriz. Fakat sizin multi-curl öneriniz de gerçekten büyük heycan yarattı bizde. Zaten bu tür projelerde önemli olan illa tek sunucuda işin bitmesi değil fakat kaynakları en verimli şekilde kullanabilmek. Çok yakın bir tarihte 4 işlemcili, 64GB ramli Xeon bir sunucuda tıkanan bir işin, yeniden ele alınması ile, daha yüksek hitlerde tek işlemcili, 16gb ramli bir e-1270 sunucuda çalıştığına şahit olmuştum. Programlama tekniği gerçekten çok önemli..

Çok teşekkürler, işin depolama kısmından ziyade, veritabanına sürekli verilerin gelmesi ve o verileri de sürekli kullanıcıların eşzamanlı olarak araması bizler düşündürüyor. 20 milyon URL kayıt edilirken veya update edilirken, anlık 2000-3000 kişi de arama yapabilir diye düşünerek çözümler üretmeye çalışıyoruz.



Hepinize teker teker çok teşekkür ederim arkadaşlar. Birkaç dakikanızı ayırarak yaptığınız yorumlar, paylaştığınız bilgi ve öneriler benim için gerçekten çok değerli. Bu anlamda şu konuya 2 satır da olsa yazı yazanların, yorum yapanların hakkını ödemek gerçekten çok zor.

Son olarak böyle bir projede vakti olan, deneylimli ve gerçekten işin altından kalkacağımız birisi ile de çalışmayı çok isteriz. Dileyen arkadaşlar bu konuda bana p.m. de gönderebilir. Titizlikle inceleyerek mutlaka dönüş sağlayacağım. Aslında işle ilgili biraz ayrıntı vermiştim fakat, kabaca yine söylemek gerekirse;

Kardeşim benim bu konuda pek bilgim yok. Fakat cok yakın linux php mysql oracle c++ java uzmanı bir abim var. Airties'da mühendis. İstanbulda yüzyüze görüşmek istersen ziyaret ederiz. istersen evrendemir@outlook.com skype eklersen oradanda görüşmenizi sağlayabilirim. gerçekten sana faydası olacağı kanatindeyim. iyi calısmalar dilerim.

Ahrefs gibi bir projeniz mi var?

@biomooj mantıksal katman ile yapılabilir diye düşünüyorum. Yinede diyeceğim gibi farklı olasılıklarda yapılandırmak gerekli. Bu arada hocam tasarımdan, yazılıma geçmen hızlı olmuş (herobilisim)

@EmrePirasa, haklısın hocam hep haklısınız..

jquery ?

Javascript tarayıcı tabanlı calışır

bunu söylemeniz çok iyi oldu hocam , bilmiyodum

Şaka bi yana, facebook datası toplarken kullanmıştım.
GRAPH.API sorgusu çok hızlı oluyodu o zaman.

*açık bırakıyodum bilgisayarı