Hocam daha çok yolun başındasınız index'i halletseniz farklı sorunlarla karşılacaksanız, o sorunları fixlediğiniz de yenileri. Hiç kimse bu konu başlığı altında talep ettiğiniz detayları açıklamayacaktır. Kısa bilgi şekilde aktarılacak bir bilgi de değil aynı zamanda. Bir eğitim edasıyla a'dan z'ye anlatmak lazım. Birden fazla yazılım dili gerekebilir. Yazılımın icra edilmesi için algoritmasını oluşturmalısınız. İçerik kısmını hallettiğinizi belirttiniz fakat deprem öncesinde 4TB içerik ile denemiştik(bu bile yeterli değildi, bu işi hakkıyla yapanların yanında çok komik gülünç bir rakam 3TB), bu içeriklerin kombinasyonları sayfa yapıları, iç refresh bağlantıları, özelleştirilmiş sitemapi, newsi, dataların kendi aralarında belirli parametlere göre uyarlanması, en büyük sorunlardan birisi SEARCH API, bi kamyon masraf. SEARCH API yerine farklı arama motorları kullanılabilir(önermem). Proxy masrafları(yazılım ile kazıyarak/belirli zaman diliminde check edip filtreleyip kullanılabilirleri kullandığınız yazılıma transfer ederek ekstra kâr elde edilebilir. Multi therads işlemde sağlasanız çok temiz bir kod ile yazıya dökülmüş olması lazım ki veri kazıma da kaliteli bir işçilik çıksın. Mıy mıy çekilerek oluşturabilecek bir data değil çünkü. Çok büyük içerik dataları için çok fazla sunucu giderleri vs. boşverin hocam hiç uğraşmayın indexletilmesinin de yöntemleri var fakat bu tarz bilgilerin paylaşımını sağlamıyor/icra edilmesini de uygun görmüyorum. Bizimki yaptığımız testler tamamen deney odaklıydı. Herhangi bir kâr amacı yoktu, çekilen trafiği SEO amaçlı değerlendirebilir miyiz görmekti, verimli olmadı, aksine SEO açısından zararı dahi oldu. Bu nedenle aynı zamanda deprem zamanına(yazılımcımız depremzede olmuştu) denk gelmiş olması nedeniyle kısa süre de sonlandırıldı. Yorum atan @ByHazerfen; 'ında denemeleri vardı, İstişaremiz olmuştu kendisiyle de zamanında. Forumda başka arkadaşlarda var uğraşan.. Masraflarla birlikte, çok büyük datalar. Aynı zaman da işiniz gücünüz varsa hiç uğraşılacak bir şey değil. Yazılım bilginiz yok ise hiç bulaşmayın kısaca. Ben yeteri kadar performans alamadım, alan arkadaşlar var. Global alanda zaten örnekleri de mevcut. Yazılım kısmında başarılı olmanız dene/yanıl/geliştir yapısını kendinizin icra edebilmesi gerek. 3şahıslar ile süreçler uzadıkça proje soğuyor.

Kısaca: başka bir projeye girişin bence, önermem.