Bakın burada elinizdeki 1000 tane corn job'ın ne iş yaptığı, ne kadar sürede yaptığını bilmiyorum. 1000 tane process aynı anda çalıştıracaksınız. Bu çok doğru bir iş değil. Bunları dediğiniz gibi tek bir cronda sıralı bile yapsanız ki buda tek process te yapmak demek oluyor buda doğru değil, toplam da 5 dakika da bittiğini varsayalım yani küçük işler olduğunu düşünelim. Her bir iş için ram de kaplanan yerinde düşük olduğunu varsayalım. Toplamda 5 dakika da biterse ve siz her dakika aynı işi tekrar tetiklerseniz hangi işlemci olursa olsun eninde sonunda bunu yapamaz hale gelecektir. Programlama mantığı olarakta yanlış bir yaklaşım. Burada yapılacak tek şey dediğim gibi queue'ya iş bırakmanız ve birden fazla consumer la bunu dinlemeniz. Kaç consumer ayağa kaldıracağınız da elinizdeki işlemlerin süresine göre optimize edersiniz. Gerekirse aynı queue yu başka makinelere de dinletebilirsiniz. Redis ya da Memcache bir işinize yaramaz en fazla veriyi Ram'e yazmış olursunuz. Queue yu da Ram' e yazacaksınız büyük ihtimalle zaten. Diske de yazabilirsiniz orası alabileceğiniz risk e göre size kalmış.
1 dakikada 1000 işlemin biteceğine inanıyorsanızda PThread class ları var PHP de onları inceleyebilirsiniz. PHP thread based bir dil olmadığı için multi threading yapamaz ama bu classlarla multi process olarak çalıştırabilirsiniz.
hocam sizin dediğiniz gibi queue ya alarak 5 dakika bir çalışmasını nasıl sağlayabilirim? hiç anlamam server işlerinden, serverıda patlatmak istemiyorum.