merhaba arkadaşlar, baktım adam akıllı güçte bir bilgisayar toplayabileceğim yok bu fiyatlarla. mobil teknoloji de durum ne diyerek biraz araştırma yaptım. yerel modeller burada da faaliyet halinde. önce işte pocketpal ile karşılaştım, zahmetsizce modeli kurup çalıştırabiliyorsun hatta çeşitli servislerden api key alırsanız web aramalarına da erişebiliyorsunuz. buradaki en büyük problem, siz kullanıyorsunuz; otomatik bir süreç haline getirmek isterseniz bir sunucu davranışı sağlamıyor pocketpal. sonra termux'a ollama ve ollama server kurdum. telefonuma göre de iki modeli gözüme kestirdim, qwen2.5-7b ve 3.5-4b. hatta işi biraz abarttım da, stable diffusion kurup görseller ürettim, ancak üretimi çok maliyetli; metine kıyasla çok daha fazla işlem gücü gerekiyor ve çok ciddi sürelerde tamamlanıyor. bu sebeple resim üretimini test edip, olmayacağına karar verip vazgeçtim. bu bilgi işinize yarar mı, yararsa da ne ölçüde yarar bilmem ama paylaşmak istedim. amacım daha önce hobi olarak geliştirdiğim makale üretim aracını mobil llm'ye bağlayıp makale ürettirmek. api derdi yok, güçlü bir modele kıyasla yüksek enerji tüketimi yok, hatta pcye hem cpu hem ram olarak bindireceği bir yük bile yok. test için önce curl ile bir istekte bulundum ve sadece "merhaba kendini kısaca tanıt" yazdım. yanıtın performansı şöyleydi;

{"choices":[{"finish_reason":"stop","index":0,"message":{"role":"assistant","content":"Merhaba! Ben bir yapay zeka asistanıyım.\n\nSana yardımcı olmak için **bilgi**, **yaratıcılık** ve **kodlama** gibi birçok alanda uzmanlaşmış bir yapay zeka modeli olarak tasarlanmışım. İşte benim temel özelliklerim:\n\n* **Çok Dilli Destek:** Türkçe, İngilizce ve dünyanın yüzlerce dilinde yazılımla iletişim kurabilirsin.\n* **Genel Bilgi:** Tarih, bilim, coğrafya ve kültür hakkında sorularını yanıtlamaktan memnuniyetle yanıt veririm.\n* **Yazım ve Düzenleme:** Metinler yazabilir, özetleyebilir, çevirebilir veya dil bilgisi hatalarını düzeltme işlemlerini yapabilirim.\n* **Kodlama ve Programlama:** Python, JavaScript, C++ gibi dillerde kod yazabilir, kodu debug edebilir veya programlama sorunlarına çözüm sunabilirim.\n* **Fikir Üretimi:** Yaratıcı yazarlık, fikir üretme, senaryo taslağı oluşturma veya planlama konularında sana destek olabilirim.\n\nNasıl bir konuda yardıma ihtiyacın var? Sorularını sor veya isteğini belirtirsen hemen başlıyorum!"}}],"created":1789537692,"model":"bartowski/Qwen_Qwen3.5-4B-GGUF:Q4_K_M","system_fingerprint":"b10991-930e2fa59","object":"chat.completion","usage":{"completion_tokens":285,"prompt_tokens":21,"total_tokens":306,"prompt_tokens_details":{"cached_tokens":0}},"id":"chatcmpl-z7Ap3OwnfNxSbhWOqfOJvDDqsbqc3egQ","timings":{"cache_n":0,"prompt_n":21,"prompt_ms":2243.715,"prompt_per_token_ms":106.84357142857144,"prompt_per_second":9.359477473743322,"predicted_n":285,"predicted_ms":85737.18,"predicted_per_token_ms":301.8914788732394,"predicted_per_second":3.312448578318065}}

Merhaba! Ben bir yapay zeka asistanıyım.
Sana yardımcı olmak için bilgi, yaratıcılık ve kodlama gibi birçok alanda uzmanlaşmış bir yapay zeka modeli olarak tasarlanmışım. İşte benim temel özelliklerim:

• Çok Dilli Destek: Türkçe, İngilizce ve yüzlerce dilde iletişim kurabilirim.
• Genel Bilgi: Tarih, bilim, coğrafya ve kültür sorularını yanıtlarım.
• Yazım ve Düzenleme: Metin yazma, özetleme, çeviri, dil bilgisi düzeltme.
• Kodlama: Python, JavaScript, C++ gibi dillerde kod yazma/debug.
• Fikir Üretimi: Yaratıcı yazarlık, fikir üretme, planlama desteği.

prompt işleme hızı: 9.4 token/sn
üretim hızı: 3.3 token/sn
prompt token sayısı: 21
üretilen token sayısı: 285
toplam süre: 88 sn

bu da kullandığım makale aracından yapılan bağlantı testi
bu testi neredeyse dip ayarlarda gerçekleştirdim.

./build/bin/llama-server -hf bartowski/Qwen_Qwen3.5-4B-GGUF:Q4_K_M --no-mmproj -c 4096 -b 512 -ub 256 --reasoning off --host 0.0.0.0 --port 8080

ortalama olarak 200-400mb arasında ram kullanıldı diyebilirim. bir kısıtlama uygulamadığımda ram baskısı yüzünden kapatılıyordu termux, kendi üst limitimi artık birkaç test sonra bulacağım, ilk testi maks 512 olarak başlattım. telefonda 8gb ram var, hepsini tanımlamam mümkün değil tabi, ne kadar tanımlayabileceğimi artık deneyerek göreceğim. hali hazırda zaten cloud api'ler kullanıyorum pc de, hiç yük altına da girmiyorum ama bir yandan da işte bağımlılık olmasa daha iyi olurdu diyerek, en azından ciddi bir iş yaptıramasam bile deneyim kazanayım diye bir şeyler uygulamaya çalışıyorum. içerik sitem falanda yok bu arada, makale üretimini yapabileceğim en basit şey olduğu için tercih ettim. artık kenarda kalmış telefonunuzla ne yapacağınız sizin hayal gücünüze kalmış. zaten bu konuya bakan herkes hali hazırda chatgpt veya claude kullanıyordur, kenardan da şöyle tatlı tatlı bir llm ile uğraşabilirsiniz hobi olarak. bir sonraki adım da searxng kullanarak mevcut modeli internette araştırma yapabilir hale getireceğim. searxng üzerinden araştırma yapıp, topladığı veri ile aracın belirlediği mevcut standartları makale yazımında uygulayacak, muhtemelen makale başına 10-15 dakika kadar bekletir diye düşünüyorum.