eski telefonunuzu LLM host'a çevirin

merhaba arkadaşlar, baktım adam akıllı güçte bir bilgisayar toplayabileceğim yok bu fiyatlarla. mobil teknoloji de durum ne diyerek biraz araştırma yaptım. yerel modeller burada da faaliyet halinde. önce işte pocketpal ile karşılaştım, zahmetsizce modeli kurup çalıştırabiliyorsun hatta çeşitli servislerden api key alırsanız web aramalarına da erişebiliyorsunuz. buradaki en büyük problem, siz kullanıyorsunuz; otomatik bir süreç haline getirmek isterseniz bir sunucu davranışı sağlamıyor pocketpal. sonra termux'a ollama ve ollama server kurdum. telefonuma göre de iki modeli gözüme kestirdim, qwen2.5-7b ve 3.5-4b. hatta işi biraz abarttım da, stable diffusion kurup görseller ürettim, ancak üretimi çok maliyetli; metine kıyasla çok daha fazla işlem gücü gerekiyor ve çok ciddi sürelerde tamamlanıyor. bu sebeple resim üretimini test edip, olmayacağına karar verip vazgeçtim. bu bilgi işinize yarar mı, yararsa da ne ölçüde yarar bilmem ama paylaşmak istedim. amacım daha önce hobi olarak geliştirdiğim makale üretim aracını mobil llm'ye bağlayıp makale ürettirmek. api derdi yok, güçlü bir modele kıyasla yüksek enerji tüketimi yok, hatta pcye hem cpu hem ram olarak bindireceği bir yük bile yok. test için önce curl ile bir istekte bulundum ve sadece "merhaba kendini kısaca tanıt" yazdım. yanıtın performansı şöyleydi;

{"choices":[{"finish_reason":"stop","index":0,"message":{"role":"assistant","content":"Merhaba! Ben bir yapay zeka asistanıyım.\n\nSana yardımcı olmak için **bilgi**, **yaratıcılık** ve **kodlama** gibi birçok alanda uzmanlaşmış bir yapay zeka modeli olarak tasarlanmışım. İşte benim temel özelliklerim:\n\n* **Çok Dilli Destek:** Türkçe, İngilizce ve dünyanın yüzlerce dilinde yazılımla iletişim kurabilirsin.\n* **Genel Bilgi:** Tarih, bilim, coğrafya ve kültür hakkında sorularını yanıtlamaktan memnuniyetle yanıt veririm.\n* **Yazım ve Düzenleme:** Metinler yazabilir, özetleyebilir, çevirebilir veya dil bilgisi hatalarını düzeltme işlemlerini yapabilirim.\n* **Kodlama ve Programlama:** Python, JavaScript, C++ gibi dillerde kod yazabilir, kodu debug edebilir veya programlama sorunlarına çözüm sunabilirim.\n* **Fikir Üretimi:** Yaratıcı yazarlık, fikir üretme, senaryo taslağı oluşturma veya planlama konularında sana destek olabilirim.\n\nNasıl bir konuda yardıma ihtiyacın var? Sorularını sor veya isteğini belirtirsen hemen başlıyorum!"}}],"created":1789537692,"model":"bartowski/Qwen_Qwen3.5-4B-GGUF:Q4_K_M","system_fingerprint":"b10991-930e2fa59","object":"chat.completion","usage":{"completion_tokens":285,"prompt_tokens":21,"total_tokens":306,"prompt_tokens_details":{"cached_tokens":0}},"id":"chatcmpl-z7Ap3OwnfNxSbhWOqfOJvDDqsbqc3egQ","timings":{"cache_n":0,"prompt_n":21,"prompt_ms":2243.715,"prompt_per_token_ms":106.84357142857144,"prompt_per_second":9.359477473743322,"predicted_n":285,"predicted_ms":85737.18,"predicted_per_token_ms":301.8914788732394,"predicted_per_second":3.312448578318065}}

Merhaba! Ben bir yapay zeka asistanıyım.
Sana yardımcı olmak için bilgi, yaratıcılık ve kodlama gibi birçok alanda uzmanlaşmış bir yapay zeka modeli olarak tasarlanmışım. İşte benim temel özelliklerim:

• Çok Dilli Destek: Türkçe, İngilizce ve yüzlerce dilde iletişim kurabilirim.
• Genel Bilgi: Tarih, bilim, coğrafya ve kültür sorularını yanıtlarım.
• Yazım ve Düzenleme: Metin yazma, özetleme, çeviri, dil bilgisi düzeltme.
• Kodlama: Python, JavaScript, C++ gibi dillerde kod yazma/debug.
• Fikir Üretimi: Yaratıcı yazarlık, fikir üretme, planlama desteği.

prompt işleme hızı: 9.4 token/sn
üretim hızı: 3.3 token/sn
prompt token sayısı: 21
üretilen token sayısı: 285
toplam süre: 88 sn

bu da kullandığım makale aracından yapılan bağlantı testi
bu testi neredeyse dip ayarlarda gerçekleştirdim.

./build/bin/llama-server -hf bartowski/Qwen_Qwen3.5-4B-GGUF:Q4_K_M --no-mmproj -c 4096 -b 512 -ub 256 --reasoning off --host 0.0.0.0 --port 8080

ortalama olarak 200-400mb arasında ram kullanıldı diyebilirim. bir kısıtlama uygulamadığımda ram baskısı yüzünden kapatılıyordu termux, kendi üst limitimi artık birkaç test sonra bulacağım, ilk testi maks 512 olarak başlattım. telefonda 8gb ram var, hepsini tanımlamam mümkün değil tabi, ne kadar tanımlayabileceğimi artık deneyerek göreceğim. hali hazırda zaten cloud api'ler kullanıyorum pc de, hiç yük altına da girmiyorum ama bir yandan da işte bağımlılık olmasa daha iyi olurdu diyerek, en azından ciddi bir iş yaptıramasam bile deneyim kazanayım diye bir şeyler uygulamaya çalışıyorum. içerik sitem falanda yok bu arada, makale üretimini yapabileceğim en basit şey olduğu için tercih ettim. artık kenarda kalmış telefonunuzla ne yapacağınız sizin hayal gücünüze kalmış. zaten bu konuya bakan herkes hali hazırda chatgpt veya claude kullanıyordur, kenardan da şöyle tatlı tatlı bir llm ile uğraşabilirsiniz hobi olarak. bir sonraki adım da searxng kullanarak mevcut modeli internette araştırma yapabilir hale getireceğim. searxng üzerinden araştırma yapıp, topladığı veri ile aracın belirlediği mevcut standartları makale yazımında uygulayacak, muhtemelen makale başına 10-15 dakika kadar bekletir diye düşünüyorum.

ürettiğiniz resimlere örnek var mı?

Bunu bende yaptım redmi note 11 pro cihaz ile rootlamıştım bide şuan agentic işler bile yapıyo fakat yavaş olduğu için depseek api kullanıyorum. İnstagram hesabını vs kendi kendine kullanıyor kendine ait wp, tg si falan var bildiğin telefonun içinde bir agent yaşıyor

güzel çalışma olmuş takip +

Takip ++

Takip

üretirken en önemli 2 kriter var, ilki çözünürlük, ikincisi ise step. step'i ilk duyduğumda bana da tuhaf geldi, süreci kaç kere tekrarlayıp o boşluktan bir resim çıkartacağının tekrarı gibi düşünebilirsiniz. dip ayarlardan başladım 200px 10 step gibi, sonuç halüsinasyon boyutundaydı. 500'e çıkarttım pikseli yine kötü bir sonuçtu, bu sefer step değerini yükselttim. 30-40 dakika kadar bekledim, 50 step olarak belirtmiştim parametreyi. sonra uyuya kalmışım. telefonun işlem esnasında da şarjı tükenmiş. özetle kayda değer sonuç alamadım.
yukarıdaki iki resimde aynı komutlara sahip ama birinde 256 piksel ve 10 step parametre belirttim, ikincisinde ise 512 piksel 50 step belirttim. ancak ikinci resim ne kadar sürede üretildi fikrim dahi yok. 30-40dk bekledikten sonra uyuya kaldım.

Merhaba hocam,
Bilgili bir abiye benziyorsunuz. Bir şey sormak istiyorum:
Benim köşede duran iki telefonum var. Bunları rotate ip şeklinde kullanmak istiyorum,uçak modu kapat/aç pek stabil çalışmıyor. Başka bir fikriniz var mı acaba?

usb tethering ile telefonları pcye bağla. ağ olarak tanıt telefonları ve mobil veri hep açık kalsın. manuel veya adb üzerinden mobil veriyi kapatıp aç ip değiştirmek istediğinde. sen benden daha bilgilisin, önce soruyu anlamam gerekti, sen sorana kadar fikrim bile yoktu konuyla ilgili. üstüne düşünülerse geliştirici modu açılarak, süreci otomatik hale getirebileceğin şeylerde yapılabilir. zaten adb'ye cihazı tanıtmak için geliştirici modunu açman gerekir bu arada.