Local'de kod asistanı kurmak

Question

Selamlar,
Local olarak kendi bilgisayarımızda çalışan, özellikle yazılım geliştirme tarafında güçlü bir AI agent / kod asistanı kurmak mümkün mü?
Hedefim basit autocomplete yapan bir model değil. Projeyi okuyabilen, birden fazla dosyada değişiklik yapabilen, hata çözebilen, terminal komutları çalıştırabilen ve mümkün olduğunca GPT-5.6 Terra / GPT-5.6 seviyesine yaklaşabilecek bir sistem kurmak.
Bu tarz bir local sistem için sizce hangi açık kaynak modeller kullanılabilir?

Bu tarz bir sistem kurmuş veya aktif kullanan arkadaşlar varsa kullandıkları model + donanım + yazılım altyapısını paylaşabilirlerse çok sevinirim.

taylanweb · Accepted Answer

pi-desktop kullan istediğin gibi yapıyı kurabilirsin.

emrevde adlı üyeden alıntı:						mesajı görüntüle									Selamlar,
Local olarak kendi bilgisayarımızda çalışan, özellikle yazılım geliştirme tarafında güçlü bir AI agent / kod asistanı kurmak mümkün mü?
Hedefim basit autocomplete yapan bir model değil. Projeyi okuyabilen, birden fazla dosyada değişiklik yapabilen, hata çözebilen, terminal komutları çalıştırabilen ve mümkün olduğunca GPT-5.6 Terra / GPT-5.6 seviyesine yaklaşabilecek bir sistem kurmak.
Bu tarz bir local sistem için sizce hangi açık kaynak modeller kullanılabilir?

Bu tarz bir sistem kurmuş veya aktif kullanan arkadaşlar varsa kullandıkları model + donanım + yazılım altyapısını paylaşabilirlerse çok sevinirim.

Gelistir · Answer

sistem özellikleriniz nedir ?

emrevde · Answer

Gelistir adlı üyeden alıntı:						mesajı görüntüle									sistem özellikleriniz nedir ? 		rtx 4060 8 gb vram 32 gb ram ryzen 7 5700x

Gelistir · Answer

emrevde adlı üyeden alıntı:						mesajı görüntüle									rtx 4060 8 gb vram 32 gb ram ryzen 7 5700x 		Elle tutulur hiçbir modeli çalıştıramazsınız hocam. llmfit https://www.llmfit.org/ cihazınızın desteklediği modelleri görebilirsiniz ancak çalıştıracağı model hem çok yavaş hemde küçültülmüş modeller olacağı için kodlama vs gelişmiş işleri yaptıramazsınız.

emrevde · Answer

Gelistir adlı üyeden alıntı:						mesajı görüntüle									Elle tutulur hiçbir modeli çalıştıramazsınız hocam. llmfit https://www.llmfit.org/ cihazınızın desteklediği modelleri görebilirsiniz ancak çalıştıracağı model hem çok yavaş hemde küçültülmüş modeller olacağı için kodlama vs gelişmiş işleri yaptıramazsınız. 		kontrol edeceğim hocam zaten sistemi değiştirmeyi düşünüyorum

KNUI · Answer

Valla o iş öyle olmuyor 
Bende denedim bunu offline çalışan model tüm ayarlarını yaptım fakat aşırı yavaş
Muhtemelen sağlam ekran kartları ve 256gb ramlar falan istiyor geri sildim aynu gün kurup
En basiti chat yaparken bile 20 saniye de cevap veriyordu
Sizin sistem bendekinden iyi bu arada ama sonuç yine değişmez boşuna ai etkilemedi ram ekran kartı fiyatlarını😁

İbrahimH · Answer

Kalite olarak çok bir şey bekleme, vram düşük olduktan sonra hiç bişe olmaz.

emrevde · Answer

İbrahimH adlı üyeden alıntı:						mesajı görüntüle									Kalite olarak çok bir şey bekleme, vram düşük olduktan sonra hiç bişe olmaz. 		hocam sizce 32 vram yeterli midir

İbrahimH · Answer

emrevde adlı üyeden alıntı:						mesajı görüntüle									hocam sizce 32 vram yeterli midir 		Vram dediğimiz şey ekran kartı ramı hocam değiştirilimez.
Önceki mesajlarda 4060 demişsiniz 4060 8 gb vram modelleri var.
Buna göre 
Yapay zeka modellerini tam hızda (GPU üzerinde) çalıştırmak için 7B - 8B (7-8 Milyar parametreli) quantized (Q4_K_M veya Q8_0) modeller en ideal seçimdir.
32 GB RAM'iniz sayesinde 14B ve 32B parametreli modelleri de çalıştırabilirsiniz (CPU + RAM desteğiyle / Offloading), ancak yanıt verme hızı (tokens/second) hissedilir derecede düşer.
ama claude, gpt kadar performans almanızın imkanı yok bence.
@Fizz; daha tecrübeli

emrevde · Answer

İbrahimH adlı üyeden alıntı:						mesajı görüntüle									Vram dediğimiz şey ekran kartı ramı hocam değiştirilimez.
Önceki mesajlarda 4060 demişsiniz 4060 8 gb vram modelleri var.
Buna göre
Yapay zeka modellerini tam hızda (GPU üzerinde) çalıştırmak için 7B - 8B (7-8 Milyar parametreli) quantized (Q4_K_M veya Q8_0) modeller en ideal seçimdir.
32 GB RAM'iniz sayesinde 14B ve 32B parametreli modelleri de çalıştırabilirsiniz (CPU + RAM desteğiyle / Offloading), ancak yanıt verme hızı (tokens/second) hissedilir derecede düşer.
ama claude, gpt kadar performans almanızın imkanı yok bence.
@Fizz; daha tecrübeli  		hocam denedim dün bu dediğinizi ev ısınmaya başladı normal mi

İbrahimH · Answer

emrevde adlı üyeden alıntı:						mesajı görüntüle									hocam denedim dün bu dediğinizi ev ısınmaya başladı normal mi 		
local LLM çalıştırmıyorum  Boşta bile böyle bana bir şey olmuyor.
Normal muhtemelen sonuçta fazla güç tüketip fazla ısınıyor.

Fizz · Answer

Milyon TL paran varsa kurulabilir

emrevde · Answer

Fizz adlı üyeden alıntı:						mesajı görüntüle									Milyon TL paran varsa kurulabilir 		900K var olmaz mı hocam şimdi

Fizz · Answer

emrevde adlı üyeden alıntı:						mesajı görüntüle									900K var olmaz mı hocam şimdi  		GPT 6 seviyesinde bir local llm çalıştırmak için 25M TL gözden çıkar