Local LLM hakkında;

Yapay zekalara kodlama yaptırmak istiyorum ama engellemelerden dolayı çoğu şeyi yapmayı reddediyor

local llm olayını duydum. Çok güçlü sistemler mi gerekiyor kurmamız için? tecrübesi olan paylaşırsa sevinirim

otomasyon veya örnek veriyorum kendi kendine veri alıp excele işleyecek yazılımlar yapmaya çalışıyoruz. Bunun için kullanacağız

bi tık ekran kartı gücü istiyor hugginface ile biraz araştırma ile kurabilirsiniz

ekran kartının vramini sömürür hocam. en kötü 8gb düzgün bir ekran kartı lazım. Aslında engelleme olayı çok fazla yok, sadece promta uydurman lazım o zaman yazıyor.

Antigravity kullanmanı tavsiye ederim en düşük maliyetli o, localde yapay zeka ile kodlama yaparsın ama verim alamazsın. Ya çok sağlam gpuya ihtiyacın olur yada rame vs.

Giriş seviyesi için bir tık iyi bir sistem gerekir hocam

Hocam bu kullanım senaryosu için bence ilk etapta güçlü bir sistem toplamaya hiç gerek yok. DeepSeek Harness + DeepSeek API ile başlayabilirsiniz. Harness tarafı dosya okuma/yazma, terminal çalıştırma, kod üretme ve çok adımlı işleri yönetme konusunda zaten agent mantığında çalışıyor. Mesela “şu kaynaktan veriyi çek, temizle, kategorilere ayır ve Excel’e işle” gibi işleri Python, Playwright, pandas veya openpyxl kullanarak hazırlatabilirsiniz. Burada asıl işi Harness yönetiyor, model ise DeepSeek tarafında çalışıyor. Bu nedenle ekran kartınız çok güçlü olmasa bile API üzerinden gayet rahat kullanabilirsiniz. Daha sonra tamamen local çalışmak isterseniz Ollama üzerinden local model bağlama seçeneğine geçebilirsiniz. Ben olsam önce Harness + API ile sistemi ve otomasyonları oturturdum; gerçekten sürekli kullanım veya gizlilik ihtiyacı oluşursa o zaman 24 GB VRAM gibi güçlü bir ekran kartına yatırım yapardım. Başlangıç için çok daha mantıklı ve maliyetsiz bir yol olur.

güçlü model için güçlü sistem şart tabii ki ama giriş seviyesi modelleri deneyebilirsin

32gb ram ve 3060ti ile bişeler yapamaz mı Local LLM

8gb vram ile lokalde ayağa kaldırıp verim alınabilecek model şu an yok.
16gb vram ile qwen 3.8 27b kullanılabilir. Content policy diye bir gerçek var hocam, neye göre yok dediniz bilemedim.
öyle üç beş komut ile Jailbreaking yapamazsınız. çok ciddi katmanları mevcut.

Local LLM’de asıl önemli olan VRAM. Normal RAM de kullanılır ama VRAM yetmeyince performans ciddi düşer. 3060 Ti’ın 8 GB VRAM’iyle küçük ve quantize modeller çalışır, güçlü modellerde ise VRAM sınırına takılırsın.