Yapay zeka huggin face
3
●202
- 28-10-2024, 07:27:37Huggingfacede bazı modeller açıktır bazıları ise sizin kurmanızı ister hesap açıp onu install ettirmeniz nasıl karmaşık birazlulzsec37 adlı üyeden alıntı: mesajı görüntüle
- 28-10-2024, 08:26:08
from transformers import pipeline import torch model_id = "MODEL_ADI" pipe = pipeline( "text-generation", model=model_id, torch_dtype=torch.bfloat16, device_map="auto", #device=torch.device("cuda") # Eğer manuel ayarlamak istersen ) data = request.json() user_message = data['message'] outputs = pipe(conversation_history, max_new_tokens=4096) response = outputs[0]["generated_text"][-1]['content'] print(response)Yukarıda bir text2text modeli için kod bıraktım burdan referans alabilrisin. Ben api olarak yazmıştım bu sadeleşmiş hali ama en basic hali bu bildiğim kadarıyla. Modeli kullanırken virtualenv ile kullanmayı unutma. Goddamn modeller çok vram istiyor, bizde de para yok bakalım nere kadar gitcez böle böle.
