• 28-10-2024, 07:07:19
    #1
    Huggin face deki yapay zeka modelleri nasıl çalıştırılıyor bilen varmı binlerce model var bitanesine tıklıyorum kod vs karmaşık biraz anlatacak varmı
  • 28-10-2024, 07:12:11
    #2
    Bildiğim kadarıyla piton ile çalışıyor
    • lulzsec37
    lulzsec37 bunu beğendi.
    1 kişi bunu beğendi.
  • 28-10-2024, 07:27:37
    #3
    Kişisel Rütbe
    lulzsec37 adlı üyeden alıntı: mesajı görüntüle
    Huggin face deki yapay zeka modelleri nasıl çalıştırılıyor bilen varmı binlerce model var bitanesine tıklıyorum kod vs karmaşık biraz anlatacak varmı
    Huggingfacede bazı modeller açıktır bazıları ise sizin kurmanızı ister hesap açıp onu install ettirmeniz nasıl karmaşık biraz
  • 28-10-2024, 08:26:08
    #4
    from transformers import pipeline
    import torch
    model_id = "MODEL_ADI"
    pipe = pipeline(
        "text-generation",
        model=model_id,
        torch_dtype=torch.bfloat16,
        device_map="auto", #device=torch.device("cuda")  # Eğer manuel ayarlamak istersen
    )
    data = request.json()
    user_message = data['message']
    outputs = pipe(conversation_history, max_new_tokens=4096)
    response = outputs[0]["generated_text"][-1]['content']
    print(response)
    Yukarıda bir text2text modeli için kod bıraktım burdan referans alabilrisin. Ben api olarak yazmıştım bu sadeleşmiş hali ama en basic hali bu bildiğim kadarıyla. Modeli kullanırken virtualenv ile kullanmayı unutma. Goddamn modeller çok vram istiyor, bizde de para yok bakalım nere kadar gitcez böle böle.