OpenAI firmasının yeni bir işi var, model aplikasyonu shape-E'yi yayınladı, bu model ne yapabilir? Onu ilk satan Chihiro! Önce size bir meslek tanıtayım, 3D modelci.
3D modelci, bu mesleğin iş içeriği nedir?
3D modelleyiciler en çok endüstride ve oyunlarda talep görmektedir. Layman'ın deyimiyle, iki boyutlu düzlem karakterlerinin üç boyutlu modellemeye dönüştürülmesidir. Ah bu? İngilizce konuş! Doğrudan bir örnekle açıklayalım:
"Doraemon" personel grubu fotoğrafı 2D versiyonu

"Doraemon" personel fotoğrafı 3D versiyonu

Sadece bu değil, Hugging Face topluluğunda doğrudan 3D modelleme mümkündür.
Oluşturulan 3D modelin resmi de yerel görüntülemeyi destekler ve 3D modelin resmi indirilir.
Görüntülemek için Windows sistemiyle birlikte gelen 3B çizimi kullanın ve efekt daha da iyi!


Yukarıdaki, shape-E modelinin nihai etkisidir.Shape-E modelinin çalışma prensibini inceleyelim.
3. Modelin çalışma prensibi
Shap-E hala gizli uzay difüzyon modelini (Gizli Difüzyon) kullanmaktadır.
Stable Diffusion'a aşina olan arkadaşlar bu kavramı iyi bilirler.Aslında bazı yüksek boyutlu bilgilerin boyutsallığını belirli bir özellik uzayına indirgemek ve daha sonra bu özelliklere dayalı olarak üretmektir.
proje adresi:
https://github.com/openai/shap-e
Algoritma dağıtımı karmaşık değildir, Shap-E yalnızca CLIP'e bağlıdır.
(1) Shape adlı bir sanal ortam ayrı olarak oluşturulabilir.
conda create -n shape python=3
(2) conda ortamını etkinleştirin
conda activate shape
(3) Ardından, CLIP'in bazı bağımlılıklarını yükleyin
conda install --yes -c pytorch pytorch=1.7.1 torchvision cudatoolkit=11.0
pip install ftfy regex tqdm
(4) Shap-E projesinin kök dizinine girin ve pip kalan bağımlı paketleri kurar
pip install -e .
shap_e/examples/sample_text_to_3d.ipynb, metin açıklamasından 3B model oluşturmak için komut dosyası kodudur.
shap_e/examples/sample_image_to_3d.ipynb, 2B düzlemsel bir görüntüden 3B model oluşturmak için komut dosyası kodudur.