thinkingmachines/Inkling-Small-NVFP4

O modelo thinkingmachines/Inkling-Small-NVFP4 aparece entre os mais comentados do Hugging Face — um termômetro do que a comunidade está realmente usando agora na tarefa de visão e linguagem.

Ficha técnica

Como rodar localmente

Modelo de visão e linguagem — envie imagem + texto:

pip install -U transformers accelerate torch

from transformers import pipeline

vlm = pipeline("image-text-to-text", model="thinkingmachines/Inkling-Small-NVFP4", device=0)
msgs = [{"role": "user", "content": [
    {"type": "image", "url": "https://exemplo.com/foto.jpg"},
    {"type": "text", "text": "Descreva a imagem."},
]}]
print(vlm(text=msgs, max_new_tokens=200))

Tags

transformers safetensors inkling_mm_model image-text-to-text conversational audio-text-to-text moe 8-bit

Abrir o modelo no Hugging Face →