Modelo LLMs & Texto

robbyant/lingbot-video-moe-30b-a3b

Modelo de modelo · 30 B de parâmetros · MoE — 317 downloads e 66 curtidas no Hugging Face.

Hugging Face · Modelos ·robbyant · ·↓ 317 ·♥ 66

O modelo robbyant/lingbot-video-moe-30b-a3b aparece entre os mais comentados do Hugging Face — um termômetro do que a comunidade está realmente usando agora na tarefa de modelo.

Ficha técnica

  • Tarefa: modelo
  • Parâmetros: 30 B (arquitetura MoE)
  • Biblioteca: diffusers
  • Formatos: safetensors
  • Licença: Apache 2.0
  • Downloads: 317 · Curtidas: 66

Hardware recomendado

Estimativa de VRAM só para carregar os pesos (com ~20% de folga para ativações). Contextos longos consomem memória adicional para o cache de atenção (KV cache).

  • Precisão original (16-bit): ~72 GB de VRAM — 1 GPU de data center (80 GB, ex. A100/H100)
  • Quantizado 8-bit: ~36 GB de VRAM — 1 GPU profissional (48 GB, ex. A6000) ou 2× 24 GB
  • Quantizado 4-bit: ~18 GB de VRAM — 1 GPU high-end (24 GB, ex. RTX 3090/4090)

Por ser um modelo MoE (mixture-of-experts), todos os pesos precisam caber na memória, mas só uma fração é ativada por token — a inferência roda mais rápido do que o tamanho total sugere.

Como rodar localmente

Use a biblioteca diffusers para gerar imagens:

pip install -U diffusers transformers accelerate torch

from diffusers import DiffusionPipeline
import torch

pipe = DiffusionPipeline.from_pretrained(
    "robbyant/lingbot-video-moe-30b-a3b", torch_dtype=torch.float16
).to("cuda")

image = pipe("um gato astronauta, cinematográfico").images[0]
image.save("saida.png")

Tags

diffusers safetensors diffusers:LingBotVideoPipeline

Abrir o modelo no Hugging Face →

compartilhar: