Modelo LLMs & Texto

MaralGPT/MaralGPT-Mythos-9B-2606-GGUF

Modelo de geração de texto · 9 B de parâmetros — 4.0 mil downloads e 43 curtidas no Hugging Face.

Hugging Face · Modelos ·MaralGPT · ·↓ 4035 ·♥ 43

O modelo MaralGPT/MaralGPT-Mythos-9B-2606-GGUF aparece entre os mais comentados do Hugging Face — um termômetro do que a comunidade está realmente usando agora na tarefa de geração de texto.

Ficha técnica

  • Tarefa: geração de texto
  • Parâmetros: 9 B
  • Biblioteca: transformers
  • Formatos: GGUF
  • Licença: Apache 2.0
  • Downloads: 4.0 mil · Curtidas: 43

Hardware recomendado

Estimativa de VRAM só para carregar os pesos (com ~20% de folga para ativações). Contextos longos consomem memória adicional para o cache de atenção (KV cache).

  • Precisão original (16-bit): ~22 GB de VRAM — 1 GPU high-end (24 GB, ex. RTX 3090/4090)
  • Quantizado 8-bit: ~11 GB de VRAM — 1 GPU de consumo (12 GB, ex. RTX 3060/4070)
  • Quantizado 4-bit: ~5.4 GB de VRAM — 1 GPU de consumo (≥ 8 GB, ex. RTX 3060)

Como rodar localmente

Os pesos estão em GGUF, prontos para rodar na CPU ou GPU com Ollama, llama.cpp ou LM Studio — sem Python.

# Ollama
ollama run hf.co/MaralGPT/MaralGPT-Mythos-9B-2606-GGUF

# ou llama.cpp
llama-cli -hf MaralGPT/MaralGPT-Mythos-9B-2606-GGUF -p "Explique o que é entropia."

Tags

transformers gguf qwen3.5 reasoning uncensored long-context 1M-context function-calling

Abrir o modelo no Hugging Face →

compartilhar: