openbmb/UltraX-Preview

O dataset openbmb/UltraX-Preview está entre os destaques do Hugging Face — dados que alimentam o treinamento e a avaliação dos modelos do momento.

Ficha do dataset

Sobre o dataset

UltraX: Refining Pre-Training Data at Scale with Adaptive Programmatic Editing 📜 Paper | 💻 Code | 🤖 Models | 📦 UltraData Collection English | 中文 📚 Introduction UltraX is a function-calling refinement framework for large-scale pre-training data that adaptively generates and executes editing functions for efficient instance-wise refinement.

Como carregar

Use a biblioteca datasets do Hugging Face:

pip install -U datasets

Como é um dataset grande, vale carregar em modo streaming (sem baixar tudo):

from datasets import load_dataset

ds = load_dataset("openbmb/UltraX-Preview", split="train", streaming=True)
for exemplo in ds.take(3):
    print(exemplo)

Tags

text-generation llm pretraining web-corpus data-refinement programmatic-editing function-calling

Explorar o dataset no Hugging Face →