QuixiAI/SYN-1B

O dataset QuixiAI/SYN-1B está entre os destaques do Hugging Face — dados que alimentam o treinamento e a avaliação dos modelos do momento.

Ficha do dataset

Sobre o dataset

SYN-1B Dataset Summary SYN-1B is a 1.

Como carregar

Use a biblioteca datasets do Hugging Face:

pip install -U datasets

Como é um dataset grande, vale carregar em modo streaming (sem baixar tudo):

from datasets import load_dataset

ds = load_dataset("QuixiAI/SYN-1B", split="train", streaming=True)
for exemplo in ds.take(3):
    print(exemplo)

Tags

text-generation synthetic pretraining language-modeling

Explorar o dataset no Hugging Face →