ruggsea/infini-news-corpus
Dataset com 1 – 10 bilhões de exemplos — 31.6 mil downloads no Hugging Face. INFINI-NEWS Corpus 🔎 Search this corpus online: query it with sub-second full-text search and n-gram counts — in the browser or via a public, key…
O dataset ruggsea/infini-news-corpus está entre os destaques do Hugging Face — dados que alimentam o treinamento e a avaliação dos modelos do momento.
Ficha do dataset
- Tamanho: 1 – 10 bilhões de exemplos
- Tarefas: geração de texto, classificação de texto, recuperação de texto
- Idiomas: eng, spa, rus, deu, ita, fra, …
- Licença: CC BY 4.0
- Downloads: 31.6 mil · Curtidas: 20
Sobre o dataset
INFINI-NEWS Corpus 🔎 Search this corpus online: query it with sub-second full-text search and n-gram counts — in the browser or via a public, keyless REST API, no download required — at infini-news.
Como carregar
Use a biblioteca datasets do Hugging Face:
pip install -U datasets
Como é um dataset grande, vale carregar em modo streaming (sem baixar tudo):
from datasets import load_dataset
ds = load_dataset("ruggsea/infini-news-corpus", split="train", streaming=True)
for exemplo in ds.take(3):
print(exemplo)Tags
text-generation text-classification text-retrieval news journalism media common-crawl cc-news
