ruggsea/infini-news-corpus
Dataset com 1 – 10 bilhões de exemplos — 28.0 mil downloads no Hugging Face. INFINI-NEWS Corpus 🔎 Search this corpus online: query it with sub-second full-text search and n-gram counts — in the browser or via a public, key…
O dataset ruggsea/infini-news-corpus está entre os destaques do Hugging Face — dados que alimentam o treinamento e a avaliação dos modelos do momento.
Ficha do dataset
- Tamanho: 1 – 10 bilhões de exemplos
- Tarefas: geração de texto, classificação de texto, recuperação de texto
- Idiomas: eng, spa, rus, deu, ita, fra, …
- Licença: CC BY 4.0
- Downloads: 28.0 mil · Curtidas: 14
Sobre o dataset
INFINI-NEWS Corpus 🔎 Search this corpus online: query it with sub-second full-text search and n-gram counts — in the browser or via a public, keyless REST API, no download required — at infini-news.
Como carregar
Use a biblioteca datasets do Hugging Face:
pip install -U datasets
Como é um dataset grande, vale carregar em modo streaming (sem baixar tudo):
from datasets import load_dataset
ds = load_dataset("ruggsea/infini-news-corpus", split="train", streaming=True)
for exemplo in ds.take(3):
print(exemplo)Tags
text-generation text-classification text-retrieval news journalism media common-crawl cc-news
Leia também
AutoMem: e se lembrar fosse uma habilidade que a IA aprende, não um sistema que a gente projeta?
LongCat-2.0: a Meituan abre um modelo de 1,6 trilhão de parâmetros treinado só em chips chineses
Amazon sunsets Mechanical Turk, the original "Artificial Artificial Intelligence"
