Dataset LLMs & Texto

IlyaGusev/habr

Dataset com 100 mil – 1 milhão de exemplos — 1.6 mil downloads no Hugging Face. Habr dataset Summary: Dataset of posts and comments from habr.

Hugging Face · Datasets ·IlyaGusev · ·↓ 1609 ·♥ 77

O dataset IlyaGusev/habr está entre os destaques do Hugging Face — dados que alimentam o treinamento e a avaliação dos modelos do momento.

Ficha do dataset

  • Tamanho: 100 mil – 1 milhão de exemplos
  • Tarefas: geração de texto
  • Idiomas: russo, inglês
  • Downloads: 1.6 mil · Curtidas: 77

Sobre o dataset

Habr dataset Summary: Dataset of posts and comments from habr.

Como carregar

Use a biblioteca datasets do Hugging Face:

pip install -U datasets

from datasets import load_dataset

ds = load_dataset("IlyaGusev/habr")
print(ds)
print(ds["train"][0])

Tags

text-generation

Explorar o dataset no Hugging Face →

compartilhar: