Dataset
LLMs & Texto
codeparrot/github-code
Dataset em destaque no Hugging Face — 5.7 mi downloads. The GitHub Code dataest consists of 115M code files from GitHub in 32 programming languages with 60 extensions totalling in 1TB of text data.
Hugging Face · Datasets
·codeparrot
·
·↓ 5703940
·♥ 394
O dataset codeparrot/github-code está entre os destaques do Hugging Face — dados que alimentam o treinamento e a avaliação dos modelos do momento.
Ficha do dataset
- Tarefas: geração de texto
- Idiomas: code
- Licença: proprietária / outra
- Downloads: 5.7 mi · Curtidas: 394
Sobre o dataset
The GitHub Code dataest consists of 115M code files from GitHub in 32 programming languages with 60 extensions totalling in 1TB of text data.
Como carregar
Use a biblioteca datasets do Hugging Face:
pip install -U datasets
from datasets import load_dataset
ds = load_dataset("codeparrot/github-code")
print(ds)
print(ds["train"][0])Tags
text-generation
// relacionados
Leia também
Editorial
Kimi K3: a China lança o maior modelo aberto do mundo — e ele não é o maior por acaso
Blog
Modelos de peso aberto agora igualam o desempenho cibernético de ponta de apenas quatro meses atrás por uma fração do custo
Blog
O novo manual de IA do Pentágono trata a adoção lenta como um risco maior do que o alinhamento imperfeito
Blog