TypeProbe: Recuperando representações de tipos a partir dos estados ocultos de modelos de código pré-treinados

arXiv:2607.08339v1 Tipo de anúncio: novo Resumo: Os modelos de código de última geração alcançam um desempenho impressionante, porém o quanto eles codificam internamente informações de tipos permanece pouco compreendido. Nós sondamos os fluxos residuais de modelos de código pré-treinados em busca de representações internas de tipos, usando um conjunto de dados paralelo de exemplos de código em Java e Python. Nossos resultados mostram que representações de tipos interlinguísticas emergem até mesmo a partir de código sem tipagem. Além disso, testamos se os estados ocultos codificam linearmente as res...