1. O texto vira tokens

Antes de qualquer conta, o modelo quebra o texto em pedaços chamados tokens. Cada token recebe um número. Aqui o vocabulário é aprendido com o método BPE (codificação por pares de bytes): ele começa com letras soltas e junta, várias vezes, o par de pedaços que mais aparece nos textos de treino.

Texto

Com 0 junções, cada letra é um token. Quanto mais junções, maiores os pedaços e menos tokens por frase. Palavras raras continuam picadas.

Tokens

O número embaixo de cada pedaço é o identificador do token no vocabulário. É com esses números que a rede neural trabalha.

2. Probabilidade da próxima palavra

O modelo olha as últimas palavras e calcula a chance de cada palavra vir depois. Este modelo de demonstração aprendeu com cerca de 50 frases sobre escola e tecnologia, contando quais palavras costumam aparecer depois de quais. Um modelo de verdade faz a mesma pergunta, mas com bilhões de textos e uma rede neural no lugar da contagem.

Texto gerado

Começar com:

Palavras em verde foram sorteadas entre as mais prováveis; em amarelo, palavras que tinham menos de 15% de chance e saíram mesmo assim.

Controles do sorteio

A temperatura muda as chances antes do sorteio: p'(palavra) ∝ p(palavra)1/T. Com T baixa, a palavra mais provável fica com quase toda a chance e o texto fica repetitivo. Com T alta, as chances se igualam e aparecem palavras inesperadas. A semente fixa a sequência de sorteios: a mesma semente sempre gera o mesmo texto.

Candidatas para a próxima palavra

chance no modelochance depois da temperatura e do top-k

3. Mesma pergunta, respostas diferentes

Gere cinco continuações para o mesmo começo, com a temperatura escolhida. É por isso que o ChatGPT responde de jeitos diferentes à mesma pergunta.

    Para conversar com a turma

    • Por que o modelo às vezes junta palavras que fazem sentido gramatical, mas dizem algo falso? O que isso ensina sobre conferir as fontes de uma resposta de IA?
    • Com temperatura 0,1, a frase sai sempre igual. Em que situações isso é bom (um resumo) e em quais é ruim (ideias para uma redação)?
    • O modelo só sabe o que estava nos textos de treino. Experimente começar com uma palavra que não está nas frases de treino: o que acontece?
    • A palavra "inteligência" vira vários tokens com poucas junções. Por que palavras comuns ganham tokens próprios e palavras raras não?