Carro que Aprende
Um carrinho 3D aprende a pista por tentativa e erro, como no aprendizado por reforço. Ajuste as recompensas, acompanhe a curva de aprendizado e veja a IA trapacear quando a recompensa está mal pensada.
Como usar
O carrinho: ele não sabe dirigir e não conhece a pista. A cada passo escolhe ir para a frente, para trás ou para os lados e recebe uma recompensa: pontos quando chega na linha de chegada, um pequeno castigo por passo (para ter pressa) e um castigo maior quando bate no gramado. Repetindo a pista muitas vezes (cada volta é um episódio), ele anota quais escolhas dão mais pontos em cada casa.
Experimente: clique em “Ver o carro dirigir” antes de treinar e veja o carro perdido. Depois use “Treinar 1 episódio” para acompanhar o aprendizado passo a passo, ou “Treinar 10” e “Treinar 100” para treinar rápido. “Mostrar o que aprendeu” pinta cada casa com uma seta: é a melhor escolha que o carro anotou ali. Mude as recompensas e treine de novo para ver o comportamento mudar.
Arraste o fundo da cena para girar; use a roda do mouse ou dois dedos para aproximar. Pelo teclado: Tab até a cena, setas giram e as teclas + e − aproximam. Todos os comandos também estão nos botões, e o caminho aprendido aparece escrito no painel.
Curva de aprendizado
- passos de um episódio em que o carro chegou
- episódio em que o carro não chegou (parou em 100 passos)
Episódios de treino
0
O carro ainda não treinou.
Recompensas
Como o carro aprende
- casa que vale muito (perto da chegada)
- casa que vale pouco
- casa que o carro aprendeu a evitar
Desafios
- Veja o carro dirigir sem treino. Depois treine até ele chegar sozinho na linha de chegada.
- Ligue a estrela (1 ponto ou mais), recomece do zero, treine 100 episódios e veja a IA “trapacear”: ela fica rodando na estrela e não termina a pista.
- Recomece do zero e ache um ajuste em que o carro aprenda o caminho mais curto (12 passos) com até 10 episódios de treino.
Para o professor
O que está por trás: é o aprendizado por reforço, o mesmo tipo de IA que aprende a jogar videogame, controla robôs e foi usado para ajustar os chatbots com notas dadas por pessoas. Ninguém mostra ao carro o caminho certo: ele só recebe recompensas e castigos. O algoritmo desta página é o Q-learning. Para cada casa e cada direção o carro guarda uma nota (o valor Q). Depois de cada passo ele corrige a nota: nota nova = nota antiga + taxa de aprendizado × (recompensa + 0,9 × melhor nota da próxima casa − nota antiga). O 0,9 é o desconto: pontos que estão longe valem um pouco menos que pontos agora, e é por isso que o carro prefere o caminho curto. A “curiosidade” é a chance de o carro ignorar as notas e testar uma direção ao acaso; sem ela, ele pode ficar preso no primeiro caminho que funcionou.
A estrela: ela dá pontos toda vez que o carro passa por ela. Mesmo valendo só 1 ponto, ir e voltar da estrela rende mais que terminar a pista, porque o prêmio da chegada vem uma vez só e a estrela paga de novo a cada passagem. O carro aprende exatamente isso. Pesquisadores chamam esse problema de reward hacking (trapaça da recompensa) ou falha de especificação: num caso famoso, um barco de corrida treinado por reforço descobriu que ganhava mais pontos girando em círculos sobre bônus do que completando a corrida. A IA não “quis” trapacear; ela fez o que a recompensa mandava, e não o que as pessoas queriam.
Metodologia sugerida: investigação em duplas, com registro numa tabela (ajuste usado, episódios até aprender, o que o carro fez). Comece com a turma prevendo o que vai acontecer antes de cada mudança, e só então treine.
- Antes de treinar, o carro anda sem rumo. Por que ele bate tanto no gramado? O que mudou depois do treino, já que ninguém ensinou o caminho?
- Zere o castigo por passo e o castigo por batida. O carro ainda aprende? Por que ele chega mais devagar, em mais episódios?
- A estrela fez o carro desistir da corrida. Pense num aplicativo que ganha “pontos” cada vez que você assiste a mais um vídeo. O que ele aprende a fazer com você?
- Com taxa de aprendizado 0,05 o carro demora muito; com 1 ele aprende rápido nesta pista. Numa pista com surpresas (gelo, vento), por que uma taxa muito alta pode atrapalhar?
- Quem decide as recompensas de uma IA de verdade? Que cuidados essa pessoa precisa ter?
Habilidades: EF09CO07 (implicações da tecnologia, aqui com a trapaça da recompensa) e EF09CO03 (o carro segue uma regra para cada estado, como um autômato; veja o plano Máquinas de estados). No 8º ano e no Ensino Médio funciona como introdução à IA. Para comparar com outra forma de aprender, use a Rede Neural por Dentro e a Montanha do Erro. Versão desplugada: uma pista de papel quadriculado no chão, um aluno-carro com venda nos olhos, um colega que só diz a recompensa (+10, −1) e uma tabela no quadro com a melhor direção anotada em cada casa.