Assistência por voz para pessoas cegas

O que é

É um site para o celular que ajuda uma pessoa cega a se orientar. A pessoa aponta a câmera para a frente, toca em qualquer lugar da tela e fala o que precisa: “cadê a xícara”, “o caminho está livre?”, “leia este texto”, “me leva até a reitoria”. O site responde em voz alta, dizendo de que lado está cada coisa, a que distância e o que há no caminho.

A tela inicial tem só dois botões grandes, Começar e Como funciona, e tudo depois disso é por voz. Sem nenhum pedido, o site só avisa paredes e obstáculos à frente e diz quando um lado se abre e dá para virar. Uma fala nunca corta outra.

É um projeto pessoal, feito em paralelo ao meu mestrado em Ciência da Computação na UFSM, onde pesquiso inteligência artificial para pessoas com deficiência visual. O código é aberto e está no GitHub.

O que dá para pedir

Como funciona por dentro

• Objetos: dois detectores rodam no próprio celular, o EfficientDet-Lite0 (80 objetos do dia a dia) e um detector MobileNet que treinei com 49 objetos do Open Images.
• Distância: um mapa de profundidade (MiDaS) calculado no celular. As distâncias são aproximadas.
• Voz: o reconhecimento e a fala são os do próprio navegador, em português.
• IA na nuvem: o Claude, da Anthropic, para o que o celular não reconhece e para ler textos. Só funciona se alguém colar uma chave da API em “Configuração para quem ajuda”.
• Rua: GPS, bússola e os serviços públicos do OpenStreetMap.
• Pessoas: a biblioteca face-api, que transforma o rosto em 128 números, no celular.

Privacidade, cookies e LGPD

Em resumo: nenhuma das duas páginas usa cookies, e eu não tenho servidor que receba os seus dados. O que o experimento guarda fica no navegador do seu celular. Alguns pedidos dependem de serviços de terceiros, e eles estão listados abaixo, com o que recebem.

Cookies e contador de visitas

Esta página não usa cookies. Ela guarda no navegador só a sua escolha de tema claro ou escuro e tem um contador de visitas do GoatCounter, que conta acessos sem cookies e sem identificar quem visita. O experimento não tem contador nenhum. As duas páginas baixam as fontes do Google Fonts, e esta também baixa ícones do cdnjs (Cloudflare); como em qualquer download, esses serviços recebem o endereço IP do seu aparelho.

O que fica guardado no seu celular

O experimento usa o armazenamento local do navegador (localStorage), que não é cookie e não é enviado a ninguém. Lá ficam:

• as preferências de voz e de velocidade da fala, a sensibilidade do contador de passos e se o tutorial já foi ouvido;
• os percursos gravados (a ordem dos objetos vistos, curvas e passos);
• os lugares lembrados (nome, objetos e direções, em texto);
• as pessoas cadastradas (nome e o código numérico do rosto);
• a chave da API da Anthropic, se alguém colar uma.

Para apagar, diga “apagar pessoa Maria”, “esquecer o lugar cozinha” ou apague os dados do site nas configurações do navegador. A opção “Exportar memória” cria um arquivo de texto com tudo isso, inclusive os códigos dos rostos: guarde-o com cuidado.

Câmera

As imagens são analisadas no próprio celular e não são gravadas. Uma foto só sai do celular quando a pessoa pede algo à IA na nuvem (procurar um objeto que o celular não conhece, ler um texto ou descrever um lugar) e só se houver uma chave configurada. Nesse caso a foto vai direto do celular para a API da Anthropic, nos Estados Unidos, sem passar por mim, e segue a política de privacidade da Anthropic. Evite apontar a câmera para documentos ou pessoas nesses pedidos.

Microfone

O site não grava áudio: recebe do navegador só o texto do que foi falado. Quem transforma a voz em texto é o navegador, e alguns fazem isso nos servidores da empresa: no Chrome, o áudio pode ir para o Google; no iPhone, para a Apple.

Localização e sensores

O GPS só é usado nos pedidos de rua (“que prédio é esse?”, “me leva até…”). Para responder, a posição e o nome do lugar procurado são enviados aos serviços públicos do OpenStreetMap (Overpass, Nominatim e o servidor de rotas a pé). A posição não fica guardada. A bússola e o acelerômetro, usados nos percursos, ficam só no celular.

Rostos são dados sensíveis

Para a LGPD (Lei nº 13.709/2018, art. 5º, inciso II, e art. 11), o dado biométrico do rosto é um dado pessoal sensível. Por isso o reconhecimento de pessoas é opcional e só deve ser usado com o consentimento de quem é cadastrado, que pode pedir para ser apagado a qualquer momento. O cadastro guarda só o nome e um código de 128 números, no celular; a foto não é guardada nem enviada, e o reconhecimento acontece sem internet.

Pesquisa e contato

Usar o experimento por conta própria não é participar de uma pesquisa, e nenhum dado de uso chega a mim. Testes com pessoas cegas só vão acontecer depois da aprovação do Comitê de Ética em Pesquisa, com termo de consentimento próprio. Dúvidas ou pedidos sobre dados: contato@ohtopico.com.br.

Perguntas frequentes

Preciso instalar alguma coisa?

Não. É um site: basta abrir no navegador do celular e permitir a câmera e o microfone. Os modelos de IA são baixados na primeira vez, por isso o início demora um pouco mais.

Funciona sem internet?

Depois de carregado, a detecção de objetos, os obstáculos, os percursos e o reconhecimento de pessoas funcionam no celular. A voz do navegador, a IA na nuvem e os pedidos de rua precisam de internet.

Quanto custa?

O site é gratuito. A IA na nuvem é opcional e, fora do Claude, usa uma chave da API da Anthropic de quem configura, cobrada pela Anthropic conforme o uso.