Cientistas franceses criaram uma interface não invasiva capaz de converter sinais do cérebro em texto digitado em um teclado. Métodos de magnetoencefalografia (MEG) e eletroencefalografia (EEG) são usados para coletar os dados. O processo de conversão de sinais cerebrais em símbolos é realizado por meio do modelo de rede neural Brain2Qwerty. Os melhores resultados foram alcançados com o uso de MEG, onde a média de erros foi de 29%, enquanto com EEG esse indicador atingiu 65%.
Desenvolvimento de interfaces cérebro-computador
Nos últimos anos, tem havido um progresso significativo na área de interfaces cérebro-computador, que permitem que pessoas com paralisia grave ou esclerose lateral amiotrófica restaurem a capacidade de comunicação. Essas neurointerfaces leem a atividade do córtex motor e a traduzem em texto com velocidade próxima à da fala normal. No entanto, os sistemas mais eficazes exigem intervenção cirúrgica para implante de eletrodos diretamente no tecido cerebral, o que acarreta riscos à saúde e dificuldades na manutenção de longo prazo dos chips. Portanto, as pesquisas atuais visam criar sistemas que não exijam cirurgias.
Comparação de métodos de coleta de dados
O método mais comum para obtenção não invasiva de informações sobre a atividade cerebral é o EEG, que registra potenciais elétricos na pele da cabeça através de um capacete especial. No entanto, o sinal é fortemente enfraquecido e distorcido pelos ossos do crânio, o que reduz a relação sinal-ruído. A MEG oferece uma relação sinal-ruído mais alta, pois mede os campos magnéticos do cérebro, que estão sujeitos a menos distorções por outros tecidos. Embora a MEG tenha sido raramente usada para tais tarefas anteriormente devido ao volume do equipamento, os pesquisadores decidiram aplicar ambos os métodos em combinação com aprendizado de máquina.
Configuração experimental e modelo
Sob a liderança de Jarod Levy, da unidade Meta AI* em Paris, foi realizado um trabalho de decodificação de texto não invasivo. O experimento contou com a participação de 35 falantes nativos de espanhol saudáveis. Os voluntários foram apresentados sequencialmente a frases curtas em espanhol, palavra por palavra. Depois que o texto desaparecia, os participantes deveriam lembrar e digitar a frase em um teclado QWERTY. Uma versão não magnética foi usada para evitar interferências dos detalhes do teclado. Durante a digitação, a atividade cerebral foi registrada usando EEG ou MEG, e cada pressionamento de tecla foi sincronizado com os dados cerebrais. O conjunto de dados coletado incluiu centenas de milhares de pressionamentos para ambos os métodos.
Arquitetura da rede neural Brain2Qwerty
Para decifrar os dados coletados, os autores treinaram o modelo de rede neural Brain2Qwerty, composto por três partes. Na primeira etapa, o algoritmo divide os registros contínuos da atividade cerebral em segmentos de meio segundo ao redor de cada pressionamento de tecla. Esses fragmentos passam primeiro por um módulo convolucional, que extrai características espaço-temporais dos sinais e considera as particularidades individuais dos participantes. Em seguida, as representações obtidas são enviadas a um módulo com arquitetura Transformer, que analisa a sequência de pressionamentos dentro de toda a frase, usando o contexto para refinar as previsões de caracteres individuais. Na etapa final, o sistema aplica um modelo de linguagem pré-treinado para corrigir possíveis erros de digitação. Essa estrutura de três etapas garante a tradução direta dos sinais cerebrais para formato de texto.
Resultados dos testes e conclusões
Os testes demonstraram a clara superioridade da MEG sobre o EEG. O modelo treinado com sinais magnéticos apresentou um nível médio de erro no reconhecimento de caracteres de 29% (o que inclui substituições, inserções e exclusões para corresponder à linha prevista com a correta). O indicador correspondente para sinais elétricos foi de 65%, tornando o EEG pouco adequado para aplicação prática. Nos participantes mais bem-sucedidos que usaram MEG, a taxa de erro caiu frequentemente para 18%. Além disso, o modelo conseguiu reconstruir frases inteiras, mesmo que não estivessem presentes no conjunto de treinamento original. Uma análise adicional mostrou que a rede neural assimilou bem o posicionamento das teclas em um teclado padrão, e os erros ocorriam mais frequentemente ao confundir letras adjacentes, o que indica a leitura de comandos motores do cérebro. Os autores também observaram que o modelo reconhece eficientemente palavras de uso frequente, mantendo a capacidade de adivinhar vocabulário raro.
Perspectivas de desenvolvimento da tecnologia
Atualmente, o sistema gera um resultado somente após o usuário terminar de digitar a frase inteira. Os desenvolvedores pretendem alterar a arquitetura para permitir o funcionamento em tempo real. O próximo passo crítico será testar o sistema em pacientes paralisados que só conseguem formar texto mentalmente. O principal obstáculo técnico no momento é a necessidade de usar um scanner de campos magnéticos estacionário e grande. No entanto, os autores expressam esperança de que o desenvolvimento de sensores compactos permita, no futuro, a criação de capacetes vestíveis para tais interfaces.
>