Cognitivo auditivo filtra o ruído

Engenheiros de Columbia fazer grande avanço em ajudar os deficientes auditivos acompanhar uma conversa num ambiente ruidoso: novo método traz cognitivo aparelhos auditivos um passo mais próximo à realidade.

As pessoas que estão ouvindo com deficiência têm um tempo difícil, após uma conversa em um ambiente de múltiplos alto-falante como um restaurante barulhento ou uma festa. Enquanto atuais aparelhos auditivos pode suprimir o ruído de fundo, eles não podem ajudar um usuário ouvir uma única conversa entre muitos sem saber qual falante é atendendo o usuário. Um aparelho auditivo cognitivo que constantemente monitora a atividade do cérebro do sujeito para determinar se o assunto é conversando com um falante específico no ambiente poderia ser um sonho tornado realidade.

Usando modelos de rede neural profunda, pesquisadores da Columbia engenharia fizeram um grande avanço na atenção auditiva decodificação métodos (AAD) e estão se aproximando para concretizar a cognitivamente controlada de aparelhos auditivos.

Equipe do Mesgarani desenvolveu um sistema de ponta-a-ponta que recebe um único canal de áudio contendo uma mistura de alto-falantes por um ouvinte juntamente com os sinais neurais do ouvinte, automaticamente, separa os oradores individuais na mistura, determina que alto-falante é ser escutado e amplifica a voz do orador atendidos para auxiliar o ouvinte — tudo em menos de 10 segundos.

"Este trabalho combina o estado-de-the-art de duas disciplinas: Engenharia de discurso e atenção auditiva descodificação," diz Mesgarani, que também é membro do Instituto de ciência de dados e o Instituto Mortimer B. Zuckerman mente cérebro comportamento. " Fomos capazes de desenvolver este sistema, uma vez que fizemos o avanço no uso de modelos de rede neural profunda para separar discurso."

Sua equipe surgiu com a ideia de um aparelho auditivo cognitivamente controlado depois demonstraram que era possível decodificar o alvo participou de um ouvinte usando respostas neurais no cérebro do ouvinte usando invasivas gravações neurais em humanos (Natureza2012). dois anos mais tarde, eles mostraram que eles poderiam decodificar atenção com métodos não-invasivos, como bem (Córtex cerebral2015).

"Traduzir esses achados para poses de aplicações do mundo real muitos desafios," observa James O'Sullivan, um pós-doutorado cientista trabalhando com Mesgarani de pesquisa e principal autor do estudo. Em uma implementação típica de atenção auditiva descodificação, pesquisadores comparam as respostas neurais, gravadas a partir de cérebro de um assunto com o discurso limpo proferido por diferentes alto-falantes; o alto-falante que produz a máxima semelhança com os dados neurais está determinado a ser o alvo e é posteriormente amplificado. No entanto, no mundo real, os pesquisadores têm acesso somente à mistura, não os alto-falantes individuais.

"Nosso estudo leva um passo significativo para automaticamente, separando um altofalante participaram da mistura", continua O'Sullivan. "Para fazer isso, nós construímos modelos de rede neural profunda que podem automaticamente separar colunas específicas de uma mistura. Podemos então comparar cada um destes alto-falantes separados com os sinais neurais para determinar qual o assunto é ouvir de voz e então amplificar essa voz específica para o ouvinte."

A equipe testou a eficácia do seu sistema usando eletrocorticografia invasiva gravações de temas neurológicos submetidos à cirurgia de epilepsia. Eles identificaram as regiões do córtex auditivo que contribuem para o AAD e constatou que o sistema decodificado a atenção do ouvinte e amplificado a voz que ele ou ela queria ouvir, usando somente o áudio misto.

"Nosso sistema demonstra uma melhoria significativa em ambas as medidas de qualidade subjetiva e objetiva do discurso — quase todos os nossos súbditos disseram que queriam continuar a usá-lo," diz Mesgarani. "Nosso quadro romance de AAD preenche a lacuna entre os mais recentes avanços em discurso discurso prótese pesquisa e tecnologias de processamento e move-nos mais perto para o desenvolvimento de dispositivos auditivos realista que possa rastrear automaticamente e dinamicamente direção de um usuário de atenção e amplificar um altofalante atendido. "