Lip-motion, face and speech analysis in synergy, for human-machine interfaces

hh.sePublications

Simple search

Advanced search -
Research publications Advanced search -
Student theses Statistics

Change search

ExportLink to record

Permanent link

Direct link

https://hh.diva-portal.org/smash/project.jsf?pid=project:265

BETA

Project

Project type/Form of grant

Project grant

Title [sv]

Läpprörelse, ansikt, och tal analys i synergi för människa-maskin gränssnitt

Title [en]

Lip-motion, face and speech analysis in synergy, for human-machine interfaces

Abstract [sv]

Projektet syftar att utveckla signalanalys och datakommunikation metoder för multipla sensorer som kan operera i vitt skilda miljöer, t.ex. för mobiltelefoner, bärbara datorer, för inbyggda system. Det fokuserar på att utveckla igenkänningsmetoder i signalar som representerar ansikte, läpprörelse och röst för tal och personigenkänning. Intresset ligger i att det möjliggör kommunikation med apparater utan fysisk beröring, reagerar på användare och deras instruktioner, som ersättare eller komplement till behörigets koder, eller mekaniska nycklar. Det är inte möjligt att lista alla tillämpningarna då människa-maskin analys gränssnitt redan spelar en nyckel roll i samhället. Möjligheterna till kommunikation i beröringsfri interaktion är långt större än vad inknapping och nycklar medger. Inte bara människor med god-hälsa, även de som har mindre god-hälsa, äldre, barn, de som har hörselskador, eller taktila rörelsehinder behöver kommunicera i en värld av ökad automatisering och självbetjänning. Läpp-rörelserna tillsammans med tal och ansikte skulle spela en nyckel roll för identifiering och tal igenkänning. En anledning till varför mono-modal signal analys (exempelvis enbart tal) inte har använts i större omfattning i tillämpningar varit att de inte är robusta när operationsmiljöer drastiskt ändras, t.ex. är det svårt att diktera eller utföra person igenkänning enbart med röst i ett framrusande tåg medan det går bra att göra det i en kontorsmiljö.

Principal InvestigatorBigun, Josef Halmstad University, School of Information Technology, Halmstad Embedded and Intelligent Systems Research (EIS), CAISR - Center for Applied Intelligent Systems Research (Closed down 2021-12-17)