In de toekomst krijgen we gehoorbescherming, waarschuwingen en hulp van kunstmatige intelligentie in het oor. Onderzoekers werken aan slimme apparaatjes in onze oren die ons gehoor beschermen en tegelijk gesprekken in lawaaierige omgevingen vergemakkelijken. In de toekomst zullen die ons verbinden, telefoongesprekken mogelijk maken, spraakopdrachten beantwoorden en ons waarschuwen voor gevaarlijke geluiden.
Lawaai en communicatie
Een productiehal in de toekomst: twee werknemers in een lawaaierige machinewerkplaats dragen de voorgeschreven gehoorbescherming, maar de twee praten toch moeiteloos met elkaar, vlak naast een heftig stampende en ronkende machine. De intelligente hoorsystemen in hun oren blokkeren niet simpelweg hun gehoorgang, maar geven de dragers de akoestische indruk dat ze vrij kunnen horen: ze laten gesproken woorden door en het geluid van de machine wordt weggehouden van de trommelvliezen.
Alarmsignaal
Plotseling hapert de machine en klinkt er ergens een alarmsignaal. Dat doet de twee werknemers onmiddellijk opstaan en opletten, want hun hoorapparaten hebben op dat alarmsignaal gereageerd met een waarschuwingsbericht. Terwijl een van hen via spraakopdrachten de foutstatus van de machine opvraagt en deze in een reparatiemodus zet, is de ander al een gesprek begonnen met de productiemanager, die in zijn kantoor aan het andere eind van de hal zit. In beide gevallen dienen de hearables als headsets, en worden de verbindingen tot stand gebracht via het lokale wifi.
Auditieve opdrachten aan systeem
Een andere visie op de nabije toekomst: een arbeider zet onderdelen in elkaar en spreekt de orders hardop uit. Zijn hearable stuurt de bestelling direct door naar het magazijnsysteem. Tegelijkertijd hebben software-algoritmen op de hearable geconstateerd dat een van de stekkerverbindingen niet goed op zijn plaats zit omdat het juiste klikgeluid niet heeft geklonken. Een spraakbericht laat de werknemer weten dat hij dat even opnieuw moet controleren.
Als hoofd van de groep Personalized Hearing Systems aan het Fraunhofer Instituut voor Digitale Mediatechnologie (IDMT) in Oldenburg coördineert dr. Jan Rennies-Hochmuth sinds meer dan een jaar het onderzoek naar intelligente gehoorbescherming. Het oorspronkelijke idee: op veel plaatsen, zoals in productiebedrijven en bij de wegenbouw, moeten werknemers hoe dan ook gehoorbescherming dragen.
Functie-integratie
Tegelijkertijd is het oor een zeer interessante draagpositie voor een communicatie-interface. Er dienen zich tal van mogelijkheden aan voor intelligente functie-integratie:
Aan de afdeling Medische Fysica en Akoestiek van de universiteit van Oldenburg is de afgelopen jaren het prototype van een akoestisch transparant hoorsysteem ontwikkeld. Hoewel de gehoorgang daarmee grotendeels wordt afgesloten, moet dit systeem het vervelende gevoel van een verstopt oor en onnatuurlijke geluiden voorkomen.
In de basismodus mag het zogeheten Transparant Earpiece niet hoorbaar zijn, de subjectieve indruk is die van een open oor, terwijl tegelijkertijd lawaai of zelfs knallen niet tot het trommelvlies doordringen.
Drie microfoons
Ingebed in een oorstuk van de Transparant Earpiece zitten drie externe microfoons, twee naar binnen gerichte luidsprekers die het geluid van buiten filteren en, verrassend genoeg, een interne microfoon. Er is een optionele ventilatieopening, die essentieel is voor een comfortabele draagervaring. Het prototype wordt als onderzoeksplatform geproduceerd door het bedrijf InEar in Dieburg.
De Transparant Earpiece is een prototype voor onderzoek dat zijn energie nog steeds via een kabel krijgt. Links en rechts van het Hearing 4all-logo zijn twee externe microfoons te zien.
Berekent en elimineert lawaai
‘De twee luidsprekers kunnen verschillende frequentiebereiken bestrijken,’ zegt professor dr. Birger Kollmeier. Bovendien kunnen de luidsprekers zo worden aangestuurd dat ze de interferentie met het directe geluid uit het ventilatiegat versterken of verzwakken. De Transparant Earpiece berekent dus aan de hand van zijn ingangssignalen hoeveel lawaai er door de ventilatie dringt en elimineert die realtime. In extreme gevallen worden de luidsprekers gebruikt om de drager stilte te bieden door tegengeluid (ANC).
De binnenmicrofoon wordt gebruikt om geluid zo dicht mogelijk bij het trommelvlies op te vangen. Dat stelt onderzoekers in staat het geluidsresultaat te controleren en de luidsprekeruitgang te optimaliseren.
De binnenmicrofoon in de gehoorgang opent een tweede mogelijkheid: beschermd tegen omgevingslawaai kan hij de stem van de drager zeer goed opnemen. Vooral in een lawaaierige omgeving is de signaal-ruisverhouding, oftewel de verhouding tussen de eigen spraak van de drager en het omgevingslawaai, vaak te laag. Dat geldt zelfs voor een microfoon die zich vlak voor de mond bevindt.
Stemopname in gehoorgang
In de gehoorgang zijn de omstandigheden voor stemopname veel beter. ‘De stem klinkt in de gehoorgang door de combinatie van botgeluid en direct geluid anders dan wat luisteraars van buitenaf gewend zijn te horen,’ zegt Kollmeier. Voor telefoongesprekken werken de onderzoekers daarom aan elektronische filters die de stemopnamen op zo’n manier verwerken dat ze natuurlijk klinken. Voor andere toepassingen is spraakherkenning met behulp van de akoestiek van de gehoorgang heel goed mogelijk.
De Fraunhofer-onderzoekers onder leiding van Rennies-Hochmuth maken voor hun projecten ook gebruik van de Transparent Earpiece. Zo werken zij bijvoorbeeld aan het mogelijk maken van natuurlijke gesprekken ondanks gehoorbescherming en omgevingslawaai.
Algoritmen voor bronscheiding
De algoritmen voor bronscheiding die daarvoor nodig zijn, worden gegenereerd door machine-learning en onderscheiden spraak (potentieel gewenst geluid) al vrij betrouwbaar van lawaai waartegen een drager zich wil beschermen.
Herkennen richting geluid
Een ander doel van het project: de drager moet de richting kunnen herkennen van waaruit hij wordt aangesproken. De drie externe microfoons op elke Transparant Earpiece maken het mogelijk geluidsbronnen te onderscheiden naargelang hun richting.
Rennies-Hochmuth geeft een praktijkvoorbeeld: bij een leverancier van windturbines vergaderen elke dag vijf tot zes werknemers in de lawaaierige productiehal, voor het grote scherm op een centrale machine. Het geluidsniveau is net laag genoeg zodat gehoorbescherming nog niet verplicht is, dus niemand draagt er een. Desondanks kunnen de collega’s alleen communiceren door te schreeuwen.
Intelligente gehoorbescherming
De onderzoekers die deze bijeenkomst observeerden, waren verbaasd: elke dag ging dat zo maar liefst drie kwartier door. Intelligente gehoorbescherming zou die communicatie zeker kunnen verbeteren. Het zou nog beter zijn om gehoorbescherming met een headsetfunctie te gebruiken voor vergaderingen onder moeilijke omstandigheden, bijvoorbeeld over een netwerk via bluetooth of wifi. Een werknemer kan dan om een machine heen lopen en toch met collega’s blijven praten. Een collega op een externe locatie zou zelfs kunnen inbellen.
Blijf op de hoogte van de nieuwste informatie en tips!
Schrijf je in voor de nieuwsbrief:
Trainen via Machine-learning en andere KI
In het laboratorium onderscheiden de hearables niet alleen spraak van lawaai. Met de juiste software kunnen ze ook verschillende gebeurtenissen detecteren en de juiste signalen geven.
‘Om dat te doen, gebruiken we machine-learning of andere kunstmatige-intelligentiemethoden om de hearable te trainen in wat een gebeurtenis vormt in termen van zijn akoestische eigenschappen,’ meldt Danilo Hollosi, hoofd van de afdeling Acoustic Event Detection bij Fraunhofer IDMT.
Een gebeurtenis kan een waarschuwingstoon zijn, een te hoog toerental, of zelfs het geluid van een stekkerverbinding die vastklikt.
Onderzoekers proberen hersengolven in het oor te meten met een in-ear-prototype van Cosinuss.
Detectie van verschillende tonen
Die detectie hoeft niet beperkt te blijven tot één gebeurtenis. De softwaremodellen kunnen zeker worden gecombineerd. In dat geval zou een hoortoestel bijvoorbeeld een waarschuwingstoon kunnen detecteren, evenals een bepaalde machineschade, en bij de montage kunnen meetellen of er genoeg ‘kliks’ zijn. De boodschap aan de drager van de hearable kan de vorm aannemen van een spraakbericht, maar het is ook denkbaar om tactiele feedback aan het oor te geven, bijvoorbeeld door te vibreren.
Het team van Hollosi werkt momenteel samen met partners uit de industrie aan verschillende systemen die klikken akoestisch analyseren, bijvoorbeeld wanneer sierstrips aan bumpers worden bevestigd, wanneer sierelementen in het interieur van een voertuig worden aangebracht of wanneer elektronische componenten in elkaar worden gestoken. Als vuistregel geldt dat wat een mens kan waarnemen, zeer waarschijnlijk ook door een machine kan worden gedetecteerd.
Algoritme filter achtergrondlawaai
Volgens Hollosi is de technologie van vandaag in staat achtergrondlawaai net zo goed uit te filteren als een mens. Afhankelijk van de ruis worden verschillende algoritmen gebruikt. Moderne AI-processen voeren signaalverbetering autonoom uit door zelf de juiste algoritmen te kiezen. Directionele filtering helpt om alleen rekening te houden met de eigen klikgeluiden en niet met die van naburige productielijnen.
Detectie-software draait onafhankelijk in de hearable
Een belangrijk kenmerk van de oplossing van de IDMT-onderzoekers is dat hun software rechtstreeks op de hearable draait. ‘Geen enkele vorm van ruwe audiogegevens verlaat het analysesysteem, alleen berichten over wat er is gedetecteerd, wanneer en waar,’ zegt Hollosi. Het dataverkeer kan op die manier beperkt worden. Het systeem reageert sneller en is niet noodzakelijk netwerkafhankelijk.
Tenslotte werken de Oldenburgse onderzoekers ook aan het integreren van spraakherkenning. Intelligente gehoorbescherming maakt het immers mogelijk de stem van een drager zelfs in lawaaierige productiehallen ongestoord op te nemen, al is het dan nog enorm vervormd. Spraakherkenningsalgoritmen kunnen daar op worden aangepast. Zo zou een werknemer bijvoorbeeld spraakopdrachten naar een machine kunnen sturen.
Communiceren met centraal productiesysteem
Of hij kan eenvoudig en rechtstreeks met een centraal productiesysteem spreken, om bijvoorbeeld procesgerelateerde onderdelen te bestellen. Operationeel voorgeschreven documentatietaken kunnen handsfree worden uitgevoerd via spraakinvoer. In beide gevallen hoeft de werknemer niet van zijn werkplek te komen en zijn handschoenen uit te trekken om een formulier op een touchscreen in te vullen.
De lijst van denkbare extra functies voor intelligente gehoorbescherming gaat maar door. Een geluidsdosismeter zou kunnen worden geïntegreerd om, vooral bij zeer lawaaierige omgevingen, een waarschuwing te geven als het lawaai het gehoor permanent dreigt te beschadigen en de grenswaarden ondanks de geluidsbescherming dreigen te overschrijden.
Bovendien is een uitgebreidere gezondheidsmonitoring op het oor denkbaar.
Waarschuwingen gezondheid in gevaar
Het in München gevestigde bedrijf Cosinuss verkoopt reeds hearables met in-ear-sensors, software en een streaming-unit. Die meten bijvoorbeeld de lichaamstemperatuur, de polsslag, de zuurstofverzadiging in het bloed en de ademhalingsfrequentie. Met die gegevens kan een systeem alarm slaan als een werknemer problemen heeft op een afgelegen werkplek, zoals een booreiland. Vandaag de dag worden die hearables al gebruikt om patiënten te monitoren, of ze registreren de lichaamsfuncties van atleten.
In-ear-sensors zoals de Cosinuss One meten de polsslag en lichaamstemperatuur al. Slimme gehoorbescherming zou die functies in de toekomst kunnen overnemen.
EEG elektroden rond oorschelp
Het oor-EEG-systeem cEEGrid, dat nu commercieel verkrijgbaar is, werd al in 2015 ontwikkeld aan de Universiteit van Oldenburg voor mobiele hersengolfmetingen. De vastgeplakte EEG-elektroden met flexibele geleiders kunnen rond de oorschelp worden bevestigd en kunnen hersengolven registreren in alledaagse situaties. Een groep onder leiding van dr. Insa Wolf, hoofd Mobile Neurotechnologies bij Fraunhofer IDMT, werkt momenteel aan het verder ontwikkelen van die sensorstrips.
Epilepsie sensors
In het onderzoeksproject MOND (mobile smart neurosensing system for the detection of epileptic seizures) willen de onderzoekers mensen met epilepsie in het dagelijks leven observeren om aanvallen op te sporen, de dosering van de medicatie te verbeteren en mogelijk zelfs vroegtijdige waarschuwingssystemen ontwikkelen voor epilepsieaanvallen.
Nauwkeurigeheid EEG sensors
Samen met Cosinuss als partner proberen de onderzoekers ook hearables uit met EEG-sensors rechtstreeks in de gehoorgang. Ook dat is op dit moment al mogelijk. Wolf wijst er echter op dat het twijfelachtig is of die systemen bij continu gebruik de nauwkeurigheid zullen bereiken van extern aangebrachte verstelbare EEG-elektroden. Bovendien toont het voorbeeld van EEG hoe sensors op de hearables met elkaar kunnen interfereren, omdat met name metingen van hersengolven gevoelig zijn voor elektromagnetische straling van andere apparaatcomponenten.
Observeren hersengolven voor rust en stress
Het permanent observeren van hersengolven zou in de toekomst ook nieuwe inzichten kunnen opleveren in het slaaplaboratorium. Die parameters geven ook een beeld van de cognitieve belasting en stress van een werknemer. Met name bij veiligheidskritische beroepen zoals luchtverkeersleiders, piloten en machinebedieners, zouden EEG’s waarschuwingen kunnen afgeven zodra de aandacht verslapt.
‘Over een paar jaar zal het standaard zijn om een device in het oor te hebben dat intelligent verbonden is, dat ons de weg wijst, ons herinnert aan afspraken en dat we gebruiken om te communiceren,’ daar is Rennies-Hochmut van overtuigd.
Onmerkbaar dragen
Het onderwerp gehoorbescherming is voor veel mensen vandaag de dag nog steeds niet bespreekbaar, net zoals dat geldt voor hoortoestellen, die vooral zo verborgen mogelijk gedragen moeten kunnen worden. Maar met akoestisch transparante systemen die niet aanvoelen alsof een vreemd voorwerp het oor blokkeert, zou dat kunnen veranderen.
Beschermen en gemak
In de nabije toekomst verwachten de onderzoekers de ontwikkeling van op de markt verkrijgbare hearable-producten die bescherming bieden tegen lawaai en tegelijkertijd ontspannen gesprekken mogelijk maken.
Binnenkort
De eerste toepassingen van scène-analyse, bijvoorbeeld het automatisch evalueren van klikgeluiden in productieprocessen, zouden reeds over twee jaar in gebruik kunnen zijn. Over twee jaar zijn ook projecten mogelijk waarbij gebruikgemaakt wordt van spraakbesturing voor machines in lawaaierige machinewerkplaatsen, gewoon via hearables die de stem in het gehoorkanaal opnemen.
Spraakcommando’s
Van daaruit zou het nog maar een kleine stap zijn totdat productiemedewerkers via spraakcommando’s rechtstreeks contact kunnen maken met de bedrijfssoftware en van daaruit instructies kunnen krijgen op de hearable in hun oor.
Arne Grävemeyer en Noud van Kruysbergen; c’t magazine 6, 2021, p66
De kleine volledig draadloze in-ear koptelefoons zijn razend populair dankzij een goed geluid en extra’s zoals ANC active noise cancelling.
We beluisterden tien paar bluetooth in-ear oordopjes met prijzen tussen de 85 en 1200 euro om te bepalen of de dure exemplaren ook echt de meerprijs w...
