DFG research unit FOR 2457 Acoustic Sensor Networks

Abstract

Given the ubiquity of wireless devices, the availability of multiple, spatially distributed microphones is a likely scenario for speech, or more general, acoustic signal processing. For example, signal processing on an ad hoc sensor layout allows people in a meeting with remote participation to use their own smartphones to form a virtual microphone array or to connect to and enhance a microphone array installed in a room. By exploiting the spatial diversity of the recording devices, potentially much better acoustic signal acquisition, enhancement and classification can be achieved than with a single microphone or a compact microphone array. But to reap those benefits significant challenges at various levels of the processing chain have to be met. A unique aspect, which distinguished this Research Unit (RU) from most other works on Acoustic Sensor Networks (ASNs), is its holistic approach considering all aspects of the topic. We adopted a divide-and-conquer strategy and arranged the various tasks of an ASN in three layers: Layer 1: Distribution, Communication and Synchronization (Projects P1 and P2): Allocation of tasks to nodes, accounting for acoustic and networking requirements, as well as sampling rate and sampling offset synchronization. Layer 2: Acoustic signal extraction and enhancement (Project P3), leveraging the advantages of sensor distribution, as well as characterizing signal-processing-related properties of the sound sources, the acoustic environment, and the sensors. Layer 3 (Projects P4 and P5): Privacy-preserving feature extraction, and acoustic scene and event classification on distributed microphones and in face of limited supervision. For all those aspects we can refer to significant contributions that we made in the course of the project (publications, demonstrations, open source software). Some highlights are as follows: (Layer 1) We virtualized both network nodes and links to realize arbitrary topologies on the same physical hardware, and formulated the optimal placement of tasks on nodes as a reinforcement learning problem. We developed several algorithms for blind sampling time and rate offset estimation and correction in dynamic acoustic environments. (Layer 2) We devised algorithms for source separation and sensor utility estimation that are tailored to the constraints of an ASN. (Layer 3) In a privacy-by-design approach we used information-theoretic concepts to strike an optimal balance between utility and privacy for the representations computed from the acoustic signal and transmitted over the network.We addressed the common problem of a lack of in-domain labeled training data, and achieved top ranks in the public Detection and Classification of Acoustic Scenes and Events (DCASE) challenges. We developed a testbed where those algorithms were tested on realistic data. In addition to many peer-reviewed papers we organized two well-received workshops (2018 in Oldenburg and 2022 in Bamberg) to present our findings to the scientific community. Mit der Allgegenwärtigkeit drahtloser Geräte ist die Verfügbarkeit mehrerer, räumlich verteilter Mikrofone ein wahrscheinliches Szenario für die Verarbeitung von Audiosignalen. Durch Ausnutzung der räumlichen Verteiltheit der Aufnahmegeräte kann eine viel bessere akustische Signalerfassung, -verbesserung und -klassifikation erreicht werden als mit einem einzelnen Mikrofon oder einem kompakten Mikrofonarray. Um diese Vorteile nutzen zu können, sind jedoch erhebliche Herausforderungen auf verschiedenen Ebenen der Verarbeitungskette zu meistern. Diese Forschergruppe (Research Unit, RU) unterscheidet sich von den meisten anderen Aktivitäten im Bereich akustischer Sensornetze (Acoustic Sensor Networks, ASNs) durch ihre ganzheitliche Betrachtungsgweise, die alle Aspekte des Themas berücksichtigt. Wir haben die verschiedenen Aufgaben eines ASN in drei Schichten angeordnet: Schicht 1: Verteilung, Kommunikation und Synchronisation (Projekte P1 und P2); Zuweisung der Signalverarbeitungsaufgaben auf die Sensorknoten unter Berücksichtigung der akustischen und netzwerktechnischen Anforderungen, sowie Abtastratensynchronisation. Schicht 2: Akustische Signalextraktion und -verbesserung (Projekt P3); Ausnutzung der räumlichen Sensorverteilung für verbesserte Signalakquise, sowie Charakterisierung der Schallquellen, der akustischen Umgebung und der Sensoren. Schicht 3: Privatsphären-erhaltende Merkmalsextraktion (P4) und akustische Szenen- und Ereignisklassifikation (P5) mit verteilten Mikrofonen bei begrenzter Menge an annotierten domänenspezifischen Trainingsdaten. In allen diesen Themen wurden wichtige Ergebnisse erzielt (Veröffentlichungen, Demonstratoren, Open-Source-Software), von denen einige hier genannt seien: (Layer 1) Virtualisierung, um beliebige Topologien auf einer vorgegebenen Hardware zu realisieren. Die optimale Platzierung von Aufgaben auf Knoten wurde als Reinforcement Learning Problem formuliert. Weiterhin wurden mehrere Algorithmen für die blinde Abtastratensynchronisation in dynamischen akustischen Umgebungen entwickelt. (Schicht 2) Es wurden Algorithmen für die Quellentrennung und die Schätzung des Nutzens jedes einzelnen Sensorknotens für die Signalverbesserung erarbeitet, die auf die Randbedingungen eines ASN zugeschnitten sind. (Schicht 3) In einem "Privacy-by-Design"-Ansatz wurden informationstheoretische Konzepte verwendet, um Signalrepräsentationen zu finden, die einen optimalen Abtausch zwischen Nutzen für eine Zielanwendung und dem Schutz der Privatsphäre bieten. Es wurden mehrere Verfahren entwickelt, die trotz eines Mangels an domänenspezifischen annotierten Trainigsdaten eine leistugsfähige Audioklassifikation auf Sensornetzen ermöglichen und die auf internationalen Vergleichstests (DCASE challenge) vordere Ränge belegten. Wir haben eine Testumgebung entworfen, in der Algorithmen an realistischen Daten getestet wurden. Nebst einer Vielzahl von Veröffentlichungen haben wir zwei Workshops organisiert (2018 in Oldenburg und 2022 in Bamberg), auf denen wir unsere Arbeiten der wissenschaftlichen Community präsentieren konnten.