Article
Instabilitäten von Faltungsnetzen für akustische Signale (de)
* Presenting author
Abstract:
Was macht Deep Learning für akustische Wellenformen so schwierig? Trotz zahlreicher Versuche, faltungs-basierte neuronale Netze (Convnets) für das Lernen einer Filterbank zu trainieren, gelingt es oft nicht, handgefertigte fixe Ansätze zu übertreffen. Diese Filterbänke sind natürlich lineare zeitinvariante Systeme: Als solche könnten sie durch Convnets mit großen rezeptiven Feldern, also langen Filtern, sehr gut angenähert werden. In der Praxis führt die Gradientenoptimierung jedoch zu suboptimalen Näherungen. In unserem Vortrag nähern wir uns diesem Phänomen aus der Perspektive der Initialisierung. Wir präsentieren eine Theorie der Abweichungen für die Energieantwort von Filterbänken mit kurzen Filtern (FIR) mit zufällig gewählten Gaußschen Gewichten. Wir stellen fest, dass sich die Abweichungen bei langen Filtern und lokal periodischen Eingangssignalen verschlimmern, die jedoch beide typisch für Audiosignalverarbeitungsanwendungen in der Akustik sind. Numerische Simulationen stimmen mit unserer Theorie überein und legen zudem nahe, dass die Stabilität einer Faltungsschicht (convolutional layer) - gemessen an der Konditionszahl - einem logarithmischen Skalierungsgesetz zwischen der Anzahl und Länge der Filter folgt, was an diskrete Wavelets erinnert.Dieser Vortrag basiert großteils auf einer Vorab-Publikation, die derzeit in Begutachtung für eine Zeitschriftenveröffentlichung ist. Siehe https://arxiv.org/abs/2309.05855