Tobias Feigl
Dr.-Ing. Tobias Feigl
-
Verifikation und Validierung in der industriellen Praxis
(Projekt aus Eigenmitteln)
Laufzeit: seit 01.01.2022Erkennung von Flaky-Tests auf Basis von Software-Versionsdaten und Testausführungshistorie
Regressionstests werden häufig und aufgrund ihres großen Umfangs zumeist vollautomatisiert ausgeführt. Sie sollen sicherstellen, dass Änderungen an einzelnen Komponenten eines Softwaresystems keine unerwünschten Nebenwirkungen auf das Verhalten von Teilsystemen haben, die von den Modifikationen eigentlich gar nicht betroffen sein sollten. Doch selbst wenn ein Testfall ausschließlich unveränderten Code ausführt, kann es trotzdem vorkommen, dass er manchmal erfolgreich ist und manchmal fehlschlägt. Derartige Tests nennt man "flaky" und die Gründe dafür können sehr vielfältig sein, u.a. Wettlaufsituationen bei nebenläufiger Ausführung oder vorübergehend nicht verfügbare Ressourcen (z.B. Netzwerk oder Datenbanken). Flaky-Tests sind für den Testprozess in jeder Hinsicht ein Ärgernis, denn sie verlangsamen oder unterbrechen sogar die gesamte Testausführung und sie untergraben das Vertrauen in die Testergebnisse: Ist ein Testlauf erfolgreich, kann daraus nicht zwangsläufig geschlossen werden, dass das Programm diesbezüglich wirklich fehlerfrei ist, und schlägt der Test fehl, müssen ggf. teure Ressourcen investiert werden, um das Problem zu reproduzieren und ggf. zu beheben.
Der einfachste Weg, Test-Flakyness zu erkennen, besteht darin, Testfälle wiederholt auf der identischen Code-Basis auszuführen, bis sich das Testergebnis ändert oder mit einer gewissen statistischen Aussagesicherheit davon auszugehen ist, dass der Test nicht "flaky" ist. Im industriellen Umfeld ist dieses Vorgehen jedoch selten möglich, da Integrations- oder Systemtests extrem zeit- und ressourcenaufwendig sein können, z.B. weil sie die Verfügbarkeit spezieller Test-Hardware voraussetzen. Aus diesem Grund ist es wünschenswert, die Klassifikation von Testfällen hinsichtlich Flakyness ohne wiederholte Neuausführung vorzunehmen, sondern dabei ausschließlich auf die bereits verfügbaren Informationen aus den bisherigen Entwicklungs- und Testphasen zurückzugreifen.
Im Jahr 2022 wurden verschiedene sogenannte Black-Box-Verfahren zur Erkennung von Test-Flakyness vergleichend untersucht, in einem realen industriellen Testprozess mit 200 Testfällen evaluiert und in ein praktisches Werkzeug implementiert. Die Klassifikation eines Testfalls erfolgt dabei ausschließlich auf Basis allgemein verfügbarer Informationen aus Versionskontrollsystemen und Testausführungswerkzeugen - also insbesondere ohne aufwändige Analyse der Codebasis oder Überwachung der Testüberdeckung, die im Falle eingebetteter Systeme in den meisten Fällen ohnehin unmöglich wäre. Von den 122 verfügbaren Indikatoren (u.a. z.B. die Testausführungszeit, die Anzahl der Code-Zeilen oder die Anzahl der geänderten Code-Zeilen in den letzten 3, 14 und 54 Tagen) wurden verschiedene Teilmengen extrahiert und ihre Eignung für die Erkennung von Test-Flakyness bei Verwendung unterschiedlicher Verfahren untersucht. Zu diesen Verfahren zählen regelbasierte Methoden (z.B. "ein Test ist flaky, wenn er mind. fünfmal innerhalb des Beobachtungsfensters fehlgeschlagen ist, aber dabei nicht fünfmal hintereinander"), empirische Bewertungen (u.a. die Bestimmung der kumulierten gewichteten "flip rate", also die Häufigkeit des Alternierens zwischen Testerfolg und -fehlschlag) sowie verschiedene Verfahren aus der Domäne des Maschinellen Lernens (u.a. Klassifikationsbäume, Random Forest oder Multi-Layer Perceptrons). Die Verwendung KI-basierter Klassifikatoren zusammen mit dem SHAP-Ansatz zur Erklärbarkeit von KI-Modellen führte zur Bestimmung der wichtigsten vier Indikatoren ("features") für die Bestimmung der Test-Flakyness im konkret untersuchten industriellen Umfeld. Als optimal hat sich dabei das sog. "Gradient Boosting" mit der kompletten Indikatorenmenge herausgestellt (F1-score von 96,5%). Nur marginal niedrigere Accuracy- und Recall-Kennwerte (bei nahezu gleichem F1-score) konnte das gleiche Verfahren mit nur vier ausgewählten Features erzielen.
Synergien von vor- und nachgelagerten Analysemethoden zur Erklärung künstlicher Intelligenz
Der Einsatz künstlicher Intelligenz verbreitet sich rasant und erobert immer neue Domänen des täglichen Lebens. Nicht selten treffen Maschinen dabei auch durchaus kritische Entscheidungen: Bremsen oder Ausweichen beim autonomen Fahren, Kredit(un)würdigkeit privater Personen bzw. von Unternehmen, Diagnose von Krankheiten aus diversen Untersuchungsergebnissen (z.B. Krebserkennung aus CT/MRT-Scans) u.v.m. Damit ein solches System im produktiven Einsatz Vertrauen verdient, muss sichergestellt und nachgewiesen sein, dass die gelernten Entscheidungsregeln korrekt sind und die Realität widerspiegeln. Das Trainieren eines maschinellen Modells selbst ist ein sehr ressourcenintensiver Prozess und die Güte des Ergebnisses ist in der Regel nur mit extrem hohem Aufwand und fundiertem Fachwissen nachträglich quantifizierbar. Der Erfolg und die Qualität des erlernten Modells hängt nicht nur von der Wahl des KI-Verfahrens ab, sondern wird im besonderen Maße vom Umfang und der Güte der Trainingsdaten beeinflusst.
Im Jahr 2022 wurde daher untersucht, welche qualitativen und quantitativen Eigenschaften eine Eingabemenge haben muss ("a-priori-Bewertung"), um damit ein gutes KI-Modell zu erzielen ("a-posteriori-Bewertung"). Dazu wurden verschiedene Bewertungskriterien aus der Literatur vergleichend bewertet und darauf aufbauend vier Basisindikatoren definiert: Repräsentativität, Redundanzfreiheit, Vollständigkeit und Korrektheit. Die zugehörigen Metriken erlauben eine quantitative Bewertung der Trainingsdaten im Vorfeld. Um die Auswirkung schlechter Trainingsdaten auf ein KI-Modell zu untersuchen, wurde mit dem sog. "dSprites"-Datensatz experimentiert, einem verbreiteten Generator für Bilddateien, der bei der Bewertung von Bilderkennungsverfahren eingesetzt wird. Damit wurden gezielt verschiedene Trainingsdatensätze generiert, die sich jeweils in genau einem der vier Basisindikatoren unterscheiden und dabei quantitativ unterschiedliche "a-priori-Güte" haben. Damit wurden jeweils zwei verschiedene KI-Modelle trainiert: Random Forest und Convolutional Neural Networks. Anschließend wurde die Güte der Klassifikation durch das jeweilige Modell anhand der üblichen statistischen Maße (Accuracy, Precision, Recall, F1-score) quantitativ bewertet. Zusätzlich wurde SHAP (ein Verfahren zur Erklärbarkeit von KI-Modellen) genutzt, um die Gründe für eine etwaige Missklassifikation bei schlechter Datenlage zu ermitteln. Wie erwartet, korreliert die Modellqualität mit der Trainigsdatenqualität: Je besser letztere hinsichtlich der vier Basisindikatoren abschneiden, desto genauer klassifiziert das trainierte Modell unbekannte Daten. Eine Besonderheit hat sich jedoch bei der Redundanzfreiheit herausgestellt: Erfolgt die Bewertung eines trainierten Modells mit komplett neuen/unbekannten Eingaben, dann ist die Genauigkeit der Klassifikation teils signifikant schlechter, als wenn die verfügbaren Eingabedaten in einen Trainings- und einen Evaluationsdatensatz geteilt werden: In letzteren Fall suggeriert die a-posteriori-Bewertung irreführend eine höhere Modellqualität.
Few-Shot Out-Of-Domain-Erkennung in der maschinellen Verarbeitung natürlicher Sprache
Die maschinelle Verarbeitung natürlicher Sprache ("Natural Language Processing", kurz NLP) hat viele Anwendungsgebiete, z.B. telefonische oder schriftliche Dialogsystemen (sog. Chat-Bots), die eine Kino-Auskunft erteilen, eine Eintrittskarte buchen, eine Krankmeldung aufnehmen oder Antworten auf diverse Fragen in bestimmten industriellen Abläufen geben. Häufig beteiligen sich derartige Chat-Bots auch in sozialen Medien, um z.B. kritische Äußerungen zu erkennen und ggf. zu moderieren. Mit zunehmendem Fortschritt auf dem Gebiet der künstlichen Intelligenz im Allgemeinen und der NLP im Speziellen, verbreiten sich zunehmend selbstlernende Modelle, die ihr fachliches und sprachliches Wissen erst während des konkreten praktischen Einsatzes dynamisch (und daher meist unüberwacht) ergänzen. Doch derartige Ansätze sind empfänglich für absichtlich oder unabsichtlich bösartige Beeinflussung. Beispiele aus der industriellen Praxis haben gezeigt, dass Chat-Bots schnell z.B. rassistische Äußerungen in sozialen Netzen "erlernen" und anschließend gefährdende extremistische Äußerungen tätigen. Daher ist es von zentraler Bedeutung, dass NLP-basierte Modelle zwischen gültigen "In-Domain (ID)" und ungültigen "Out-Of-Domain (OOD)" Daten (also sowohl Ein- als auch Ausgaben) unterscheiden können. Dazu benötigen die Entwickler eines NLP-Systems für das initiale Training des KI-Modells jedoch eine immense Menge an ID- und OOD-Trainingsdaten. Während erstere schon schwer in hinreichender Menge zu finden sind, ist die a-priori-Wahl der letzteren i.d.R. kaum sinnvoll möglich.
Im Jahr 2022 wurden daher verschiedene Ansätze zur OOD-Erkennung untersucht und vergleichend bewertet, die mit wenigen bis keinen ("few-shot") Trainingsdaten funktionieren. Als Grundlage für die experimentelle Evaluierung diente das derzeit beste und am weitesten verbreitete, Transformer-basierte und vortrainierte Sprachmodell RoBERTa. Zur Verbesserung der OOD-Erkennung wurden u.a. "fine-tuning" eingesetzt und untersucht, wie zuverlässig die Anpassung eines vortrainierten Modells an eine konkrete Domäne funktioniert. Zusätzlich wurden verschiedene Scoring-Verfahren implementiert und evaluiert, um Grenzwerte für die Klassifikation von ID- und OOD-Daten zu bestimmen. Um das Problem der fehlenden Trainingsdaten zu lösen, wurde auch ein Verfahren namens "data augmentation" evaluiert: Dabei wurden mittels GPT3 ("Generative Pretrained Transformer 3", ein autoregressives Sprachmodell, das Deep Learning verwendet, um menschenähnlichen Text zu erzeugen) zusätzliche ID- und OOD-Daten für das Training bzw. die Evaluation von NLP-Modellen generiert.
Anwendung gewichteter Kombinatorik bei der Erzeugung und Auswahl von Parametern und deren Repräsentanten im Software-Test
Einige funktionale Testverfahren (sogenannte Black-Box-Tests), beispielsweise die Äquivalenzklassenmethode oder Grenzwertanalyse, fokussieren sich auf einzelne Parameter. Für diese Parameter ermitteln sie Repräsentanten (Werte oder Klassen von Werten), die im Test zu berücksichtigen sind. Da für die Durchführung von Tests in der Regel nicht nur ein einzelner Parameter, sondern mehrere Parameter benötigt werden, müssen zur Ausführung eines Tests Repräsentanten mehrerer Parameter miteinander kombiniert werden. Üblicherweise werden dazu gut verstandene Kombinationsmethoden verwendet, wie "All Combinations", "Pair-wise" oder "Each choice". Dabei werden Informationen über Gewichte (Attribute wie bspw. die Wichtigkeit oder Priorität) der Parameter und Repräsentanten nicht berücksichtigt, die sich auf die Anzahl der zugehörigen Testfälle (z.B. aufgrund der Wichtigkeit) bzw. auf ihre empfohlene Reihenfolge (im Sinne der Priorisierung) auswirken sollten. Darüber hinaus gibt es im Falle der Äquivalenzklassenmethode Szenarien, bei denen eine Kombination mehrerer ungültiger Klassen in einem Testfall optional explizit gewünscht, gänzlich unerwünscht oder auf eine bestimmte Anzahl beschränkt bleiben sollte, um einerseits Fehlerkombinationen gezielt zu testen, aber andererseits die Fehlerlokalisierung zu vereinfachen. Es besteht Grund zur Annahme, dass durch die Berücksichtigung von derartigen Gewichten und Optionen zielgerichtetere und letztlich effizientere Testfälle abgeleitet werden können.
Im Jahr 2023 wurden daher zunächst bereits bekannte kombinatorische Ansätze untersucht und vergleichend bewertet, die Gewichte bei der Kombination von Parametern oder ihren Werten berücksichtigen. Darauf aufbauend wurde ein neuartiger Ansatz in der Erzeugung und Auswahl von Parametern und deren Repräsentanten im Software-Test entwickelt. Die vorgeschlagene Methode nutzt ein Gewichtungssystem, um individuelle Parameter, deren Äquivalenzklassen und konkrete Repräsentanten dieser Klassen in einer Testfallmenge zu priorisieren. Darüber hinaus können auch jeweils deren Interaktionen gezielt gewichtet werden, um bei Bedarf bestimmte Kombinationen häufiger in der generierten Testfallmenge vorkommen zu lassen. Zur Evaluation des Ansatzes wurde prototypisch eine geeignete Datenstruktur zur Repräsentation der verschiedenen Gewichtungen definiert. Anschließend wurden Bewertungsfunktionen für bestehende Testfallmengen implementiert, um quantitativ bestimmen zu können, wie gut eine Testfallmenge die vorgegebene Kombinatorik erfüllt. In einem weiteren Schritt wurden diese Bewertungsfunktionen in Kombination mit verschiedenen systematischen und heuristischen Verfahren verwendet (SAT-Solver Z3 bzw. Simulated Annealing und Genetische Algorithmen), um neue Testfallmengen passend zur Gewichtung zu generieren oder bestehende Testfallmengen durch Ergänzung fehlender Testfälle dahingehend zu optimieren. In den Versuchsreihen hat Simulated Annealing die schnellsten und besten Ergebnisse ermittelt. Das SAT-Verfahren funktionierte zwar für kleine Problemstellungen, war aber für größere Testfallmengen aufgrund exorbitanter Laufzeiten nicht mehr praxistauglich.
-
Rekurrente Neuronale Netze (RNNs) zur echtzeitnahen Bestimmung nichtlinearer Bewegungsmodelle
(Drittmittelfinanzierte Einzelförderung)
Laufzeit: 01.10.2017 - 31.03.2021
Mittelgeber: Fraunhofer-Gesellschaft
URL: https://www2.cs.fau.de/research/RuNN/Mit wachsender Verfügbarkeit von Information über eine Umgebung (z.B. eine Sporthalle) und über die Objekte darin (z.B. Sportler in der Halle) steigt das Interesse, diese Informationen gewinnbringend zusammenzuführen (sog. Information Fusion) und zu verarbeiten. Zum Beispiel will man physikalisch korrekte Animationen (z.B. in der virtuellen Realität) von komplexen und hochdynamischen Bewegungen (z.B. in Sportsituationen) in Echtzeit rekonstruieren. Ebenso könnten z.B. auch Fertigungsanlagen der Industrie, die unter ungünstigen Umgebungsverhältnissen leiden (bspw. Magnetfeldinterferenzen oder fehlendes GPS-Signal), von bspw. hochpräziser Warenortung profitieren. Typischerweise verwendet man, um Bewegungen zu beschreiben, entweder Posen, die einen „Snapshot" eines Bewegungszustands beschreiben (z.B. Stillstand), oder ein Bewegungsmodell, welches eine Bewegung im zeitlichen Verlauf beschreibt (z.B. Laufen oder Rennen). Außerdem können menschliche Bewegungen durch unterschiedliche Sensoren (z.B. am Körper) erfasst und in Form von Posen und Bewegungsmodellen abgebildet werden. Dabei liefern verschiedene Typen von modernen Sensoren (bspw. Kamera-, Funk- und Inertial-Sensoren) Informationen von unterschiedlicher Qualität.Prinzipiell ist mit Hilfe teurer und hochpräziser Messinstrumente die Extraktion der Posen und resp. des Bewegungsmodells bspw. aus Positionen (Positionen, z.B. menschlicher Extremitäten, können Posen und Bewegungsmodelle beschreiben oder durch diese beschrieben werden) auf kleinen Trackingflächen fehlerfrei möglich. Kamerabasierte Sensorik liefert dabei die benötigten hochfrequenten hochpräzisen Referenzmessungen auf kleinen Flächen. Allerdings sinkt mit zunehmender Größe der Trackingfläche die Tauglichkeit kamerabasierter Systeme (auf Grund von Ungenauigkeiten oder Problemen durch Verdeckung). Ebenso liefern Funk- und Inertial-Sensoren nur verrauschte und ungenaue Messungen auf großen Flächen. Eine auf Bayes‘schen Filtern basierende Kopplung von Funk- und Inertial-Sensoren erzielt zwar eine höhere Genauigkeit. Diese ist aber noch immer unzureichend, um z.B. im Sport menschliche Bewegungen (abrupte und schnelle Bewegungsänderungen) auf großen Flächen sensorisch präzise zu erfassen. Damit sind die resultierenden Bewegungsmodelle ungenau.Ferner ist jede menschliche Bewegung hochgradig nichtlinear (resp. nicht vorhersagbar). Diese Nichtlinearität lässt sich mit Hilfe heutiger Bewegungsmodelle, wie sie bspw. durch Bayes‘schen Filter beschrieben werden, nicht korrekt abbilden, da diese (statistischen) Methoden ein nichtlineares Problem in lineare Teilprobleme herunterbrechen, die wiederum die Bewegung nicht physikalisch korrekt repräsentieren können. Darüber hinaus erzeugen aktuelle Verfahren hohe Latenz, wenn Genauigkeit gefordert ist.Aufgrund dieser drei Probleme (ungenaue Positionsdaten auf großen Flächen, Nichtlinearität und Latenz) sind heutige Verfahren bspw. für Sportanwendungen unbrauchbar, die kurze Antwortzeiten fordern. Im Rahmen dieses Projekts wird mit Hilfe von Methoden des maschinellen Lernens diesen Nichtlinearitäten entgegengewirkt. So umfasst das Projekt die Erforschung rekurrenter neuronaler Netze (RNN) zur Bestimmung nichtlinearer Bewegungsmodelle. Nichtlineare menschliche Bewegungen (z.B. die Lage des Kopfes zum Rumpf während des Laufens oder Rennens), können mittels moderner Bayes‘scher Filterverfahren (z.B. Kalman- und Partikel-Filter) und anderer statistischer Methoden nur durch ihre linearen Anteile und somit physikalisch nicht vollständig korrekt beschrieben werden. Daher ist das Kernziel, zu evaluieren, wie Methoden des maschinellen Lernens zur Beschreibung von komplexen und nichtlinearen Bewegungen eingesetzt werden können. Es wurde deshalb untersucht, ob RNNs die Bewegungen eines Objektes physikalisch korrekt beschreiben und bisherige Methoden unterstützen oder ersetzen können. Im Rahmen einer großangelegten Parameterstudie wurden physikalische korrekte Bewegungen simuliert und auf diesen Simulationen RNN-Verfahren optimiert. Es konnte erfolgreich gezeigt werden, dass RNN-Modelle mit Hilfe geeigneter Trainingsverfahren entweder physikalische Zusammenhänge oder Bewegungsformen erlernen.
Im Rahmen dieses Projekts werden drei wesentliche Themen bearbeitet:
I. Eine Basisimplementierung untersucht, wie und warum Methoden des maschinellen Lernens zur Bestimmung von Bewegungsmodellen von Menschen eingesetzt werden können.
Im Jahr 2018 wurde zunächst ein tieferes Verständnis der Ausgangssituation und Problemstellung aufgebaut. Mit Hilfe verschiedener Basisimplementierungen (unterschiedlicher Bewegungsmodelle) wurde untersucht (1) wie sich unterschiedliche Bewegungen (z.B. Menschen: Laufen, Rennen, Slalom und Fahrzeuge: Mäander, Zig-Zag) auf Messungenauigkeiten der verschiedenen Sensorfamilien auswirken, (2) wie sich Messungenauigkeiten verschiedener Sensorfamilien (z.B. sichtbare Orientierungsfehler, hörbare Störgeräusche und bewusste künstliche Messfehler) auf die menschliche Bewegung auswirken und (3) wie sich verschiedene Filtermethoden zur Fehlerkorrektur (Balanceakt zwischen Genauigkeit und Latenz) auf die Bewegung und Sensoren auswirken. Darüber hinaus konnte (4) gezeigt werden, wie Messungenauigkeiten (bedingt durch den Einsatz aktueller Bayes‘scher Filterverfahren) mit der menschlichen Körperhaltung (bspw. Gangapparat) nichtlinear korrelieren und wie Auswirkungen der Messfehler auf die Gesundheit (Simulatorkrankheit) mittels maschinellen Lernens vorhergesagt werden können. Es wurden Methoden des maschinellen und tiefen Lernens zur Bewegungserfassung (Mensch: Kopf, Körper, obere und untere Extremität; Fahrzeug: ein- und zweiachsig) und Bewegungsrekonstruktion (5) auf Basis von Inertial-, Kamera- und Funksensoren studiert und verschiedene Methoden zur Merkmalsextraktion (bspw. SVM, DT, k-NN, VAE, 2D-CNN, 3D-CNN, RNN, LSTMs, M/GRU) untersucht. Diese wurden u. A. zu verschiedenen hybriden Filtermodellen verschaltet, um extrahierte Merkmale um zeitliche und kontextsensitive Bewegungsinformationen anzureichern und so möglicherweise genauere, robustere und echtzeitnahe Bewegungsmodelle zu erstellen. So konnten (6) Bewegungsmodelle für mehrachsige Fahrzeuge (Gabelstapler) auf Basis von Inertial-, Funk- und Kameradaten gelernt werden, die auf unterschiedliche Umgebungen, respektive Trackingflächen (Größe, Form und sensorische Struktur bspw. Magnetfeld, Mehrwege, Texturierung und Beleuchtung) generalisieren. Weiter (7) konnte ein tieferes Verständnis der Auswirkungen von nicht konstant beschleunigten Bewegungsmodellen auf Funksignale untersucht werden. Auf Basis dieser Erkenntnisse konnte ein LSTM Modell angelernt werden, das unterschiedliche Bewegungsgeschwindigkeiten und Bewegungsformen eines einachsigen Roboters (Segway) nahe Echtzeit und genauer als herkömmliche Verfahren vorhersagen kann.
Im Jahr 2019 wurde festgestellt, dass diese Modelle auch die menschliche Bewegung (menschliches Bewegungsmodell) vorhersagen können. Weiter wurde im Jahr 2019 festgestellt, dass die LSTM Modelle zur Laufzeit entweder vollständig autark oder als Stützstellen in Lokalisierungsschätzern (bspw. Pedestrian Dead Reckoning, PDR, Methoden) integriert werden können.
II. Darauf aufbauend soll versucht werden, wie diese Basis hinsichtlich ihrer Robustheit, Latenz und Wiederverwendbarkeit zu optimieren ist.
Im Jahr 2018 konnten die Erkenntnisse aus I. (1-7) genutzt werden, um sogenannte (1) relative Pedestrian Dead Reckoning (PDR) Verfahren mit Hilfe von Bewegungsklassifizierern zu stabilisieren. Diese konnten eine Generalisierung auf beliebige Umgebungen ermöglichen. Das tiefere Funksignalverständnis (2) ermöglichte das Abbilden von Langzeitfehlern in RNN-basierten Bewegungsmodellen, um die Positionsgenauigkeit und Stabilität zu verbessern und nahe Echtzeit vorherzusagen. Die Robustheit der Bewegungsmodelle (3) konnte in ersten Versuchen mit Hilfe verschiedener realer (den Modellen unbekannter) Bewegungstrajektorien für ein- und zweiachsige Fahrzeuge gezeigt werden. Weiter wurde untersucht, (4) wie hybride Filtermodelle (bspw. Verschaltung von Merkmalsextraktoren 2D/3D-CNN und Zeitreihe RNN-LSTM) sowohl genauere, als auch stabilere und gefilterte (um Ausreißer korrigierte) Ergebnisse liefert.
Im Jahr 2019 wurde gezeigt, dass Modelle der RNN Familie in der Lage sind, Bewegungen in die Zukunft zu extrapolieren, so dass diese die Latenz der Verarbeitungskette und darüber hinaus kompensieren. Weiter wurde im Jahr 2019 die Erklärbarkeit, Interpretierbarkeit und Robustheit der hier untersuchten Modelle und die Wiederverwendbarkeit auf die menschliche Bewegung untersucht.Mit Hilfe eines Simulators wurden im Jahr 2019 physikalisch korrekte Bewegungen, z.B. Positionen von Fußgängern, Fahrradfahrern, Autos und Flugzeugen erzeugt. Auf Basis dieser Daten wurde gezeigt, dass RNN Modelle zwischen unterschiedlichen Bewegungstypen interpolieren können. Weiter wurde gezeigt, dass RNN Modelle fehlende Datenpunkte kompensieren, weißes und zufälliges Rauschen als solches interpretieren und Bewegungen in die Zukunft extrapolieren können. Letzteres ermöglicht die Kompensation von verarbeitungsspezifischer Latenz und ermöglicht eine Vorhersage der menschlichen Bewegung aus Funk- und Inertial-Daten in harter Echtzeit.Neue RNN Architektur. Ferner wurde im Jahr 2019 eine neue Architektur, bzw. Topologie, eines neuronalen Netzes erforscht, welches die Stärken und Schwächen von flachen neuronalen Netzen und rekurrenter Netzen so kompensiert, dass eine optimales NN zur Bestimmung physikalisch korrekter Bewegung in einer großangelegten Parameterstudie gefunden werden konnte.Architektur Optimierung. Es wurde im Jahr 2019 eine großangelegte Studie zur Optimierung der Modellparameter für die Mensch-zentrierte Lokalisierung durchgeführt. Diese optimalen Architekturen können die menschliche Bewegung aus möglichst wenig Sensorinformationen weit in die Zukunft voraussagen. Die Architektur mit dem geringsten Lokalisierungsfehler kombiniert zwei DNNs mit einem RNN.Interpretierbarkeit von Modellen. Dieses neue Modell wurde im Jahr 2019 auf seine Funktionsweise untersucht. Dazu wurde eine neuartige Prozesskette zur Interpretation und Erklärung des Modells erforscht. Die Prozesskette nutzt den Fluss der gegenseitigen Information und die gegenseitige Übertragungsentropie in Kombination mit verschiedenen gezielten Manipulationen der versteckten Zustände und geeigneten Visualisierungstechniken, um den Zustand des Modells zu jedem Zeitpunkt zu bestimmen.Darüber hinaus wurde im Jahr 2019, um extrahierte Merkmale eines neuronalen Netzes besser zu visualisieren und zu interpretieren, ein "Variational Auto-Encoder" (VAE) adaptiert. Der VAE wurde so gestaltet und parametrisiert, dass der Rekonstruktionsfehler des Signals innerhalb des Messrauschens liegt und das Modell gleichzeitig gezwungen wird, entwirrte Merkmale im latenten Raum abzulegen. Dieses Entwirren ermöglicht erste subjektive Aussagen über die Zusammenhänge der Merkmale, die wirklich nötig sind, um den Kanalzustand eines Funksignals optimal zu kodieren.Kompression. Dabei wurde im Jahr 2019 ein netter Seiteneffekt des VAEs entdeckt. Ein solcher VAE bietet die Möglichkeit der dezentralen Vorverarbeitung der Kanalinformationen direkt an der Antenne. Diese Komprimierung führt dann zu weniger Datenverkehr, erzeugt weniger Kommunikationslast und erhöht somit die Anzahl möglicher Teilnehmer an der Kommunikation und Lokalisierung in einem abgeschlossenen Sensornetz.Einfluss der Variation der Eingabeinformationen. Weiter wurde im Jahr 2019 untersucht, wie sich Änderungen der Inputsequenzlänge eines rekurrenten neuronalen Netzes auf den Lernerfolg und die Art der Ergebnisse des Modells auswirken. Es wurde entdeckt, dass eine längere Sequenz das Modell überredet, eher ein Bewegungsmodell i.S.v. der Form der Bewegung zu erlernen, während kürzere Sequenzen dazu tendieren physikalische Zusammenhänge zu erlernen. Die höchste Genauigkeit erreicht man mit der optimalen Balance zwischen kurzen und langen Sequenzen.Es wurde im Jahr 2019 eine Geschwindigkeitsschätzung mittels des neuen Verfahrens untersucht. Diese floss dann direkt in ein PDR Modell ein, um die Positionsgenauigkeit zu erhöhen. Eine erste Arbeit im Jahr 2019 dazu hat im Detail untersucht, welche Verfahren am besten geeignet sind, um eine ungerichtete Geschwindigkeit der menschlichen Bewegung aus einem rohen Intertialsignal zu schätzen. Ein neues Verfahren, eine Kombination aus einem eindimensionalen CNN und einem BLSTM, hat hier den Stand der Technik abgelöst.
Im Jahr 2020 wurden die Modellarchitektur hinsichtlich der Vorhersagegenauigkeit optimiert und die Auswirkungen einer tiefen Kombination von Bayes'schen und DL-Methoden auf die Vorhersagegenauigkeit und Robustheit untersucht.
Optimierung. Im Jahr 2020 wurde die bestehende CNN- und RNN-Architektur verbessert und ein ResNet-BLSTM vorgeschlagen. Das CNN wurde durch ein Restnetzwerk ersetzt, um tiefere und qualitativ hochwertigere Merkmale aus einem kontinuierlichen Datenstrom zu extrahieren. Es konnte gezeigt werden, dass diese Architektur höhere Rechenkosten mit sich bringt, aber die genauesten, über den Stand der Technik hinausgehenden Ergebnisse liefert. Zusätzlich kann die RNN-Architektur verkleinert werden, um dem Ausbleichen des Kontextvektors der LSTM-Zellen entgegenzuwirken, da das verbleibende Netzwerk optimalere Merkmale bietet.Tiefe Bayes Verfahren. Im Jahr 2020 wurde untersucht, ob Methoden der RNN-Familie bestimmte Bewegungseigenschaften aus aufgezeichneten Bewegungsdaten extrahieren können, um die starren Mess-, Rausch- und Übergangsverteilungen eines Kalman-Filters (KF) zu ersetzen. Eine Studie konnte zeigen, dass hochoptimierte LSTM-Zellen robustere (geringe Fehlervarianz der Prädiktionen) und präzisere (Positionsgenauigkeit) Trajektorien rekonstruieren können als ein ebenso hochoptimierter KF. Das tiefe Ineinandergreifen von LSTM in KF, sogenanntes tiefe Bayes Verfahren, lieferte die robustesten und präzisesten Positionen und Trajektorien. Diese Studie zeigte auch, dass von allen Methoden, die auf realistischen synthetischen Daten trainiert wurden, die tiefe Bayes-Methode am wenigsten reale Daten benötigt, um sich an eine neue unbekannte Domäne anzupassen.
III. Abschließend soll eine Demonstration der Machbarkeit erprobt werden.
Im Jahr 2018 wurde im Rahmen einer Großstudie mit sozialwissenschaftlichem Hintergrund das weltgrößte virtuelle Dinosauriermuseum eröffnet. Es konnte gezeigt werden, dass ein vorausgewähltes (auf das Einsatzszenario optimiertes) Bewegungsmodell die menschliche Bewegung robust und genau (i.S.v. kein signifikanter Einfluss auf die Simulatorkrankheit) abbilden resp. vorhersagen kann. Dieses wird als Basis für Vergleichstest für weitere Modelle (mensch-zentriert und generalisierend auf unterschiedliche Umgebungen) genutzt.
Im Jahr 2019 wurden auf Basis der erzielten Forschungsergebnisse in I und II zwei neue Live-Demonstratoren entwickelt. (1) Eine Modelleisenbahn, welche in variablen Geschwindigkeiten eine Landschaft mit Tunnel durchquert. Dabei repräsentiert der Tunnel realistische und typische Umgebungscharakteristika, die zu nichtlinearen Mehrwegeausbreitungen eines zu lokalisierenden Funksenders führen und letztendlich zu fehlerhaften Positionsbestimmung. Dieser Demonstrator zeigt, dass die im Rahmen des Forschungsprojektes erforschten RNN Verfahren sowohl auf komplexen Kanalimpulsantworten, als auch auf dimensionsreduzierten Antwortzeiten hochgenau und robust lokalisieren können und darüber hinaus bessere Ergebnisse als herkömmliche Kalman-Filter liefern. (2) Der zweite Demonstrator dient zur Visualisierung der Bewegung der oberen Extremität eines Menschen. Dabei wurde die menschliche Bewegung mit kostengünstiger Inertialsensorik erfasst, klassifiziert und Bewegungsparameter abgeleitet. Eine grafische Oberfläche visualisiert nahe Echtzeit die Bewegung und die abgeleiteten Parameter.Die geplante Generalisierbarkeit, bspw. der mensch-zentrierten Modelle, und die Anwendbarkeit von RNN-basierten Verfahren in unterschiedlichen Umgebungen konnte mittels (1) und (2) demonstriert werden.Im Jahr 2019 konnten folgende Anwendungen der vorgeschlagenen Methode beforscht und entwickelt werden:Anwendung: Funksignal. Es wurden die Kanalinformationen eines Funksystems hierarchisch derart klassifiziert, dass das Lokalisierungsproblem eines Line of Sight (LoS) und Non Line of Sight (NLoS) Klassifizierers in ein binäres Problem übertragen werden konnte. So kann rein auf Basis einzelner Kanalinformationen einer einzelnen Antenne eine Position auf einen Meter genau lokalisiert werden, wenn die Umgebung heterogene Kanalausbreitung breitstellt.Ferner wurden LoS und NLoS Kanalinformationen simuliert und genutzt, um zwischen unterschiedlichen Kanälen zu interpolieren. Dies ermöglicht den Anbietern von Funksystemen, auf sich ändernde oder neue Umgebungen in den Kanalinformationen bereits a-priori in der Simulation einzugehen. Durch selektives Nachtrainieren der Modelle mit dem simulierten Wissen werden robustere Modelle ermöglicht.Anwendung: Kamera- und Funksignal. Weiter konnte gezeigt werden, wie sich die RNN Methoden auf Informationen anderer Sensorfamilien, z.B. Videobilder, übertragen lassen. Eine Kombination von Funk- und Kamerasystemen ermöglichte es, ein Modell zu trainieren, welches selbst in Verdeckungsfällen der Kamera eine reibungslose Fusion der beiden Sensorinformationen schafft und zu einer robusteren und genaueren Lokalisierung mehrerer Personen führt.Anwendung: Kamerasignal. In einer weiteren Arbeit wurde ein RNN-Verfahren genutzt, um die zeitlichen Zusammenhänge von Ereignissen in Bildern zu untersuchen. Im Gegensatz zu der vorangegangenen Arbeit, die heterogene Sensorinformationen nutzt, nutzt dieses Netz lediglich Bildinformationen. Das Modell nutzt die Bildinformationen allerdings so, dass es die Bilder unterschiedlich interpretiert: als räumliche Informationen i.S.v. ein einzelnes Bild, und als temporale Information i.S.v. mehrere Bilder im Input. Dieses Aufsplitten führt dazu, dass einzelne Bilder quasi als zwei fiktive virtuelle Sensorinformationsströme genutzt werden können, um Ergebnisse räumlich (Merkmale) zu erkennen und temporal (zeitliche Zusammenhänge) besser vorhersagen zu können. Eine weitere Arbeit nutzt Kamerabilder, um die Kamera selbst zu lokalisieren. Dazu wurde eine neue Verarbeitungskette erschaffen, welche das Videosignal über die Zeit aufbricht und absolute und relative Informationen in unterschiedlichen neuronalen Netzen erlernt und deren Ausgabe in einem Fusionsnetz zu einer optimalen Pose zusammenführt.Anwendung: EEG-Signal. In einem Kooperationsprojekt konnten die hier erforschten Methoden auf weitere Sensordaten angewendet werden. Es konnten Beta- und Gammawellen des menschlichen Gehirns in unterschiedlichen emotionalen Zuständen aufgezeichnet werden und diese von einem RNN genutzt werden, um die Emotionen einer Testperson in 90% aller Fälle aus rohen EEG Daten korrekt vorherzusagen.Anwendung: Simulatorkrankheit. In einer weiteren Arbeit konnte gezeigt werden, wie sich die Visualisierung in VR auf die menschliche Wahrnehmung und Bewegungsanomalien, respektive Simulatorkrankheit, auswirkt und wie sich die hier erforschten neuronalen Netze ausnutzen lassen, um die Effekte vorherzusagen.Im Jahr 2020 wurden auf Basis der erzielten Forschungsergebnisse in II ein neuer Live-Demonstrator entwickelt.Anwendung: Gangrekonstruktion in VR. Im Jahr 2020 wurde das vorhandene CNN-RNN-Modell verwendet, um die Bewegung des Menschen, nämlich den Gangzyklus und die Gangphasen, vorherzusagen. Dabei wurden Sensordaten eines am Kopf montierten Trägheitssensors verwendet, um einen virtuellen Avatar in VR in Echtzeit zu visualisieren. Es konnte gezeigt werden, dass das DL-Modell deutlich geringere Latenzen aufweist als der Stand der Technik, da es Gangphasen früher erkennen und zukünftige genauer vorhersagen kann. Dies geht jedoch zu Lasten des erforderlichen Rechenaufwands und damit der erforderlichen Hardware.
Das Projekt wurde im Jahr 2021 erfolgreich abgeschlossen. Im Jahr 2021 wurden im Rahmen einer erfolgreich abgeschlossenen Dissertation wesentliche Erkenntnisse aus dem Projektverlauf verknüpft und Schlussfolgerungen gezogen sowie zahlreiche Forschungsfragen aufgegriffen und beantwortet.
Im Rahmen des Forschungsvorhabens wurden mehr als 15 Qualifikationsarbeiten, 6 Patentfamilien und mehr als 20 wissenschaftliche Publikationen erfolgreich abgeschlossen und veröffentlicht. Kernbeitrag des Projekts ist die Kenntnis der Anwendbarkeit und Tücken rekurrenter neuronaler Netze (RNN), ihrer unterschiedlichen Zelltypen und Architekturen in unterschiedlichen Anwendungsgebieten. Fazit: Die Möglichkeit der RNN-Familie, mit Dynamiken in Datenströmen umzugehen, z.B. Ausfällen, Verzögerungen und unterschiedlichen Sequenzlängen in Zeitreihendaten, macht sie heute in einer Vielzahl von Anwendungsbereichen unverzichtbar.
Das Projekt wird im Rahmen von Seminaren an der FAU und außeruniversitären Forschungsaktivitäten bei Fraunhofer IIS im Rahmen des ADA Lovelace Center fortgeführt.
Im Jahr 2022 wurde die Augmentierung von Zeitreihen untersucht. Zu diesem Zweck wurden verschiedene generative Methoden, nämlich Variational Autoencoder (VAE) und Generative Adversarial Networks (GAN), hinsichtlich ihrer Fähigkeit evaluiert, Zeitreihen verschiedener Anwendungsdomänen zu generieren, z.B., Eigenschaften von Funksignalen, Signalstärke, Kanalimpulsantwort, Merkmale von GNSS-Spektren und mehrdimensionale Signale von Trägheitssensoren. Es wurde eine neuartige Architektur namens ARCGAN vorgeschlagen, die alle bekannten Vorteile der Stand der Technik-Methoden vereint und daher deutlich ähnlichere (nützlichere) Zeitreihen generieren kann als der Stand der Technik.Im Jahr 2023 wurde begonnen, generative Methoden auf Basis von Aufmerksamkeitsmechanismen, Transformer-Architektur und GPT hinsichtlich ihrer Vorhersageleistung von Zeitreihen zu untersuchen. Zu diesem Zweck wurden Methoden wie Legendre Units (LMU), neuartige Transformatorarchitekturen und TimeGPT zur Vorhersage von Lokalisierungsinformationen evaluiert. Es zeigte sich, dass mittels entsprechender Eingabeaufforderungen und Kalibrierung vorkonfigurierter GPT-Modelle an neue Anwendungsbereiche angepasst werden können, wodurch das Training deutlich effizienter wird und Energie eingespart wird.
Im Jahr 2024 werden GPT-ähnliche Modelle weiter auf ihre Unsicherheit, Erklärbarkeit und Anpassungsfähigkeit untersucht. Darüber analysieren wir die Machbarkeit dieser generativen Verfahren in Bezug auf verschiedene Anwendungsfelder, z.B., Vorhersage und Anomalieerkennung, Anomaliecharakterisierung, Anomalielokalisierung sowie Anomaliemitigierung.
Machine Learning: Advances
Grunddaten
Titel | Machine Learning: Advances |
---|---|
Kurztext | SemML-II |
Turnus des Angebots | nur im Wintersemester |
Semesterwochenstunden | 2 |
Anmeldung mit Themenanfrage per E-Mail vor Beginn des Seminars; Die Themen werden nach dem Prinzip "Wer zuerst kommt, mahlt zuerst" verteilt.
Parallelgruppen / Termine
1. Parallelgruppe
Semesterwochenstunden | 2 |
---|---|
Lehrsprache | German oder English |
Verantwortliche/-r |
Prof. Dr. Michael Philippsen Tobias Feigl |
Zeitpunkt | Startdatum - Enddatum | Ausfalltermin | Durchführende/-r | Bemerkung | Raum |
---|---|---|---|---|---|
nach Vereinbarung - | - |
|
|||
Einzeltermin Do, 14:00 - 15:00 | 10.10.2024 - 10.10.2024 | ||||
Blockveranstaltung+Sa Sa, 09:00 - 16:00 | 04.01.2025 - 29.03.2025 | 06.01.2025 |
Machine Learning: Introduction
Grunddaten
Titel | Machine Learning: Introduction |
---|---|
Kurztext | SemML-I |
Turnus des Angebots | nur im Wintersemester |
Semesterwochenstunden | 2 |
Anmeldung mit Themenanfrage per E-Mail vor Beginn des Seminars; Die Themen werden nach dem Prinzip "Wer zuerst kommt, mahlt zuerst" verteilt.
Parallelgruppen / Termine
1. Parallelgruppe
Semesterwochenstunden | 2 |
---|---|
Lehrsprache | German oder English |
Verantwortliche/-r |
Prof. Dr. Michael Philippsen Tobias Feigl |
Zeitpunkt | Startdatum - Enddatum | Ausfalltermin | Durchführende/-r | Bemerkung | Raum |
---|---|---|---|---|---|
nach Vereinbarung - | - |
|
|||
Einzeltermin Do, 14:00 - 15:00 | 10.10.2024 - 10.10.2024 | 11302.04.150 | |||
Blockveranstaltung+Sa Sa, 09:00 - 16:00 | 04.01.2025 - 29.03.2025 | 06.01.2025 |
2024
Evaluation of (Un-)Supervised Machine Learning Methods for GNSS Interference Classification with Real-World Data Discrepancies
Intl. Technical Meeting of the Satellite Division of The Institute of Navigation (ION GNSS+) (Baltimore, MD, 16.09.2024 - 20.09.2024)
In: Proc. Intl. Technical Meeting of the Satellite Division of The Institute of Navigation (ION GNSS+) 2024 2024
BibTeX: Download
, , , , , , , , :
Few-Shot Learning with Uncertainty-based Quadruplet Selection for Interference Classification in GNSS Data
International Conference on Localization and GNSS (Antwerp, 05.06.2024 - 07.06.2024)
In: International Conference on Localization and GNSS 2024
BibTeX: Download
, , , , , , :
Estimating Multipath Component Delays with Transformer Models
In: IEEE Journal of Indoor and Seamless Positioning and Navigation (2024), S. 1-10
ISSN: 2832-7322
DOI: 10.1109/JISPIN.2024.3422908
BibTeX: Download
, , , :
Uncertainty-Based Fingerprinting Model Monitoring for Radio Localization
In: IEEE Journal of Indoor and Seamless Positioning and Navigation (2024)
ISSN: 2832-7322
Open Access: https://ieeexplore.ieee.org/abstract/document/10526425
BibTeX: Download
, , , , :
Velocity-Based Channel Charting with Spatial Distribution Map Matching
In: IEEE Journal of Indoor and Seamless Positioning and Navigation (2024), S. 1-10
ISSN: 2832-7322
DOI: 10.1109/JISPIN.2024.3424768
BibTeX: Download
, , , , :
Optimal machine learning and signal processing synergies for low-resource GNSS interference detection and classification
In: IEEE Transactions on Aerospace and Electronic Systems (2024), S. 3-17
ISSN: 0018-9251
DOI: 10.1109/TAES.2023.3349360
BibTeX: Download
, , , :
2023
Evaluation of (Un-)Supervised Machine-Learning-Based Detection, Classification, and Localization Methods of GNSS Interference in the Real World
In: Proc. Intl. Technical Meeting of the Satellite Division of The Institute of Navigation (ION GNSS+) 2023
BibTeX: Download
, , , , , , :
Benchmarking Visual-Inertial Deep Multimodal Fusion for Relative Pose Regression and Odometry-aided Absolute Pose Regression
(2023), S. 1-29
DOI: 10.48550/arXiv.2208.00919
BibTeX: Download
(Working Paper)
, , , , , , :
Multipath Delay Estimation in Complex Environments using Transformer
13th International Conference on Indoor Positioning and Indoor Navigation (IPIN) (Nuremberg, Germany, 25.09.2023 - 28.09.2023)
In: Proc. 13th International Conference on Indoor Positioning and Indoor Navigation (IPIN 2023) 2023
DOI: 10.1109/IPIN57070.2023.10332470
BibTeX: Download
, , , , :
Uncertainty-based Fingerprinting Model Selection for Radio Localization
13th International Conference on Indoor Positioning and Indoor Navigation (IPIN) (Nuremberg, Germany, 25.09.2023 - 28.09.2023)
In: Proc. 13th International Conference on Indoor Positioning and Indoor Navigation (IPIN 2023) 2023
DOI: 10.1109/IPIN57070.2023.10332531
BibTeX: Download
, , , , :
Indoor Localization with Robust Global Channel Charting: A Time-Distance-Based Approach
In: IEEE Transactions on Machine Learning in Communications and Networking 1 (2023), S. 1-15
ISSN: 2831-316X
DOI: 10.1109/TMLCN.2023.3256964
BibTeX: Download
, , , , :
Low-cost COTS GNSS interference monitoring, detection, and classification system
In: Sensors 23 (2023), S. 1-42
ISSN: 1424-8220
DOI: 10.3390/s23073452
BibTeX: Download
, , , , , , , , :
2022
Complementary Semi-Deterministic Clusters for Realistic Statistical Channel Models for Positioning
(2022), S. 1-6
DOI: 10.48550/ARXIV.2207.07837
BibTeX: Download
(Techreport)
, , , , , , , :
Towards Realistic Statistical Channel Models For Positioning: Evaluating the Impact of Early Clusters
(2022), S. 1-5
DOI: 10.48550/ARXIV.2207.07838
BibTeX: Download
(Techreport)
, , , , , , , :
Multimodal Learning for Reliable Interference Classification in GNSS Signals
Technical Meeting of the Satellite Division of The Institute of Navigation (ION GNSS+) (Denver, CO, 19.09.2022 - 23.09.2022)
In: Proc. Intl. Technical Meeting of the Satellite Division of The Institute of Navigation (ION GNSS+) 2022
DOI: 10.33012/2022.18586
BibTeX: Download
, , , , , , , :
Initial Results of a Low-Cost GNSS Interference Monitoring Network
Intl. Conf. on Positioning and Navigation for Intelligent Transport Systems (POSNAV) (Berlin, 03.11.2022 - 04.11.2022)
In: Intl. Conf. on Positioning and Navigation for Intelligent Transport Systems (POSNAV) 2022
DOI: 10.1109/WCNC51071.2022.9771875
BibTeX: Download
, , , , , , , :
Unsupervised Disentanglement for Post-Identification of GNSS Interference in the Wild
Technical Meeting of the Satellite Division of The Institute of Navigation (ION GNSS+) (Denver, CO, 19.09.2022 - 23.09.2022)
In: Proc. Intl. Technical Meeting of the Satellite Division of The Institute of Navigation (ION GNSS+) 2022
DOI: 10.33012/2022.18493
BibTeX: Download
, , , , , , , :
Position Tracking using Likelihood Modeling of Channel Features with Gaussian Processes
arXiv:2203.13110 [eess] (2022), S. 1-10
DOI: 10.48550/ARXIV.2203.13110
BibTeX: Download
(Techreport)
, , , , , :
Delay Estimation in Dense Multipath Environments using Time Series Segmentation
IEEE Wireless Communications and Networking Conference (WCNC) (Austin, Texas, 10.04.2022 - 13.04.2022)
In: Proc. Intl. Conf. IEEE Wireless Communications and Networking Conference (WCNC) 2022
DOI: 10.1109/WCNC51071.2022.9771875
BibTeX: Download
, , , , , :
Machine Learning-assisted GNSS Interference Monitoring through Crowdsourcing
Technical Meeting of the Satellite Division of The Institute of Navigation (ION GNSS+) (Denver, CO, 19.09.2022 - 23.09.2022)
In: Proc. Intl. Technical Meeting of the Satellite Division of The Institute of Navigation (ION GNSS+) 2022
DOI: 10.33012/2022.18492
BibTeX: Download
, , , , , , , , :
Transfer Learning to adapt 5G AI-based Fingerprint Localization across Environments
IEEE 95th Vehicular Technology Conference (VTC-Spring) (Helsinki, 19.06.2022 - 22.06.2022)
In: Proc. Intl. Conf. IEEE Vehicular Technology Conference (VTC-Spring) 2022
DOI: 10.1109/VTC2022-Spring54318.2022.9860906
BibTeX: Download
, , , , , :
Low-cost COTS GNSS interference detection and classification platform: Initial results
Intl. Conf. on Localization and GNSS (ICL-GNSS) (Tampere, 07.06.2022 - 09.06.2022)
In: Proc. Intl. Conf. on Localization and GNSS (ICL-GNSS) 2022
DOI: 10.1109/ICL-GNSS54081.2022.9797025
BibTeX: Download
, , , , , :
2021
Accuracy-Aware Compression of Channel Impulse Responses using Deep Learning
International Conference on Indoor Positioning and Indoor Navigation (IPIN2021) (Lloret de Mar, 29.11.2021 - 02.12.2021)
In: Proceedings of the International Conference on Indoor Positioning and Indoor Navigation (IPIN 2021) 2021
DOI: 10.1109/IPIN51156.2021.9662545
BibTeX: Download
, , , , , :
Datengetriebene Methoden zur Bestimmung von Position und Orientierung in funk‐ und trägheitsbasierter Koppelnavigation (Dissertation, 2021)
URL: https://nbn-resolving.org/urn:nbn:de:bvb:29-opus4-173550
BibTeX: Download
:
Robust ToA-Estimation using Convolutional Neural Networks on Randomized Channel Models
International Conference on Indoor Positioning and Indoor Navigation (IPIN 2021) (Lloret de Mar, Spain, 29.11.2021 - 02.12.2021)
In: Proceedings of the International Conference on Indoor Positioning and Indoor Navigation (IPIN 2021) 2021
DOI: 10.1109/IPIN51156.2021.9662625
BibTeX: Download
, , :
Contact Tracing with the Exposure Notification Framework in the German Corona-Warn-App
2021 International Conference on Indoor Positioning and Indoor Navigation (IPIN) (Lloret de Mar, 29.11.2021 - 02.12.2021)
In: Proceedings of the International Conference on Indoor Positioning and Indoor Navigation (IPIN 2021) 2021
DOI: 10.1109/IPIN51156.2021.9662591
BibTeX: Download
, , , , , , , , :
Estimating TOA Reliability with Variational Autoencoders
In: IEEE Sensors Journal (2021), S. 1-6
ISSN: 1530-437X
DOI: 10.1109/JSEN.2021.3101933
BibTeX: Download
, , , , :
2020
Real-Time Gait Reconstruction for Virtual Reality Using a Single Sensor
2020 IEEE International Symposium on Mixed and Augmented Reality, ISMAR-Adjunct 2020 (Ipojuca, Pernambuco, 09.11.2020 - 13.11.2020)
In: Adjunct Proceedings of the 2020 IEEE International Symposium on Mixed and Augmented Reality, ISMAR-Adjunct 2020 2020
DOI: 10.1109/ISMAR-Adjunct51615.2020.00037
BibTeX: Download
, , , :
RNN-aided Human Velocity Estimation from a Single IMU
In: Sensors 13 (2020), S. 1-31
ISSN: 1424-8220
DOI: 10.3390/s20133656
URL: https://www.mdpi.com/1424-8220/20/13/3656
BibTeX: Download
, , , , , :
Localization Limitations of ARCore, ARKit, and Hololens in Dynamic Large-Scale Industry Environments
15th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications (GRAPP 2020) (Valletta, 27.02.2020 - 29.02.2020)
In: Kadi Bouatouch, A. Augusto Sousa, Jose Braz (Hrsg.): Proceedings of the 15th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications - Volume 1: GRAPP, Portugal: 2020
DOI: 10.5220/0008989903070318
URL: http://www.grapp.visigrapp.org/
BibTeX: Download
, , , , , :
ViPR: Visual-Odometry-aided Pose Regression for 6DoF Camera Localization
The IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops (Seattle, Washington, 16.06.2020 - 18.06.2020)
In: Computer Vision Foundation (CVF) (Hrsg.): Joint Workshop on Long-Term Visual Localization, Visual Odometry and Geometric and Learning-based SLAM 2020
DOI: 10.1109/cvprw50498.2020.00029
URL: http://openaccess.thecvf.com/content_CVPRW_2020/html/w3/Ott_ViPR_Visual-Odometry-Aided_Pose_Regression_for_6DoF_Camera_Localization_CVPRW_2020_paper.html
BibTeX: Download
, , , :
A Sense of Quality for Augmented Reality Assisted Process Guidance
International Symposium on Mixed and Augmented Reality Adjunct (ISMAR-Adjunct) (Ipojuca, Pernambuco, 09.11.2020 - 13.11.2020)
In: IEEE Proc. International Symposium on Mixed and Augmented Reality Adjunct (ISMAR-Adjunct) 2020
DOI: 10.1109/ISMAR-Adjunct51615.2020.00046
BibTeX: Download
, , , :
2019
A Bidirectional LSTM for Estimating Dynamic Human Velocities from a Single IMU
10th International Conference on Indoor Positioning and Indoor Navigation (IPIN) (Pisa, 30.09.2019 - 03.10.2019)
In: IEEE (Hrsg.): Proceedings of the 10th International Conference on Indoor Positioning and Indoor Navigation (IPIN) 2019
DOI: 10.1109/IPIN.2019.8911814
URL: https://www2.cs.fau.de/publication/download/IPIN2019.pdf
BibTeX: Download
, , , , , :
Sick Moves! Motion Parameters as Indicators of Simulator Sickness
In: IEEE Transactions on Visualization and Computer Graphics 25 (2019), S. 3146-3157
ISSN: 1077-2626
DOI: 10.1109/TVCG.2019.2932224
URL: https://ieeexplore.ieee.org/document/8798880
BibTeX: Download
, , , , , , , :
UWB Channel Impulse Responses for Positioning in Complex Environments: A Detailed Feature Analysis
In: Sensors 24 (2019)
ISSN: 1424-8220
DOI: 10.3390/s19245547
URL: https://www.mdpi.com/1424-8220/19/24/5547
BibTeX: Download
, , , , :
A Framework for Location-Based VR Applications
GI VR/AR Workshop 2019 (Fulda, 17.09.2019 - 18.09.2019)
In: Gesellschaft für Informatik e.V. (Hrsg.): Virtuelle und Erweiterte Realitat: 16. Workshop der GI-Fachgruppe VR/AR (Berichte aus der Informatik) 2019
URL: https://downloads.hci.informatik.uni-wuerzburg.de/2019-gi-vr-ar-framework-for-location-based-vr-applications.pdf
BibTeX: Download
, , , , , , , :
Visual-Odometry-aided Pose Regression for 6DoF Camera Localization
(2019)
URL: https://arxiv.org/pdf/1912.08263.pdf
BibTeX: Download
(Techreport)
, , , :
A Social Interaction Interface Supporting Affective Augmentation Based on Neuronal Data
Symposium on Spatial User Interaction (SUI'19) (New Orleans, 19.10.2019 - 20.10.2019)
In: Christoph W. Borst, Arun K. Kulshreshth, Gerd Bruder, Stefania Serafin, Christian Sandor, Kyle Johnsen, Jinwei Ye, Daniel Roth, Sungchul Jung (Hrsg.): Proceedings of the Symposium on Spatial User Interaction (SUI'19), New York, NY, USA: 2019
DOI: 10.1145/3357251.3360018
URL: https://dl.acm.org/citation.cfm?id=3357251.3360018
BibTeX: Download
, , , , , :
Brain 2 Communicate: EEG-based Affect Recognition to Augment Virtual Social Interactions
Mensch und Computer 2019 (Hamburg, 08.09.2019 - 11.09.2019)
In: Gesellschaft für Informatik e.V. (Hrsg.): Mensch und Computer 2019 - Workshopband 2019
DOI: 10.18420/muc2019-ws-571
URL: https://dl.gi.de/bitstream/handle/20.500.12116/25205/571.pdf
BibTeX: Download
, , , , , :
2018
Head-to-Body-Pose Classification in No-Pose VR Tracking Systems
25th IEEE Conference on Virtual Reality and 3D User Interfaces (IEEE VR 2018) (Reutlingen, 18.03.2018 - 22.03.2018)
In: Proceedings of the 25th IEEE Conference on Virtual Reality and 3D User Interfaces (IEEE VR 2018) 2018
DOI: 10.1109/VR.2018.8446495
URL: http://www2.informatik.uni-erlangen.de/publication/download/IEEE-VR2018b.pdf
BibTeX: Download
, , :
Human Compensation Strategies for Orientation Drifts
25th IEEE Conference on Virtual Reality and 3D User Interfaces (Reutlingen, 18.03.2018 - 22.03.2018)
In: Proceedings of the 25th IEEE Conference on Virtual Reality and 3D User Interfaces (IEEE VR 2018) 2018
DOI: 10.1109/VR.2018.8446300
URL: https://www2.cs.fau.de/publication/download/IEEE-VR2018a.pdf
BibTeX: Download
, , :
Supervised Learning for Yaw Orientation Estimation
(2018)
ISSN: 2471-917X
DOI: 10.1109/IPIN.2018.8533811
URL: https://www2.cs.fau.de/publication/download/IPIN2018a.pdf
BibTeX: Download
, , :
Recurrent Neural Networks on Drifting Time-of-Flight Measurements
9th International Conference on Indoor Positioning and Indoor Navigation (IPIN 2018) (Nantes, 24.09.2018 - 27.09.2018)
In: Proceedings of the 9th International Conference on Indoor Positioning and Indoor Navigation (IPIN 2018) 2018
DOI: 10.1109/IPIN.2018.8533813
URL: https://www2.cs.fau.de/publication/download/IPIN2018b.pdf
BibTeX: Download
, , , , :
A Location-Based VR Museum
10th International Conference on Virtual Worlds and Games for Serious Applications (VS Games 2018) (Würzburg, 05.09.2018 - 07.09.2018)
In: Proceedings of the 10th International Conference on Virtual Worlds and Games for Serious Applications (VS-Games 2018) 2018
DOI: 10.1109/VS-Games.2018.8493404
URL: http://doi.ieeecomputersociety.org/10.1109/VS-Games.2018.8493404
BibTeX: Download
, , , , , , , , :
Beyond Replication: Augmenting Social Behaviors in Multi-User Social Virtual Realities
25th IEEE Conference on Virtual Reality and 3D User Interfaces (IEEE VR 2018) (Reutlingen, 18.03.2018 - 22.03.2018)
In: Proceedings of the 25th IEEE Conference on Virtual Reality and 3D User Interfaces (IEEE VR 2018) 2018
DOI: 10.1109/VR.2018.8447550
URL: https://www.hci.uni-wuerzburg.de/download/2018-ieeevr-behav-augm-preprint.pdf
BibTeX: Download
, , , , :
2017
Acoustical manipulation for redirected walking
23rd ACM Symposium on Virtual Reality Software and Technology (VRST '17) (Gothenburg, 08.11.2017 - 10.11.2017)
In: Proceedings of the 23rd ACM Symposium on Virtual Reality Software and Technology (VRST '17), New York: 2017
DOI: 10.1145/3139131.3141205
URL: https://www2.cs.fau.de/publication/download/VRST2017.pdf
BibTeX: Download
, , , :
Social Augmentations in Multi-User Virtual Reality: A Virtual Museum Experience
2017 IEEE International Symposium on Mixed and Augmented Reality (ISMAR-Adjunct) (Nantes, 09.10.2017 - 13.10.2017)
In: Proceedings of the 2017 IEEE International Symposium on Mixed and Augmented Reality (ISMAR-Adjunct) 2017
DOI: 10.1109/ISMAR-Adjunct.2017.28
URL: http://ieeexplore.ieee.org/document/8088445/
BibTeX: Download
, , , , :
- Verfahren und Vorrichtungen zur Positionierung in einem Drahtloskommunikationsnetzwerk (Schutzrecht: EP3819657A1)
Erfinder: , , , - Verfahren und Vorrichtungen zur Positionierung in einem Drahtloskommunikationsnetzwerk (Schutzrecht: WO2021089258A1)
Erfinder: , , , - Vorrichtungen und Verfahren zum Korrigieren von Ausrichtungsinformationen von einem oder mehreren Trägheitssensoren (Schutzrecht: CA3044140A1)
Erfinder: , - Vorrichtungen und Verfahren zum Korrigieren von Ausrichtungsinformationen von einem oder mehreren Trägheitssensoren (Schutzrecht: CN110073365A)
Erfinder: , - Vorrichtungen und Verfahren zum Korrigieren von Ausrichtungsinformationen von einem oder mehreren Trägheitssensoren (Schutzrecht: EP3568801A1)
Erfinder: , - Vorrichtungen und Verfahren zum Korrigieren von Ausrichtungsinformationen von einem oder mehreren Trägheitssensoren (Schutzrecht: JP2020505614A)
Erfinder: , - Vorrichtungen und Verfahren zum Korrigieren von Ausrichtungsinformationen von einem oder mehreren Trägheitssensoren (Schutzrecht: JP6761551B2)
Erfinder: , - Vorrichtungen und Verfahren zum Korrigieren von Ausrichtungsinformationen von einem oder mehreren Trägheitssensoren (Schutzrecht: KR102207195B1)
Erfinder: , - Vorrichtungen und Verfahren zum Korrigieren von Ausrichtungsinformationen von einem oder mehreren Trägheitssensoren (Schutzrecht: KR20190085974A)
Erfinder: , - Vorrichtungen und Verfahren zum Korrigieren von Ausrichtungsinformationen von einem oder mehreren Trägheitssensoren (Schutzrecht: US2019346280A1)
Erfinder: , - Vorrichtungen und Verfahren zum Korrigieren von Ausrichtungsinformationen von einem oder mehreren Trägheitssensoren (Schutzrecht: WO2018130446A1)
Erfinder: , - VORRICHTUNG UND VERFAHREN ZUR EFFIZIENTEN ZUSTANDSBESTIMMUNG UND LOKALISIERUNG ZWISCHEN MOBILEN PLATTFORMEN (Schutzrecht: WO2019197006A1)
Erfinder: , , , , , - VERFAHREN ZUR BESTIMMUNG EINER AKTUELLEN POSITION EINES OBJEKTES, POSITIONIERUNGSSYSTEM, TRACKER UND COMPUTERPROGRAMM (Schutzrecht: CN111512269A)
Erfinder: , , , , , , - VERFAHREN ZUR BESTIMMUNG EINER AKTUELLEN POSITION EINES OBJEKTES, POSITIONIERUNGSSYSTEM, TRACKER UND COMPUTERPROGRAMM (Schutzrecht: JP2021505898A)
Erfinder: , , , , , , - VERFAHREN ZUR BESTIMMUNG EINER AKTUELLEN POSITION EINES OBJEKTES, POSITIONIERUNGSSYSTEM, TRACKER UND COMPUTERPROGRAMM (Schutzrecht: KR20200086332A)
Erfinder: , , , , , , - VERFAHREN ZUR BESTIMMUNG EINER AKTUELLEN POSITION EINES OBJEKTES, POSITIONIERUNGSSYSTEM, TRACKER UND COMPUTERPROGRAMM (Schutzrecht: US2020371226A1)
Erfinder: , , , , , , - (Schutzrecht: WO2019114925A1)
Erfinder: , , , , , , - VERFAHREN ZUR BESTIMMUNG EINER AKTUELLEN POSITION EINES OBJEKTES, POSITIONIERUNGSSYSTEM, TRACKER UND COMPUTERPROGRAMM (Schutzrecht: CA3084206A1)
Erfinder: , , , , , , - VERFAHREN ZUR BESTIMMUNG EINER AKTUELLEN POSITION EINES OBJEKTES, POSITIONIERUNGSSYSTEM, TRACKER UND COMPUTERPROGRAMM (Schutzrecht: EP3724744A1)
Erfinder: , , , , , , - Verfahren zum Einstellen einer Blickrichtung in einer Darstellung einer Virtuellen Umgebung (Schutzrecht: EP3458935A1)
Erfinder: , , , , - Verfahren zum Einstellen einer Blickrichtung in einer Darstellung einer Virtuellen Umgebung (Schutzrecht: JP2019519842A)
Erfinder: , , , , - Verfahren zum Einstellen einer Blickrichtung in einer Darstellung einer Virtuellen Umgebung (Schutzrecht: JP6676785B2)
Erfinder: , , , , - Verfahren zum Einstellen einer Blickrichtung in einer Darstellung einer Virtuellen Umgebung (Schutzrecht: KR102184619B1)
Erfinder: , , , , - Verfahren zum Einstellen einer Blickrichtung in einer Darstellung einer Virtuellen Umgebung (Schutzrecht: KR20190005222A)
Erfinder: , , , , - Verfahren zum Einstellen einer Blickrichtung in einer Darstellung einer Virtuellen Umgebung (Schutzrecht: WO2017198441A1)
Erfinder: , , , , - Verfahren zum Einstellen einer Blickrichtung in einer Darstellung einer Virtuellen Umgebung (Schutzrecht: US2019180471A1)
Erfinder: , , , , - Verfahren zum Einstellen einer Blickrichtung in einer Darstellung einer Virtuellen Umgebung (Schutzrecht: CA3022914A1)
Erfinder: , , , , - Verfahren zum Einstellen einer Blickrichtung in einer Darstellung einer Virtuellen Umgebung (Schutzrecht: CN109313488A)
Erfinder: , , , , - Verfahren zum Einstellen einer Blickrichtung in einer Darstellung einer Virtuellen Umgebung (Schutzrecht: US10885663B2)
Erfinder: , , , , - Verfahren zur Vorhersage einer Bewegung eines Objekts, Verfahren zur Kalibrierung eines Bewegungsmodells, Verfahren zum Ableiten einer Vordefinierten Menge und Verfahren zur Erzeugung einer Ansicht der Virtuellen Realität (Schutzrecht: CN111527465A)
Erfinder: , - Verfahren zur Vorhersage einer Bewegung eines Objekts, Verfahren zur Kalibrierung eines Bewegungsmodells, Verfahren zum Ableiten einer Vordefinierten Menge und Verfahren zur Erzeugung einer Ansicht der Virtuellen Realität (Schutzrecht: EP3732549A1)
Erfinder: , - Verfahren zur Vorhersage einer Bewegung eines Objekts, Verfahren zur Kalibrierung eines Bewegungsmodells, Verfahren zum Ableiten einer Vordefinierten Menge und Verfahren zur Erzeugung einer Ansicht der Virtuellen Realität (Schutzrecht: JP2021508886A)
Erfinder: , - Verfahren zur Vorhersage einer Bewegung eines Objekts, Verfahren zur Kalibrierung eines Bewegungsmodells, Verfahren zum Ableiten einer Vordefinierten Menge und Verfahren zur Erzeugung einer Ansicht der Virtuellen Realität (Schutzrecht: KR20200100160A)
Erfinder: , - Verfahren zur Vorhersage einer Bewegung eines Objekts, Verfahren zur Kalibrierung eines Bewegungsmodells, Verfahren zum Ableiten einer Vordefinierten Menge und Verfahren zur Erzeugung einer Ansicht der Virtuellen Realität (Schutzrecht: US2020334837A1)
Erfinder: , - Verfahren zur Vorhersage einer Bewegung eines Objekts, Verfahren zur Kalibrierung eines Bewegungsmodells, Verfahren zum Ableiten einer Vordefinierten Menge und Verfahren zur Erzeugung einer Ansicht der Virtuellen Realität (Schutzrecht: WO2019129355A1)
Erfinder: , - Verfahren zur Vorhersage einer Bewegung eines Objekts, Verfahren zur Kalibrierung eines Bewegungsmodells, Verfahren zum Ableiten einer Vordefinierten Menge und Verfahren zur Erzeugung einer Ansicht der Virtuellen Realität (Schutzrecht: CA3086559A1)
Erfinder: , - Vorrichtungen und Verfahren zum Korrigieren von Ausrichtungsinformationen von einem oder mehreren Trägheitssensoren (Schutzrecht: DE102017100622A1)
Erfinder: , - Verfahren zum Einstellen einer Blickrichtung in einer Darstellung einer Virtuellen Umgebung (Schutzrecht: DE102016109153A1)
Erfinder: , , , ,