Liste der früheren Abschlussarbeiten

In dieser Arbeit wird eine LCEVC-ähnliche Pipeline entwickelt, bei der ein unkomprimiertes Quellvideo kodiert wird, um verschiedene Videoformate wie herunterskalierte Videos, grundkodierte Videos, hochskalierte Videos und Residuen zu erzeugen, um eine endgültige verbesserte dekodierte Ausgabe zu berechnen, die im Vergleich zum unkomprimierten Quellvideo stark komprimiert ist und zusätzlich die Qualitäten des ursprünglichen Quellvideos ohne großen Informationsverlust beibehält und verbessert. Der Upscaling-/Downscaling-Faktor wird mit n angegeben, und in dieser Arbeit wurden drei verschiedene Werte für n verwendet: n = 2, 4 und 8. Die für diese Arbeit verwendeten Basis-Encoder sind libx264, libx265 und vp9. Für die Bewertung der Videoqualität wurde die objektive Metrik Video Multimethod Assessment Fusion (VMAF) verwendet. Für die Ergebnisse wurde ein Vergleich der Dateigröße zwischen den verschiedenen Videoformaten durchgeführt und auch ein VMAF-Vergleich zwischen den basiscodierten und den verbesserten decodierten Videos wurde berechnet. Die höchsten VMAF-Werte für alle drei Basis-Encoder wurden für n = 2 ermittelt. Daraus lässt sich schließen, dass das in dieser Arbeit verwendete Systemdesign die Ausgabe mit zunehmendem Downscaling-Faktor verbessert. Die Verbesserung hängt auch vom Inhalt des Videos in Bezug auf die räumliche und zeitliche Information ab. Darüber hinaus spielt auch der Einfluss des verwendeten Encoders eine wichtige Rolle bei der Verbesserung des Videos. In dieser Arbeit werden Werkzeuge wie FFMPEG und VMAF verwendet.

Eine individuelle Anpassung der Bildschärfe innerhalb eines Kamerasystems ist bei hochauflösenden Bildern nur schwer zu erreichen. Durch den Einsatz digitaler Filter im Ortsbereich soll in dieser Arbeit eine gleichbleibend starke und individuell anpassbare Manipulation der Bildschärfe bei steigenden Sensorauflösungen gewährleistet werden, ohne dass mehr Ressourcen im FPGA der Kamera benötigt werden. Dazu soll zunächst das Auftreten visueller Unterschiede bei der Filterung verschieden aufgelöster Bilder mit demselben Filterkern technisch erklärt werden. Darauf aufbauend werden Methoden entwickelt, die dazu dienen bei der Filterung im FPGA Ressourcen zu sparen, um damit eine breitere Pixelumgebung beeinflussen zu können und so gleichbleibend starke Effekte bei steigender Sensorauflösung zu gewährleisten. Mit dem ersten Ansatz wird eine Ersparnis im Linebuffer des FPGAs erreicht, indem benachbarte Bildzeilen zusammengeführt werden, was in dieser Arbeit als HDF bezeichnet wird. Die zweite Methode basiert auf der Reduzierung der Bittiefe bestimmter Pixel im Filterprozess. Um die Performance dieser vorgestellten Methoden zu bewerten, werden sowohl eine subjektive Qualitätsbewertung durch Experten als auch eine objektive Bewertung mithilfe von Bildqualitätsmetriken durchgeführt. Obwohl die Qualitätsunterschiede zwischen dem ursprünglichen Ansatz und den neu entwickelten Methoden bei der getesteten Auflösung von 4k noch relativ gering sind, ermöglichen sie es bei einer weiter steigenden Auflösung eine gleichbleibende Flexibilität bei der Filterung, ohne die theoretisch benötigte höhere Menge an Ressourcen zu verwenden.

Eine der Herausforderungen für Automobilhersteller und Hersteller von Car-Audio-Systemen ist die Entwicklung von Car-Audio-Systemen, die den wachsenden Bedarf an immersiven Unterhaltungserlebnissen für den mobilen Konsum von Multimedia-Formaten wie Dolby Atmos erfüllen. In dieser Arbeit wird versucht, Up-Firing-Technologien für einen Car-Audio-Anwendungsfall zu adaptieren, der solche immersiven Audioerlebnisse ohne Verwendung von Deckenlautsprechern ermöglicht. Eine 5.1.4 Lautsprecherkonfiguration mit Up-Firing-Lautsprechern wurde entwickelt und mittels objektiver und subjektiver Bewertungsmethoden mit Stereo, 5.1 und einer 5.1.4-Referenzkonfiguration mit Deckenlautsprechern verglichen. Objektive Bewertungsmethoden wie der Pearson-Korrelationskoeffizient (PCC) und die Perceptual Evaluation of Audio Quality (PEAQ) konnten minimal zwischen den spektralen, nicht aber den räumlichen Merkmalen verschiedener Lautsprecherkonfigurationen unterscheiden. Die Schätzung der Einfallsrichtung half dabei, die räumlichen Ähnlichkeiten zwischen der 5.1.4-Referenzkonfiguration mit Deckenlautsprechern und der vorgeschlagenen Up-Firing 5.1.4- Konfiguration zu ermitteln und zeigte die Grenzen der Lautsprecheraufstellung für Up-Firing-Lautsprecherchassis auf. Die subjektiven Bewertungstests ergaben eine klare Präferenz der Hörer für die 5.1-Lautsprecherkonfiguration, die in "Multiple Stimulus with Hidden Reference and Anchor (MUSHRA)"-Tests etwa 7 Punkte höher bewertet wurde als die 5.1.4-Lautsprecherkonfiguration mit Up-Firing. Allerdings erwies sich diese als deutlich besser als die Stereokonfiguration mit einer MUSHRA-Bewertungsdifferenz von etwa 14 Punkten. Diese Bevorzugung könnte auf mehrere Faktoren zurückzuführen sein, einschließlich, aber nicht beschränkt auf die Abstimmung des Fahrzeuginnenraums, den Zielfrequenzgang der Up-Firing 5.1.4-Lautsprecherkonfiguration, sowie auf die Klangfarbe der Up-Firing Lautsprecher selbst. Diese subjektiven Testergebnisse unterstützen die objektiven Ergebnisse, die darauf hinweisen, dass die vorgeschlagene Up-Firing 5.1.4-Lautsprecherkonfiguration einen weniger ausgeprägten Höheneindruck vermittelt als die 5.1.4-Referenzkonfiguration mit Deckenlautsprechern. Die nahe beieinander liegenden MUSHRA-Bewertungen der Up-Firing 5.1.4 Lautsprecherkonfiguration und der 5.1 Konfiguration bieten eine vielversprechende Grundlage für die Erforschung einer Alternative für den Einsatz von Deckenlautsprechern. Die wichtigste Anwendung einer solchen Lautsprecherkonfiguration ist für Unterhaltungszwecke, z.B. um auch den Insassen von Autos mit niedriger Deckenhöhe/Sonnendach, die keine dedizierte Deckenlautsprecher besitzen, die Möglichkeit zu geben, unterwegs ein virtuelles Konzert zu erleben. Weitere Verbesserungen der Up-Firing Lautsprecherkonfiguration könnten Anwendungen für Gefahren- oder Kollisionswarnungen, Einparkhilfen und Freisprecheinrichtungen für Mobiltelefongespräche, bei denen der Ton aus unterschiedlichen Bereichen des Fahrzeugs kommen soll, ermöglichen.

Haptische Rückmeldung und Verkörperung sind ein aktiv erforschter Bereich in der virtuellen Realität (VR). Ein VR-System, das es dem Benutzer ermöglicht, mit virtuellen Objekten so zu interagieren, als ob sie real wären, ist äußerst wünschenswert. Die massive Entwicklung der VR-Industrie hat zu einer Beschleunigung der Entwicklung der haptischen Handschuhtechnologie sowie der Selbstdarstellung des Nutzers in VR durch digitale Avatare geführt. Es gibt jedoch nur wenige Forschungsstudien, die den Einsatz von haptischen Handschuhen in Verbindung mit der Verkörperung in einer virtuellen Umgebung (VE) untersucht haben. Die Bedeutung dieser Forschung liegt darin, besser zu verstehen, wie haptisches Feedback und 3D-Avatarisierung die Benutzererfahrung beeinflussen. Das Hauptziel dieser Studie ist die Entwicklung eines Proof-of-Concept (POC) für eine immersive virtuelle Umgebung (IVE). Durch den Einsatz von Geräten mit haptischem Feedback und Embodiment wird die POC IVE zur Untersuchung von Forschungsfragen zu Präsenz und Immersion eingesetzt. Für das haptische Feedback wurde das SenseGloves Development Kit 1 (DK1) verwendet. Der SenseGloves DK1 ist eine gelenkige Exoskelett-Struktur mit kinästhetischem und vibrotaktilem Feedback. Außerdem wurden in diesem Projekt HTC Vive-Tracker verwendet, um den Körper des Benutzers zu verfolgen. In Unity 3D wurde die Ganzkörperbewegung in der virtuellen Realität mit Hilfe eines 3-Punkt-Trackingsystems, inverser Kinematik und Animationsrigging rekonstruiert. Subjektive Tests wurden von drei VR-Fachleuten durchgeführt, um einen Einblick in die oben gestellten Studienfragen zu erhalten und die Präsenz und Immersion in der virtuellen Realität einzuschätzen. Zwei Testfälle wurden als POC entwickelt. Im ersten Testfall wurde eine Demo für VR-Telekonferenzen entwickelt. Es gab drei verschiedene Szenarien. Die Szenarien enthielten unterschiedliche Einstellungen für haptisches Feedback und Verkörperung. In jedem Szenario musste der Benutzer eine Aufgabe lösen, gefolgt von einem Fragebogen. Im zweiten Testfall wurde eine virtuelle Inbetriebnahme-Demo entwickelt. Sie enthielt ebenfalls drei Szenarien für haptisches Feedback und Verkörperung. In jedem Szenario müssen Aufgaben erledigt und anschließend ein Fragebogen ausgefüllt werden. Schließlich werden die Daten in Gruppen aufgeteilt und mit einfachen Verfahren wie Mittelwert, Standardabweichung, Spearman-Korrelation, ANOVA und t-Test ausgewertet. Die Schlussfolgerungen bestätigten mehrere Ergebnisse früherer Studien über den Einfluss von Haptik und Verkörperung auf die Benutzerqualität und -leistung in VR. Schließlich zeigten die Ergebnisse auch die Bedeutung der Haptik und die Vorteile der Verkörperung für kleine Aufgaben, die in virtuellen Telekonferenzen durchgeführt werden, und die Herausforderung, Aufgaben zu bewältigen, wie zum Beispiel bei der virtuellen Inbetriebnahme.

Volumetrisches Video (VV) ermöglicht es Zuschauern, hochrealistische 3D-Inhalte mit sechs Freiheitsgraden (6DoF) in Mixed Reality (MR) Umgebungen zu erleben. Das Rendern von volumetrischen Inhalten erfordert viel Rechenleistung, was besonders für mobile Geräte eine Herausforderung darstellt. Um dies zu entschärfen, wird oft das Auslagern des Renderings auf einen Cloud-Server als Lösung gesehen. In solchen Systemen rendert der Cloud-Server eine 2D-Ansicht des volumetrischen Inhalts und streamt ein 2D-Video an den Client (z.B. ein mobiles Gerät). Diese Lösung erhöht jedoch die Motion-to-Photon-Latenz (M2P) aufgrund der zusätzlichen Netzwerk- und Verarbeitungsverzögerungen. Die M2P-Latenz verursacht eine Fehlregistrierung zwischen virtuellen volumetrischen Objekten und der realen Welt. Obwohl verschiedene Techniken zur Minimierung der wahrgenommenen M2P-Latenz vorgeschlagen wurden, sind Techniken zur Messung und Bestimmung der Wahrnehmungsschwellen des Benutzers nicht weit erforscht. Daher wird in dieser Arbeit ein subjektives Testexperiment entworfen, das darauf abzielt, Schwellenwerte für die Latenzerkennung für statische volumetrische Objekte zu finden, die mit einem MR-Headset präsentiert werden. Zu diesem Zweck wird eine Methode entwickelt, um volumetrischen Objekten eine künstliche Latenz hinzuzufügen, es werden psychometrische Methoden zur Bestimmung von Wahrnehmungsschwellen der Latenz untersucht, und es wird eine Testumgebung zur Durchführung subjektiver Tests entwickelt. Für acht Probanden werden unter bestimmten Bedingungen Latenzschwellen gemessen. Die Ergebnisse für die Latenzdiskriminierung werden anhand des Point of Subjective Equality (PSE) und der Just Noticeable Difference (JND) berichtet, die aus den angepassten psychometrischen Funktionen jedes Benutzers extrahiert wurden. Die gefundenen mittleren JND und PSE betragen 16,1 ms bzw. 58,1 ms. Aus diesen Ergebnissen kann gefolgert werden, dass die JND für die Latenzunterscheidung durch trainierte Probanden im Durchschnitt ˜16 ms oder weniger beträgt, unabhängig von der Komplexität des Inhalts. Diese Werte beinhalten nicht die Grundlinienlatenz des Systems. Die Tests wurden unter bestimmten Bedingungen durchgeführt, und die Ergebnisse gelten möglicherweise nicht für alle MR-Bedingungen. Dennoch sind diese Ergebnisse ein Schritt, der es Wissenschaftlern und Ingenieuren ermöglicht, die Latenzanforderungen für die Übertragung von volumetrischem Video, das auf einem Remote-/Cloud-Server gerendert wird, zu bestimmen.