TensorFlow Graphics

Wir haben uns diesen Monat für TensorFlow entschieden und Ihnen eine Installations Anleitung für Linux zur Verfügung gestellt.

Heute erweitern wir diese um TensorFlow Graphics.

Sie haben es eilig? Dann speichern Sie diesen Blogartikel von R23 als PDF

Brauchen Sie den Inhalt dieses Artikels "TensorFlow Graphics" schnell und bequem? Dann speichern Sie ihn doch einfach als PDF!

Download PDF

Eine Computergrafik benötigt für die 3D Darstellung von Objekten und deren absolute Positionierung in der Szene, eine Beschreibung des Materials, aus dem sie bestehen, Leuchten und eine Kamera. Diese Szenenbeschreibung wird dann von einem Renderer interpretiert, um ein synthetisches Rendering zu erzeugen.

Im Vergleich dazu würde ein Computer-Vision-System von einem Bild ausgehen und versuchen, die Parameter der Szene abzuleiten. So lässt sich vorhersagen, welche Objekte sich in der Szene befinden, aus welchen Materialien sie bestehen, sowie deren dreidimensionale Position und Ausrichtung.

Die Schulung von maschinellen Lernsystemen, die in der Lage sind, diese komplexen 3D-Visionsaufgaben zu lösen, erfordert meist große Datenmengen. Da die Kennzeichnung von Daten ein kostspieliger und komplexer Prozess ist, ist es wichtig, Mechanismen zu haben, um Modelle für das maschinelle Lernen zu entwickeln, die die dreidimensionale Welt verstehen können, während sie ohne große Aufsicht trainiert werden.

Die Kombination von Computer Vision und Computergrafik bietet eine einzigartige Möglichkeit, die riesigen Mengen an leicht verfügbaren, nicht gekennzeichneten Daten zu nutzen. Wie in der folgenden Abbildung dargestellt, kann dies beispielsweise durch eine Analyse durch Synthese erreicht werden, bei der das Sichtsystem die Szenenparameter extrahiert und das Grafiksystem ein darauf aufbauendes Bild wiedergibt.

Wenn das Rendering mit dem Originalbild übereinstimmt, hat das Visionssystem die Szenenparameter genau extrahiert. Bei diesem Aufbau gehen Computervision und Computergrafik Hand in Hand und bilden ein einziges maschinelles Lernsystem ähnlich einem Autoencoder, das selbstüberwachend trainiert werden kann.

Tensorflow Graphics wird entwickelt, um diese Art von Herausforderungen zu meistern, und bietet dazu eine Reihe von differenzierbaren Grafik- und Geometrieebenen (z.B. Kameras, Reflexionsmodelle, räumliche Transformationen, Netzfaltungen) und 3D-Viewer-Funktionalitäten (z.B. 3D TensorBoard), mit denen Sie Ihre gewünschten maschinellen Lernmodelle trainieren und debuggen können.

Link

https://github.com/tensorflow/graphics

Wie können wir Ihnen helfen?

Wir unterstützen Sie bei der Umsetzung Ihres Augmented Reality (AR) oder Virtual Reality (VR) Projektes! Egal ob Produktfotografie, 3D-Scan-Service, 3D-Visualisierung oder fertige 3D-Modelle für AR/VR – wir beraten Sie persönlich und unverbindlich.

Wünschen Sie ein individuelles Angebot auf Basis Ihrer aktuellen Vorlagen, nutzen Sie einfach unser Anfrageformular.