Wir haben uns diesen Monat für TensorFlow entschieden und Ihnen eine Installations Anleitung für Linux zur Verfügung gestellt.
Heute erweitern wir diese um TensorFlow Graphics.
Eine Computergrafik benötigt für die 3D Darstellung von Objekten und deren absolute Positionierung in der Szene, eine Beschreibung des Materials, aus dem sie bestehen, Leuchten und eine Kamera. Diese Szenenbeschreibung wird dann von einem Renderer interpretiert, um ein synthetisches Rendering zu erzeugen.
Im Vergleich dazu würde ein Computer-Vision-System von einem Bild ausgehen und versuchen, die Parameter der Szene abzuleiten. So lässt sich vorhersagen, welche Objekte sich in der Szene befinden, aus welchen Materialien sie bestehen, sowie deren dreidimensionale Position und Ausrichtung.
Die Schulung von maschinellen Lernsystemen, die in der Lage sind, diese komplexen 3D-Visionsaufgaben zu lösen, erfordert meist große Datenmengen. Da die Kennzeichnung von Daten ein kostspieliger und komplexer Prozess ist, ist es wichtig, Mechanismen zu haben, um Modelle für das maschinelle Lernen zu entwickeln, die die dreidimensionale Welt verstehen können, während sie ohne große Aufsicht trainiert werden.
Die Kombination von Computer Vision und Computergrafik bietet eine einzigartige Möglichkeit, die riesigen Mengen an leicht verfügbaren, nicht gekennzeichneten Daten zu nutzen. Wie in der folgenden Abbildung dargestellt, kann dies beispielsweise durch eine Analyse durch Synthese erreicht werden, bei der das Sichtsystem die Szenenparameter extrahiert und das Grafiksystem ein daraufbauendes Bild wiedergibt.
Wenn das Rendering mit dem Originalbild übereinstimmt, hat das Visionssystem die Szenenparameter genau extrahiert. Bei diesem Aufbau gehen Computervision und Computergrafik Hand in Hand und bilden ein einziges maschinelles Lernsystem ähnlich einem Autoencoder, das selbstüberwachend trainiert werden kann.
Tensorflow Graphics wird entwickelt, um diese Art von Herausforderungen zu meistern, und bietet dazu eine Reihe von differenzierbaren Grafik- und Geometrieebenen (z.B. Kameras, Reflexionsmodelle, räumliche Transformationen, Netzfaltungen) und 3D-Viewer-Funktionalitäten (z.B. 3D TensorBoard), mit denen Sie Ihre gewünschten maschinellen Lernmodelle trainieren und debuggen können.