Site icon Atelier für 3D-Visualisierungen, V/AR. Produktvisualisierung und Rendering. ❤ r23

360-Grad-Bilder aus Text generieren. Latent Diffusion Model for 3D (LDM3D)

Ralf Dreiundzwanzig
360-Grad-Bilder aus Text generieren. Latent Diffusion Model for 3D (LDM3D)

Intel hat ein KI-Modell vorgestellt, das 360-Grad-Bilder aus Text generiert. Das Modell heißt Latent Diffusion Model for 3D (LDM3D) und wurde in Zusammenarbeit mit Blockade Labs entwickelt. Blockade Labs ist eine Plattform, die es Kreativen ermöglicht, ihre Visionen in virtuelle Realität umzusetzen.

LDM3D nutzt KI, um realistische visuelle 3D-Inhalte zu erstellen, die eine Tiefenkarte enthalten, um 360-Grad-Ansichten zu ermöglichen. Intel behauptet, dass es das branchenweit erste Modell dieser Art sei. Das Modell soll Inhalte, -Anwendungen und digitale Erlebnisse revolutionieren und eine Vielzahl von Branchen verändern.

LDM3D kann aus Textbeschreibungen detaillierte 360-Grad-Panoramen erzeugen, zum Beispiel von einem ruhigen tropischen Strand, einem modernen Wolkenkratzer oder einem Science-Fiction-Universum. Das ermöglicht innovative Anwendungen für Branchen wie Unterhaltung, Spiele, Innenarchitektur, Immobilienangebote, virtuelle Museen und immersives Virtual-Reality-Erlebnis (VR).

Was sind die Anwendungsbereiche von LDM3D?

Die Anwendungsbereiche von LDM3D sind vielfältig und spannend. LDM3D kann aus Textbeschreibungen detaillierte 360-Grad-Panoramen erzeugen, die für verschiedene Branchen und Zwecke genutzt werden können. Zum Beispiel:

Wie kann ich LDM3D verwenden?

Um LDM3D zu verwenden, benötigen Sie eine geeignete Software, die das Modell unterstützt. Eine Möglichkeit ist, die Hugging Face-Plattform zu nutzen, die eine Reihe von KI-Modellen und -Pipelines anbietet, darunter LDM3D. Hugging Face ermöglicht es Ihnen, LDM3D mit -Code zu verwenden, um 360-Grad-Bilder aus Text zu generieren. Zum Beispiel können Sie den folgenden Code ausführen, um ein Bild von einigen Zitronen auf einem Tisch zu erzeugen:

from diffusers import StableDiffusionLDM3DPipeline
pipe_ldm3d = StableDiffusionLDM3DPipeline.from_pretrained("Intel/ldm3d")
prompt = "A picture of some lemons on a table"
output = pipe_ldm3d(prompt)
rgb_image, depth_image = output.rgb, output.depth
rgb_image[0].save("lemons_ldm3d_rgb.jpg")
depth_image[0].save("lemons_ldm3d_depth.png")

LDM3D - Hugging Face.

Sie können auch andere Textbeschreibungen verwenden, um verschiedene 360-Grad-Bilder zu erzeugen. Sie können die Ergebnisse in Ihrem lokalen Ordner speichern oder online anzeigen.

Eine andere Möglichkeit ist, die Blockade Labs-Plattform zu verwenden, die eine intuitive Benutzeroberfläche bietet, um LDM3D zu verwenden¹. Blockade Labs ermöglicht es Ihnen, Ihre eigenen virtuellen Welten aus Text zu erstellen und zu teilen. Sie können auch die Werke anderer Kreativer erkunden und inspirieren lassen. Blockade Labs ist noch in der Beta-Phase, aber Sie können sich für einen frühen Zugang anmelden.

Blockade Labs

Wie kann ich Hugging Face verwenden?

Um Hugging Face zu verwenden, müssen Sie zunächst ein Konto erstellen und sich anmelden. Sie können dies auf der Hugging Face-Website tun. Dort finden Sie auch eine umfangreiche Dokumentation, die Ihnen zeigt, wie Sie die verschiedenen Funktionen und Dienste von Hugging Face nutzen können.

Einige der wichtigsten Funktionen von Hugging Face sind:

Was sind die Vorteile von LDM3D gegenüber anderen Modellen?

LDM3D hat einige Vorteile gegenüber anderen Modellen, die 360-Grad-Bilder aus Text generieren können. Einige davon sind:

Kann ich auch Videos oder Animationen mit LDM3D erstellen?

LDM3D ist ein Modell, das 360-Grad-Bilder aus Text generiert, aber es kann keine Videos oder Animationen erstellen. Um Videos oder Animationen aus Text zu erstellen, benötigen Sie eine andere Software, die diese Funktion unterstützt. Es gibt einige Optionen auf dem Markt, die Sie ausprobieren können. Zum Beispiel:

Kann ich auch andere Arten von Bildern oder Modellen mit LDM3D generieren?

LDM3D ist ein Modell, das 360-Grad-Bilder aus Text generiert, aber es kann auch andere Arten von Bildern oder Modellen generieren. Einige davon sind:

Wie kann ich RGBD-Bilder oder 3D-Modelle mit LDM3D generieren?

Um RGBD-Bilder oder 3D-Modelle mit LDM3D zu generieren, können Sie die Hugging Face-Plattform nutzen, die das Modell unterstützt¹. Sie können LDM3D mit -Code verwenden, um RGBD-Bilder oder 3D-Modelle aus Text zu generieren. Zum Beispiel können Sie den folgenden Code ausführen, um ein RGBD-Bild von einem Schloss in den Bergen zu erzeugen:

from diffusers import StableDiffusionLDM3DPipeline
pipe_ldm3d = StableDiffusionLDM3DPipeline.from_pretrained("Intel/ldm3d")
prompt = "A picture of a castle in the mountains"
output = pipe_ldm3d(prompt)
rgb_image, depth_image = output.rgb, output.depth
rgb_image[0].save("castle_ldm3d_rgb.jpg")
depth_image[0].save("castle_ldm3d_depth.png")

Um ein im OBJ-Format zu erzeugen, können Sie den folgenden Code ausführen:

from diffusers import StableDiffusionLDM3DPipeline
pipe_ldm3d = StableDiffusionLDM3DPipeline.from_pretrained("Intel/ldm3d")
prompt = "A picture of a castle in the mountains"
output = pipe_ldm3d(prompt)
obj_file = output.obj
obj_file[0].save("castle_ldm3d.obj")

Sie können auch andere Textbeschreibungen verwenden, um verschiedene RGBD-Bilder oder 3D-Modelle zu erzeugen. Sie können die Ergebnisse in Ihrem lokalen Ordner speichern oder online anzeigen.

Wie kann ich die Qualität der generierten Bilder verbessern?

Um die Qualität der generierten Bilder zu verbessern, gibt es einige Schritte, die Sie ausführen können. Einige davon sind:

Eine Schritt-für-Schritt-Anleitung, wie Sie auf huggingface.co den Code ausführen können.

Dieses Tutorial ist als praktischer Leitfaden gedacht und behandelt keine theoretischen Hintergründe.

Für die Richtigkeit der Inhalte dieses Tutorials gebe ich keinerlei Garantie. Der hier gezeigte Weg ist nicht der einzige, es ist lediglich, der, den ich bevorzuge.

Hier sind die Schritte, die Sie befolgen müssen:

Um das LDM3D-Modell auf Hugging Face zu verwenden, können Sie das Modell Intel/ldm3d verwenden. Dieses Modell ist eine Pipeline, die das LDM3D-Modell verwendet, um ein im OBJ-Format aus einem Text zu erzeugen. Sie können dieses Modell in Ihrem Space verwenden, indem Sie die diffusers Bibliothek installieren und die StableDiffusionLDM3DPipeline Klasse importieren. Sie können dann Ihr Text-Prompt als Eingabe für die Pipeline verwenden und das generierte OBJ-Modell speichern.

Um einen neuen Space auf Hugging Face zu erstellen, müssen Sie die Spaces Hauptseite besuchen und auf Create new Space klicken. Sie müssen dann einen Namen für Ihren Space wählen und eine Beschreibung hinzufügen. Sie können auch ein Docker-Template auswählen, das Ihre Umgebung definiert und steuert. Sie können sich einige Beispiele für Docker Spaces auf der Hugging Face Dokumentation ansehen. Ein mögliches Template ist das FastAPI app serving a static site and using transformers Template, das FastAPI als Server verwendet und transformers importiert. Sie müssen nur die diffusers Bibliothek hinzufügen und die entsprechende Pipeline initialisieren. Sie können auch Ihr eigenes Dockerfile erstellen, wenn Sie mehr Kontrolle über die Umgebung haben möchten.

Nachdem Sie Ihren Space erstellt haben, können Sie Ihren Code hochladen und ausführen. Sie können auch andere Benutzer einladen, Ihren Space zu besuchen und Ihre ML-Demo auszuprobieren. 

pip install huggingface_hub
huggingface-cli login

Um den Token beim Login in die PowerShell zu kopieren, können Sie folgende Schritte ausführen:

huggingface-cli login
# To create a new repository
huggingface-cli repo create your-repo-name

# To clone an existing repository
git clone https://huggingface.co/your-username/your-repo-name
from diffusers import StableDiffusionLDM3DPipeline
pipe_ldm3d = StableDiffusionLDM3DPipeline.from_pretrained("Intel/ldm3d")
prompt = "A picture of a castle in the mountains"
output = pipe_ldm3d(prompt)
rgb_image, depth_image = output.rgb, output.depth
rgb_image[0].save("castle_ldm3d_rgb.jpg")
depth_image[0].save("castle_ldm3d_depth.png")

git init
python ldm3d.py

Sie sollten dann ein RGB-Bild und ein Tiefenbild von einem Schloss in den Bergen erhalten, die in Ihrem lokalen Ordner gespeichert sind.

Wie funktioniert das LDM3D-Modell?

Das LDM3D-Modell ist ein neuartiges Diffusionsmodell, das generative KI verwendet, um realistische 3D-Visuelle Inhalte zu erzeugen. Es wurde von Intel in Zusammenarbeit mit Blockade Labs vorgestellt. Es ist das branchenweit erste Modell, das eine Tiefenkarte mit dem Diffusionsprozess erzeugt, um 3D-Bilder mit 360-Grad-Ansichten zu erstellen, die lebendig und immersiv sind.

Das LDM3D-Modell besteht aus zwei Komponenten: einem Autoencoder, der eine niedrigdimensionale, wahrnehmungsgleiche Datenrepräsentation erzeugt, und einem Diffusionsmodell, das diese Repräsentation verwendet, um sowohl ein RGB-Bild als auch eine Tiefenkarte aus einem Text-Prompt zu generieren. Das LDM3D-Modell wurde auf einem Datensatz feinabgestimmt, der aus einem Teilmenge des LAION-400M-Datensatzes besteht, einem groß angelegten Bild-Beschriftungs-Datensatz, der über 400 Millionen Bild-Beschriftungs-Paare enthält.

Das LDM3D-Modell ist ein einzelnes Modell, das sowohl ein RGB-Bild als auch eine Tiefenkarte erzeugt, was zu Einsparungen bei Speicherbedarf und Latenzverbesserungen führt. Die Einführung von LDM3D und DepthFusion ebnet den Weg für weitere Fortschritte in der generativen KI und Computer Vision für mehrere Ansichten. Diese Technologie hat das Potenzial, eine Vielzahl von Branchen zu transformieren, von Unterhaltung und Gaming bis hin zu und Design.

Wie kann ich das LDM3D-Modell verwenden?

Um das LDM3D-Modell zu verwenden, gibt es verschiedene Möglichkeiten, je nachdem, was Sie erreichen möchten. Hier sind einige Optionen, die Sie ausprobieren können:

Kann ich das LDM3D-Modell auf meinem Computer ausführen?

Dieses Tutorial ist als praktischer Leitfaden gedacht und behandelt keine theoretischen Hintergründe.Für die Richtigkeit der Inhalte dieses Tutorials gebe ich keinerlei Garantie. Der hier gezeigte Weg ist nicht der einzige, es ist lediglich, der, den ich bevorzuge.

Um das LDM3D-Modell auf Ihrem Computer auszuführen, müssen Sie einige Systemanforderungen erfüllen. Sie müssen zum Beispiel Python 3.8 oder höher installiert haben, sowie die diffusers Bibliothek und das transformers Paket. Sie müssen auch das LDM3D-Modell von der arXiv-Webseite herunterladen¹ oder von der Papers With Code Webseite². Sie müssen dann das Modell in Ihrer Umgebung laden und Ihr Text-Prompt als Eingabe für das Modell verwenden. Das Modell wird Ihnen dann ein RGB-Bild und eine Tiefenkarte als Ausgabe liefern.

Sie können auch Docker verwenden, um das LDM3D-Modell auszuführen. Sie müssen dazu eine Docker-Datei schreiben, die Ihre Umgebung definiert und steuert. Sie können dies tun, indem Sie eine Datei namens “Dockerfile” in Ihrem Repository erstellen und den folgenden Code hinzufügen:

FROM python:3.8-slim

RUN pip install diffusers transformers

COPY ldm3d_model /ldm3d_model

Sie müssen dann den folgenden Befehl ausführen, um ein Docker-Image aus dieser Datei zu erstellen:

docker build -t ldm3d .

Sie können dann das Docker-Image in Ihrem Space verwenden, indem Sie den folgenden Befehl ausführen:

docker run -it ldm3d

Sie können dann Ihr Text-Prompt als Eingabe für das Modell verwenden und das generierte RGB-Bild und die Tiefenkarte speichern.

LDM3D: Latent Diffusion Model for 3D - arXiv.org.
LDM3D: Latent Diffusion Model for 3D - Papers With Code.
Quickstart - Hugging Face.
Spaces - Hugging Face.
Intel stellt KI-Modell vor, das 360-Grad-Bilder aus Text generiert - t3n.

Das könnte Sie auch interessieren

Skybox AI ist eine Website, die es Ihnen ermöglicht, eine 360-Grad-Cyberpunk-Landschaft zu erstellen, indem Sie einen Text eingeben, der beschreibt, was Sie sehen möchten. Zum Beispiel könnten Sie schreiben: „Eine futuristische Stadt mit Neonlichtern, Wolkenkratzern und fliegenden Autos“. Dann würde Skybox AI eine passende Skybox generieren, die Sie herunterladen oder teilen können. Fundstück der Woche: Skybox AI 360-Grad

Willkommen zu unserem neuesten Video! In diesem Video präsentieren wir Ihnen eine atemberaubende 360 Grad Eislandschaft, die mit modernster VR-Technologie und 5D-Rendering erstellt wurde. Sie werden das Gefühl haben, mitten in der Landschaft zu stehen und die Schönheit der Natur hautnah zu erleben.Dieses Video richtet sich an alle, die sich für beeindruckende Landschaften und innovative Technologien begeistern. Egal, ob Sie ein VR-Enthusiast sind oder einfach nur neugierig auf die Möglichkeiten von -Rendering sind, dieses Video wird Sie begeistern. Erleben Sie die Zukunft: 360 Grad VR Video veröffentlicht!

Wir haben in den letzten Tagen eine kleine Ausstellung mit wenigen Bildern auf Spatial.io für Freunde unseres Hauses eingerichtet. Mit diesem Blogbeitrag möchten wir Sie in unsere Welt einladen. Einladung in unsere Ausstellung auf Spatial.io

Exit mobile version