Die robots.txt hat erheblichen Einfluss auf die Suchmaschinenoptimierung eines Blogs. Mit Seiten, die per robots.txt ausgeschlossen wurden, kann man nicht gefunden werden. Wichtig ist, dass Befehle in der robots.txt eine Indexierung nicht verhindern. Wenn die robots.txt Fehler enthält, können Blogs unerreichbar werden, da die URLs überhaupt nicht im Index der Suchmaschinen vorkommen können.
Durch Änderungen und Optimierungen können sich leider Fehler in die robots.txt einschleichen.
Empfehlung: Prüfen Sie die Einstellungen
Mit dem bereits empfohlen Tool Screaming Frog SEO Spider sollte man meiner Meinung nach seinen Blog regelmäßig auf Fehler prüfen.
Unser Blog läuft auf einem einengen Server und gelegentlich kompilieren wir Programme, die eine Web Schnittstelle haben. Diese Demo Installationen, Frameworks, Handbücher, Anleitungen haben meiner Meinung nach nichts im Index von Google verloren.
Aber durch einen Fehler in der robots.txt waren die Bilder von dem Blog leider nicht mehr indexierbar.
Mit dem Google robots.txt Tester konnte ich den Fehler in meiner robots.txt finden und beseitigen.
Einleitung / Hinweis
Dieses robots.txt Tutorial ist als praktischer Leitfaden gedacht und behandelt keine theoretischen Hintergründe. Für die Richtigkeit der Inhalte dieses Tutorials gebe ich keinerlei Garantie.
robots.txt
Mit einer leeren robots.txt auf dem Server verhindern Sie eine 404 Fehlermeldung. Da die robots.txt Datei auf dem Server vorhanden ist. Sie überlassen dann alle Entscheidungen den Suchmaschinen. Dies kann sinnvoll sein.
Wenn Sie eine XML Sitemap in Ihrem Blog erstellen, kann ein Link zur Sitemap in der robots.txt sinnvoll sein.
Bei mir:
Sitemap: https://blog.r23.de/sitemap_index.xmlDa für mich Bilder in der Google Bildersuche wichtig ist, erlaube ich ausdrücklich das Bilderverzeichnis von WordPress für die Indexierung:
Allow: /wp-content/uploadsGoogle füllt gerne Formulare aus und verwendet auch die WordPress Suche.
Disallow: /*s=*PHP und JS Dateien
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$Sie finden in den nachfolgenden Links Anleitungen, wie Sie Ihre robots.txt. Einrichten können.
Weiterführende Links
Ryte Wiki robots.txt – das musst du dazu wissen
Verwenden Sie unsere WordPress Version
Seit 2006 verwenden wir für uns und unsere Kunden WordPress. WordPress ist kostenlos und Open Source. Nach meiner Auffassung von Open Source informiert man den ursprünglichen Entwickler über seine Änderungen und Verbesserungen. Vor diesem Hintergrund pflegen wir auf GitHub eine umfangreiche Open Source Sammlung.
Jedes Mal, wenn wir für eine Kundin oder Kunden WordPress installieren, mussten wir WordPress um unsere bevorzugten Plugins und Sicherheitseinstellungen erweitern. Irgendwann haben wir diese Kopie auf GitHub veröffentlicht. Seit dem wird die Kopie fast täglich gewartet.
Die Plugin-Auswahl ist für Dienstleister aus der Kreativwirtschaft optimiert. Sie können Metaverse Inhalte einfach veröffentlichen. Sie können in ihrem Blogbeitrag auch einen mit dem Grafiktablett zeichnen.
Selbstverständlich ist die WordPress Version von uns auch für Suchmaschinen optimiert und hilft Ihnen erfolgreich zu bleiben.
Unser Ziel ist es, Sie dabei zu unterstützen, wettbewerbsfähig und innovativ zu bleiben:
Wir sind Open Source getrieben
GitHub
https://github.com/r23
Unser Demo-Onlineshop
https://oos-shop.de/shop/
Ich möchte Sie gerne kennenlernen.
Sollten Sie Fragen und Anregungen haben, sprechen Sie mich gerne an. Ich bin für Sie da.