70+ Digital-Spezialisten | >12 Jahre Erfahrung | 1.000+ internationale Projekte
02208-9323998-27
Menü
Author Image
Sebastian Denzin
Datum November 22, 2017

robots.txt und der Nutzen für SEO

Banner

Wofür braucht eine Webseite eine robots.txt Datei?

Das ist eine der Fragen, die wir als SEO Agentur häufiger hören und welcher wir uns nun in diesem Blogbeitrag widmen. Viele Webseitenbetreiber wissen nichts von der eigenen robots.txt und wie man diese für die Suchmaschinenoptimierung einsetzt. Dabei ist die robots.txt eine der wichtigsten Dateien für die Steuerung von Robots und damit auch der Suchmaschinen-Robots. In diesem Blogbeitrag gehen wir auf die Funktionsweise und Einsatzmöglichkeiten der robots.txt ein und zeigen Ihnen, wie Sie die robots.txt gewinnbringend für Ihr Webseiten-Projekt nutzen.

Jetzt unser 190 Seiten SEO Buch herunterladen

  • Hands-On Tipps für Ihr SEO
  • Kostenlos & unverbindlich
  • Jetzt durchstarten!

Jetzt herunterladen [kostenlos]

Die robots.txt: Der Kernnutzen

Im Kern steuert die robots.txt das Suchverhalten von Robots auf der Webseite und zeigt den Robots an, welche Bereiche der Webseite die Robots crawlen und analysieren können. Dabei ist die robots.txt jedoch nicht als maßgebliche Schranke für die Robots anzusehen, sondern vielmehr als Empfehlung für Bot-Steuerung. Vor diesem Hintergrund ist die robots.txt keine Schranke für Robots mit bösartigen Absichten und schützt nicht vor dem missbräuchlichen Einsatz von Bots. Bekannte Anbieter von Robots wie Google und Bing setzen auf die robots.txt und akzeptieren die Empfehlungen, die die Textdatei gibt. Somit lassen sich mit der robots.txt alle gängigen Suchmaschinen-Bots steuern.

Die robots.txt: Die Funktionsweise

Die robots.txt ist eine Textdatei, die in das Wurzelverzeichnis der Web-Dateien der Domain abgelegt wird (www.beispiel.de/robots.txt). Nur so kann die robots.txt von den gängigen Suchmaschinenbots gefunden und genutzt werden.

Über 2 Befehlsformen werden Robots adressiert und mit einem Befehl angeleitet. Dafür bedient man sich der Befehle USER AGENT für die Wahl des Bots und einer Anweisung wie DISALLOW für die Sperrung eines bestimmten Verzeichnisses einer Webseite.

In einem Beispiel für ein gängiges Content Management System wollen wir die Funktionsweise der robots.txt erläutern.

Die robots.txt einer WordPress Anwendung

Im folgenden Beispiel sehen Sie eine robots.txt wie sie beispielsweise im WordPress CMS zum Einsatz kommen kann.

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html

Sitemap: http://www.beispiel.de/post-sitemap.xml
Sitemap: http://www.beispiel.de/page-sitemap.xml

Mit dem Befehl USER-AGENT und der Kennzeichnung * werden alle Robots adressiert, die die robots.txt berücksichtigen. Dabei erhält der Bot folgenden Befehl: Jeder Bot, der die Seite erreicht darf im WP-Content Bereich die Uploads crawlen außer im Bereich der Plug Ins. Dieses Verzeichnis ist den Bots versperrt und darf nicht gecrawlt werden. Ähnlich verhält es sich mit der readme.html Datei mit Erläuterungen zur Seite.

Darüber hinaus gibt die robots.txt noch relevante Hinweise zu den Sitemaps (Seiten & Blogbeiträge). Über die Sitemaps werden die Webseitenstrukturen an den Suchmaschinen-Bot übermittelt und der Robot hat eine bessere Möglichkeit relevante Unterseiten zu crawlen und bestenfalls zu indexieren.

robots.txt und Ihr Einsatz in der Suchmaschinenoptimierung

Die robots.txt hilft SEO´s dabei das vorhandene Crawl-Budget der Webseite besser zu nutzen und auf die Bereiche der Webseite zu verteilen. Natürlich findet der Robot relevante Inhalte auch über interne und externe Verlinkungen, jedoch ist es gewinnbringender den Suchmaschinen-Robot direkt auf die relevanten Inhalte hinzuweisen und die irrelevanten Inhalte mit dem DISALLOW Befehl auszuschließen. Mit dem Vorgehen optimiert man das vorhandene Crawl-Budget, dass der Webseite seitens der Suchmaschine gestellt wird auf relevante Inhalte und steigert somit die Effizienz in der Nutzung des Crawl-Budgets.

Fazit zur robots.txt und SEO

Im Rahmen der technischen Suchmaschinenoptimierung und der Steuerung des Crawl Budgets spielt die robots.txt eine entscheidende Rolle. Der gezielte Einsatz der robots.txt hilft den Suchmaschinen-Bots sich besser und schneller auf der Webseite zurecht zu finden und die wirklich relevanten Inhalte zu indexieren. Gerne unterstützen wir Sie als SEO Agentur bei dem gezielten Einsatz der robots.txt für eine bessere Auffindbarkeit in den Suchmaschinen. Nehmen Sie einfach Kontakt zu uns auf!

Hast du Fragen?

Als Full-Service Online-Marketing-Agentur unterstützen wir Dich gerne.

02208 916 98 99 info@saphirsolution.de

Das könnte Dich auch interessieren: