robots.txt und der Nutzen für SEO

  • November 22, 2017
  • SEO
 

Wofür braucht eine Webseite eine robots.txt Datei?

Das ist eine der Fragen, die wir als SEO Agentur häufiger hören und welcher wir uns nun in diesem Blogbeitrag widmen. Viele Webseitenbetreiber wissen nichts von der eigenen robots.txt und wie man diese für die Suchmaschinenoptimierung einsetzt. Dabei ist die robots.txt eine der wichtigsten Dateien für die Steuerung von Robots und damit auch der Suchmaschinen-Robots. In diesem Blogbeitrag gehen wir auf die Funktionsweise und Einsatzmöglichkeiten der robots.txt ein und zeigen Ihnen, wie Sie die robots.txt gewinnbringend für Ihr Webseiten-Projekt nutzen.

Die robots.txt: Der Kernnutzen

Im Kern steuert die robots.txt das Suchverhalten von Robots auf der Webseite und zeigt den Robots an, welche Bereiche der Webseite die Robots crawlen und analysieren können. Dabei ist die robots.txt jedoch nicht als maßgebliche Schranke für die Robots anzusehen, sondern vielmehr als Empfehlung für Bot-Steuerung. Vor diesem Hintergrund ist die robots.txt keine Schranke für Robots mit bösartigen Absichten und schützt nicht vor dem missbräuchlichen Einsatz von Bots. Bekannte Anbieter von Robots wie Google und Bing setzen auf die robots.txt und akzeptieren die Empfehlungen, die die Textdatei gibt. Somit lassen sich mit der robots.txt alle gängigen Suchmaschinen-Bots steuern.

Die robots.txt: Die Funktionsweise

Die robots.txt ist eine Textdatei, die in das Wurzelverzeichnis der Web-Dateien der Domain abgelegt wird (www.beispiel.de/robots.txt). Nur so kann die robots.txt von den gängigen Suchmaschinenbots gefunden und genutzt werden.

Über 2 Befehlsformen werden Robots adressiert und mit einem Befehl angeleitet. Dafür bedient man sich der Befehle USER AGENT für die Wahl des Bots und einer Anweisung wie DISALLOW für die Sperrung eines bestimmten Verzeichnisses einer Webseite.

In einem Beispiel für ein gängiges Content Management System wollen wir die Funktionsweise der robots.txt erläutern.

Die robots.txt einer WordPress Anwendung

Im folgenden Beispiel sehen Sie eine robots.txt wie sie beispielsweise im WordPress CMS zum Einsatz kommen kann.

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html

Sitemap: http://www.beispiel.de/post-sitemap.xml
Sitemap: http://www.beispiel.de/page-sitemap.xml

Mit dem Befehl USER-AGENT und der Kennzeichnung * werden alle Robots adressiert, die die robots.txt berücksichtigen. Dabei erhält der Bot folgenden Befehl: Jeder Bot, der die Seite erreicht darf im WP-Content Bereich die Uploads crawlen außer im Bereich der Plug Ins. Dieses Verzeichnis ist den Bots versperrt und darf nicht gecrawlt werden. Ähnlich verhält es sich mit der readme.html Datei mit Erläuterungen zur Seite.

Darüber hinaus gibt die robots.txt noch relevante Hinweise zu den Sitemaps (Seiten & Blogbeiträge). Über die Sitemaps werden die Webseitenstrukturen an den Suchmaschinen-Bot übermittelt und der Robot hat eine bessere Möglichkeit relevante Unterseiten zu crawlen und bestenfalls zu indexieren.

robots.txt und Ihr Einsatz in der Suchmaschinenoptimierung

Die robots.txt hilft SEO´s dabei das vorhandene Crawl-Budget der Webseite besser zu nutzen und auf die Bereiche der Webseite zu verteilen. Natürlich findet der Robot relevante Inhalte auch über interne und externe Verlinkungen, jedoch ist es gewinnbringender den Suchmaschinen-Robot direkt auf die relevanten Inhalte hinzuweisen und die irrelevanten Inhalte mit dem DISALLOW Befehl auszuschließen. Mit dem Vorgehen optimiert man das vorhandene Crawl-Budget, dass der Webseite seitens der Suchmaschine gestellt wird auf relevante Inhalte und steigert somit die Effizienz in der Nutzung des Crawl-Budgets.

Fazit zur robots.txt und SEO

Im Rahmen der technischen Suchmaschinenoptimierung und der Steuerung des Crawl Budgets spielt die robots.txt eine entscheidende Rolle. Der gezielte Einsatz der robots.txt hilft den Suchmaschinen-Bots sich besser und schneller auf der Webseite zurecht zu finden und die wirklich relevanten Inhalte zu indexieren. Gerne unterstützen wir Sie als SEO Agentur bei dem gezielten Einsatz der robots.txt für eine bessere Auffindbarkeit in den Suchmaschinen. Nehmen Sie einfach Kontakt zu uns auf!

robots.txt und der Nutzen für SEO
Beitrag bewerten

Jetzt zum Newsletter anmelden und immer informiert sein!

Mail*

Als Zwerg muss man das tun, was die Riesen nicht können. (Niki Lauda) | Bereits in meinem BWL-Studium habe ich meine Vorliebe für die Onlinewelt aus betriebswirtschaftlicher Sicht lieben gelernt. Heute betreue ich Onlineshops und Dienstleistungsunternehmen in der Vermarktung Ihrer Produkte und wenn es passt, dann gebe ich hier meine Erkenntnisse weiter!

Erfahrungen & Bewertungen zu SaphirSolution anzeigen

Jetzt AdWords Check kostenlos sichern!

im Wert von 189€ netto
Felder mit der Kennzeichung * sind Pflichtangaben.

Newsletter abonnieren und immer informiert sein!

Mail*

SaphirSolution ist eine Onlinemarketing Agentur aus Köln.
In unserem Blog berichten wir über aktuelle Onlinemarketing Themen.

 

Mehr aus unserem Blog!

Das sagen unsere Kunden

Zeige alle Kundenstimmen
No Comments
     

    Hinterlasse einen Kommentar