Die Robots.txt enthält Anweisungen für Suchmaschienen und die Sitemap.xml beinhaltet eine Übersicht und Anweisungen wie eine Webseite indexiert werden soll.

Diese Dateien sind nicht zwingend nötig für kleine Seiten, aber grössere Seiten und für Google kann dies grösse Einflüsse haben. Aus diesem Grund sollte man diese Dateien auf der eigenen Homepage einrichten.

Wichtige Regeln für die Robots.txt:

  • Seiten welche nicht im Index erscheinen sollten, gehören hier verboten.
  • JS & CSS Ressourcen dürfen nicht blockiert werden.
  • Verlinkung zur Sitemap.xml sollte vorhanden sein!

Die Sitemap.xml sollte nach Vorlage im korrekten Format erstellt werden.

Hier können Sie testen, ob auf Ihrer Domain diese beiden Dateien vorhanden sind. Der Test selbst ist jedoch rudimentär und prüft nicht nach dem Inhalt!

URL zum robots.txt und Sitemap.xml Testen: