Test und Dev-Systeme vom Google Index entfernen

Test und Dev-Systeme dürfen nicht im Index von Suchmaschinen landen, da dies Duplicate Content verursacht und schwere Konsequenzen auf das Ranking haben kann. Diese Systeme können mit einem Zugangspasswort gesichert werden, dass die Kunden dies nicht nutzen oder finden können, doch wenn der Kunde dies nicht wünscht, wird es aufwändiger.

Die einzige Möglichkeit ist dann, alle Seiten / Produkte etc mit einem noindex, nofollow zu belegen. Hierbei müsste jede einzelne Seite angefasst werden, was viel Aufwand macht und am Ende kein 1:1 System ist, was man ins Livesystem portieren kann.

Aus dem Grund ist es einfacher mit Serverdirektiven zu arbeiten.

Wir nehmen an, dass das Livesystem unter https://wuk.ch/ läuft und das Development System unter https://wuk.ch/dev/, parrallel gibt es ein Testsystem unter https://wuk.ch/test/.

Apache2 Umsetzung

Folgender Code kann in der .htaccess bei Apache 2.4+ eingetragen werden:

# Hiermit kann ein System ausgenommen werden:
<If "%{REQUEST_URI} =~ m#^/dev/#">
	Header set X-Robots-Tag "noindex,nofollow"
</If>

# Oder man nimmt direkt 2 Systeme aus:
<If "%{REQUEST_URI} =~ m#^/(dev|test)/#">
	Header set X-Robots-Tag "noindex,nofollow"
</If>

Für ältere Apache2 Versionen (mod_setenvif + mod_headers werden benötigt):

# Ein Eintrag pro System, letzte Zeile nur einmal:
SetEnvIf Request_URI ^/dev/ NOINDEX
SetEnvIf Request_URI ^/test/ NOINDEX
Header set X-Robots-Tag "noindex,nofollow" ENV=NOINDEX

Nginx Umsetzung

Beim Nginx kann dies leider nur über eine Modifikation der Serverkonfiguration erfolgen:

# Ein Location Eintrag pro System zum ausnehmen
location /dev {
    add_header X-Robots-Tag "noindex, nofollow" always; 
    try_files $uri $uri/ /index.php?$query_string;
}
location /test {
    add_header X-Robots-Tag "noindex, nofollow" always; 
    try_files $uri $uri/ /index.php?$query_string;
}

Kontrollieren der Umsetzung

Kontrollieren sollte man die Umsetzung auch, ob alles sauber läuft. Bei Nginx ist ein Neuladen der Konfiguration nötig, bei Apache2 ist die Konfiguration direkt gültig.

Um die Umsetzung zu testen, geht man wie folgt vor:

  • Ruft die Dev Seite im Chrome auf
  • Rechtklick auf die Seite und dann „Untersuchen“
  • Wechsel auf das Tab Netzwerk
  • F5 drücken
  • In der Liste, wählt man den ersten Eintrag (zuoberst)

Ist der x-robots-tag vorhanden mit „noindex, nofollow“, dann funktioniert der Code und das Developmentsystem ist nicht mehr auffindbar.

web updates kmu GmbH-wuk-WordPress und SEO Agentur - SEO Experte Stefan Murawski

Fazit: Google Search Konsole überwachen ist essentiell für Ihr Business

Werden Sie auf Google von Ihren Kunden nicht gefunden? Haben Sie Google Search eingerichtet, aber verstehen nur Bahnhof?

Stellen Sie uns Ihre Fragen, gerne hören wir Ihnen zu und beantworten Ihre offenen Fragen.