WordPress: Meta-Tag <robots> für alle Inhalte nutzbar machen

Suchmaschinen den Weg zeigen...

Werbung
Mithilfe des Meta-Tag <robots> lassen sich einzelne Inhalte Ihrer WordPress-Website gezielt aus dem Index von Suchmaschinen ausschließen; so vermeiden Sie "duplicate content" und können das Ranking Ihres Blogs verbessern.
Mithilfe des Meta-Tag <robots> lassen sich einzelne Inhalte Ihrer WordPress-Website gezielt aus dem Index von Suchmaschinen ausschließen; so vermeiden Sie "duplicate content" und können das Ranking Ihres Blogs verbessern.
☆ Dieser Artikel ist Teil unserer WordPress-Trickkiste – Tipps, Tricks und Tutorials… ☆

Viele Suchmaschinen verwenden das Meta-Tag <robots> als Indikator, um zu entscheiden, ob die betreffende Seite (URL) in den Suchindex aufgenommen werden soll oder nicht.

So nutzen Websites das Meta-Tag <robots> unter anderem, um beispielsweise Geschäftsbedingungen, Impressen, 404-Fehlerseiten und anderes aus den Trefferlisten von Suchmaschinen auszuschließen.

Content Management Systeme wie WordPress generieren zudem eine Vielzahl von Seiten im Hintergrund, beispielsweise für Kategorien, Schlagwörter, Anhänge und Archive:

Hier ist die Gefahr groß, unbewusst sogenannten „Duplicate Content“ zu erzeugen. Also identische Inhalte, die unter mehreren URLs einer Website abrufbar sind und dadurch das Ranking in Suchmaschinen negativ beeinflussen. Mit dem Meta-Tag <robots> lassen sich solche URLs von der Indexierung ausschließen.

Der Einsatz des Meta-Tag <robots> sollte daher Teil einer jeden guten SEO-Strategie sein.

Die Syntax des Meta-Tag <robots>

<robots> kann folgende „Positiv“-Werte annehmen:

  • all – die URL indexieren und allen Links auf der Seite folgen. Dies ist die Standardeinstellung bzw. der Vorgabewert bei fehlendem Tag.
  • index – die URL in den Suchindex aufnehmen.
  • follow – vorhandenen Links auf der Seite folgen.
  • index,follow – die URL indexieren und allen vorhandenen Links folgen; analog zu all.

Berechtigungen können durch „Negativ-„Werte entzogen werden:

  • noindex – die URL nicht in den Suchindex aufnehmen.
  • nofollow – vorhandenen Links auf der Seite nicht folgen.
  • none – die URL nicht indexieren und Links nicht folgen; analog zu noindex,nofollow.
  • noarchive – Inhalte dieser URL nicht archivieren oder in einem Cache speichern.
  • notranslate – keine Übersetzungen für Inhalte dieser URL anbieten.
  • noimageindex – auf der Seite vorhandenes Bildmaterial nicht indexieren.
  • unavailable_after:date – die URL ab dem angegebenen Datum aus der Datenbank entfernen. Datumsformate beispielsweise RFC-850 oder SQL-Date. Beispiel: unavailable_after:2525-12-31 (31. Dezember 2525).

Auch Kombinationen sind zulässig. Diverse Suchmaschinen bzw. Spider unterstützen zudem oft weitere, jedoch weniger gebräuchliche Angaben.

Es gibt kein „in Stein gemeißeltes Gesetz“, dass Suchmaschinen die Befolgung des Tags <robots> vorschreibt. Daher eignet sich das Tag <robots> nicht, um Inhalte im Web zu verstecken!

Anleitung für das Einbinden eines Meta-Tag <robots> in WordPress

Von Haus aus bietet WordPress leider keine Unterstützung dieses Meta-Tags an. Zwar beinhalten viele SEO-Plugins eine rudimentäre Integration, wer aber wirklich die volle Kontrolle über das <robots>-Tag möchte, kommt um dessen manuelle Implementierung meist nicht herum.

Wir zeigen im Folgenden, wie man das Meta-Tag <robots> ohne Plugins in WordPress verwendet.

So funktioniert unsere Lösung:

Beiträge und Seiten

Mithilfe eines benutzerdefinierten Felds können individuelle Einstellungen getroffen werden; ein Fallback bindet das Meta-Tag <robots> bei Nichtvorhandensein mit dem Wert „all“ automatisch ein.

Schlagwörter und Kategorien (Taxonomie)

  • Nutzt das Taxon keinen Beschreibungstext, wird <robots> mit „noindex,follow“ eingebunden.
  • Ist ein Beschreibungstext vorhanden, wird auf der ersten Seite des jeweiligen Taxons der Wert des Tags <robots> auf „all“ gesetzt. Wir nehmen in solchen Fällen an, dass hier „unique content“ für Suchmaschinen bzw. sinnvoller Inhalt für Nutzer vorhanden ist.
  • Auf Folgeseiten wird zur Vermeidung von „duplicate content“ dem Tag <robots> grundsätzlich immer der Wert „noindex,follow“ zugewiesen.

Homepage, Beitragsseite (Blogübersicht), Archive und Sitemap

  • Das Meta-Tag <robots> erhält den Wert „all“.
  • Auf Folgeseiten der Blogübersicht wird analog zu Taxa der Wert „noindex,follow“ gesetzt, ausgenommen sind mehrseitige Archive.

Schritt 1: Benutzerdefiniertes Feld anlegen

Für Beiträge und Seiten können Sie individuelle Werte für das Tag <robots> bestimmen. Wir nutzen dazu die in WordPress gebräuchlichen „benutzerdefinierten Felder“.

Ein solches Feld muss einmalig im Adminpanel für einen beliebigen Beitrag (oder eine Seite) erzeugt werden und steht ab diesem Zeitpunkt für alle Beiträge bzw. Seiten zur Verfügung.

Die Einstellungen für benutzerdefinierte Felder finden sich im gleichnamigen Abschnitt des Beitrags- bzw. Seiten-Editors. Unter „Ein neues benutzerdefiniertes Feld hinzufügen“, klicken Sie auf „Neu eingeben“ und legen dann seinen Namen fest. Wir nennen es „robots“ (ohne Anführungszeichen, kleingeschrieben).

Fehlt der Abschnitt „Benutzerdefinierte Felder“, prüfen Sie bitte die Einstellungen: Ein Klick auf das Kästchen „Ansicht anpassen“ am Seitenanfang öffnet eine Liste vorhandener Elemente. Stellen Sie sicher, dass unter „Boxen“ der Eintrag „Benutzerdefinierte Felder“ mit einem Häkchen versehen ist.

Schritt 2: functions.php editieren

Der Wert des Tags <robots> wird für Beiträge und Seiten durch den Nutzer bestimmt.

Bei anderen Inhaltstypen (Homepage, Beitragsseite, Taxonomien) entscheidet eine verschachtelte, bedingte Anweisung über den Wert des Tags <robots>.

Das dafür notwendige Skript hinterlegen wir in der Datei functions.php, welche Teil eines jeden Themes ist. Sie finden diese im Unterverzeichnis ./wp-content/themes/<Name des Layouts> von WordPress.

Fügen Sie den folgenden Code in die Datei functions.php des aktiven Themes ein:

/* Benutzerdefiniertes Feld für Meta-Tag <robots> einfügen. */
function add_custom_meta_robots() {

$default_robots = 'all';
$robots_noindex_follow = 'noindex,follow';

global $post;
echo '<meta name="robots" content="';
    if ( is_single() || is_page() )
        {
        if ( get_post_meta($post->ID, "robots", true) !='' )
           {echo get_post_meta($post->ID, "robots", true);}
           else
           {echo $default_robots;}
         }
         elseif ( is_tag() && (tag_description() == '' || get_query_var('paged') > 1) )
                {echo $robots_noindex_follow;}
         elseif ( (is_home() || is_category()) && get_query_var('paged') > 1 )
                {echo $robots_noindex_follow;}
         else {echo $default_robots;}
    echo '"/>';
}
add_action('wp_head', 'add_custom_meta_robots', 1);

Zum Bearbeiten der Datei eignet sich auf Shellebene ein Texteditor wie beispielsweise pico. Alternativ können Sie diese auch lokal auf Ihrem PC bearbeiten und später via FTP hochladen.

Tipp: Vor Änderungen an functions.php bitte unbedingt ein Backup der Datei erstellen!

Schritt 3: Meta <robots> einem Beitrag / einer Seite hinzufügen

Öffnen Sie den Beitrag (bzw. die Seite) im Editor und wählen im Bereich „Benutzerdefinierte Felder“ den Eintrag „robots“ aus der Liste. Tragen Sie nun den gewünschten Wert ein und speichern die Eingabe; mehrere Angaben bitte durch Kommata trennen; zum Beispiel:

  • all
  • noindex,follow
  • nofollow,noarchive,noimageindex

Sobald Sie den betreffenden Beitrag oder Seite in der Vorschau betrachten bzw. veröffentlichen, steht das Meta-Tag <robots> mit dem vorher spezifizierten Wert zur Verfügung.

Meta <robots> bei anderen Inhaltstypen

Das Tag sollte nach Anpassung der functions.php umgehend in der Homepage, Beitragsseite sowie in Taxonomien und anderen automatisch erzeugten Inhalten entsprechend den Vorgaben angezeigt werden.

Falls dies nicht geschieht, könnte es sein, dass ein Cache-Plugin die Aktualisierung verhindert. Löschen Sie alle Seiten aus dem Cache und probieren es dann einfach erneut.

Werbung

Suchst Du ein neues Smartphone mit passendem Tarif? Möchtest Du mit Deinem aktuellen Handy günstig telefonieren und im Internet surfen? Oder wie wäre es mit schnellem DSL?

Starte jetzt den großen Tarifvergleich und finde günstige Smartphone-Tarife und -Bundles, DSL-Angebote und vieles mehr - auf TARIFFUXX! Klick hier...

Viel Spaß beim Ausprobieren! 🙂


Stand der Informationen: Juni 2020
Wichtig: Bitte beachten Sie die Nutzungsbedingungen und rechtlichen Hinweise für diesen Beitrag!