Mehrere Seiten aus dem Google Index per 410 entfernen

admin — Sun, 08 Aug 2010 07:44:58 +0000

Da ich erst neulich ein Projekt von mir, welches ausschließlich Double Content von Affiliate Partnern enthielt komplett umgestellt und mit Unique Content bestückt habe, stand ich vor der Aufgabe, mehrere hundert Seiten aus dem Google Index zu löschen.

Um das zu bewerkstelligen, könnte man sich der manuellen Entfernung von URLs aus dem Google Index bedienen – was allerdings bei einer Vielzahl an Seiten ein hohes Maß an Fleiß und Geduld erfordert.

Daher bediente ich mich eines Status Header Codes, der nicht allzu vielen bekannt sein dürfte: der 410-Meldung. Crawlt die Suchmaschine eine Seite, welche den Header Code 410 hat, so erhält sie die Meldung, dass die Seite “Gone” ist, also weg ist und wird diese Seite somit nicht mehr besuchen und als Folge aus dem Index löschen.

Wie man eine 410 Fehlermeldung für mehrere Seiten korrekt erzeugt, erkläre ich in den folgenden Schritten.

Erstellen einer 410 Fehlerseite

Als erstes erstellt man eine .php Datei, auf welche im späteren Verlauf per .htaccess umgeleitet wird, sobald eine Seite aufgerufen wird, welche man aus dem Index gelöscht haben will.
Diese .php Seite nenne ich einfacherweise 410.php und lade sie in mein Hauptverzeichnis in einen Ordner namens error.

Eine Beispieldatei könnt Ihr hier herunterladen: 410 Fehler Beispieldatei (Klick rechte Maustaste ==> Ziel speichern unter)

.htaccess anpassen

In die .htaccess Datei fügt man nun folgende Anweisung ein:ErrorDocument 410 /error/410.php

Diese verweist auf die vorher erstellte php-Datei, welche man in den Ordner “error” hochgeladen hat.

Alle zu löschenden Seiten in die .htaccess einfügen

Im letzten Schritt erstellt man sich eine Liste aller Seiten, welche man aus dem Index löschen möchte. In meinem Fall habe ich mir einfach in Webmaster Tools alle URLs als .csv exportiert, die Google bereits als 404 (Nicht gefunden) erkannt hatte.

Nun bearbeitet man diese URLs, indem man die Domain entfernt und nur /verzeichnis/seite.html stehen lässt. Dann stellt man jeder URL noch ein “Redirect Gone” voran. Das Ergebnis sollte dann in etwa so aussehen: Redirect Gone /verzeichnis/zuloeschendeURL.html

Diese Liste aller zu löschenden URLs fügt man nun einfach in die .htaccess unterhalb der Zeile ErrorDocument 410 /error/410.php ein. Hierdurch wird jede definierte URL auf die 410-Fehlerseite umgeleitet und der gewünschte Status Header Code ausgegeben.

Überprüfung des Status Header Codes

Im letzten Schritt sollte man nun auch überprüfen, ob alles so funktioniert, wie man es sich vorstellt. Hierzu ruft man einfach eine URL auf, welche man aus dem Index löschen lassen will und checkt, ob die Weiterleitung auf die 410-Fehlerseite funktioniert.
Darüber hinaus bedient man sich am Besten noch zusätzlich eines Firefox Addons, mit welchem man den Status Header auslesen kann und überprüft, ob auch der Header Code 410 ausgegeben wird. Sollte man kein Addon installiert haben, oder wollen, so kann man auch z.B. hier den Header Code online auslesen lassen.

Kleiner Tipp:

Sollte etwas nicht wie gewünscht funktionieren, so liegt das mit hoher Wahrscheinlichkeit an den angegeben Pfaden, welche relativ zum Hauptverzeichnis sein sollten.

Ich werde in ein paar Tagen an dieser Stelle berichten, wie lange die Entfernung meiner überflüssigen Seiten gedauert hat.

Redirect nach Login

admin — Wed, 20 Jan 2010 08:21:47 +0000

Ich nutze die Extension newloginbox, mit der sich User auf einer meiner Seiten anmelden können.
Da ich das Loginformular auf einer extra Seite untergebracht habe, gab es die kleine Hürde zu überwinden, dass User nach dem Login auf der Seite mit dem Formular blieben, also erneut auf die Startseite des Forums klicken mussten, um es zu erreichen.
Dies wollte ich mit der Einrichtung einer automatischen Weiterleitung lösen. Da die newloginbox Extension leider von Haus aus eine solche Funktion nicht mit sich bringt, begab ich mich auf die Suche nach einer entsprechenden Extension.
Leider wurde ich erst bei der dritten Extension fündig – Typo3 Webdesign ist oftmals eine etwas langwierige Sache. Diese bietet aber mehr Möglichkeiten, als ich mir erwartet hatte.
Die beiden Extensions dkd_redirect_at_login und sv_login_redirect hatten leider keinen Effekt, denn obwohl korrekt konfiguriert, passierte nach dem Login rein gar nichts.
Die Extension beko_improved_login hingegen funktioniert wie geschmiert: Einfach aus dem Tpyo3 TER herunterladen, über den Extensionmanager installieren und in den List Modus des Typo3 Backends gehen.
Nun klickt man auf den Ordner, in welchem man die Benutzergruppen angelegt hat und bearbeitet diese. Unter dem Tab “Extended bzw. Erweitert” findet sich nun eine neue Konfigurationsmöglichkeit, welche “Nach Login weiterleiten zur Seite…” heißt. Dort klickt man auf das Ordnersymbol und wählt die Seite aus, auf der die gewählte Benutzergruppe nach erfolgreichem Login weitergeleitet wird.
Das war´s auch schon. Darüber hinaus bietet die Extension nütliche Möglichkeiten wie das Anlegen einer Blacklist nach Domain oder IP, eine Aufzeichnung der erfolgten Logins und informiert den Admin beispielsweise nach drei mißlungenen Loginversuchen.
Eine wirklich leicht zu handhabende Extension, die es dennoch in sich hat. Lesen Sie mehr über Typo3 Webdesign