Crawl-Management ist kein Thema, das ausschließlich große Websites betrifft. Bereits Websites mit URLs im dreistelligen Bereich können von einem „schlechten“ Crawl-Management betroffen sein, was häufig zu langen Indexierungszeiten und unnötigen Server-Requests führt.
Bisher waren Logfile-Analysen das Mittel der Wahl, um herauszufinden, ob eine Seite schlechtes Crawl-Management betreibt und ggf. Crawling Budget verschwendet wird. Die ist jedoch sehr aufwendig und häufig ist es nicht so leicht an die Logfiles heranzukommen. Auch speichern Logfiles meist nur die Daten der letzten 7 Tage, was die Auswertbarkeit minimiert.
Mit der Logfile-Analyse Light geben wir dir einen Prozess an die Hand, mit der du die Crawl-Statistiken aus den GSC Daten selbst ermitteln kannst. Dabei gibt es zwei Vorgehensweisen, für beide benötigst du Zugriff auf die Google Search Console (auf Property Ebene) und das Google Looker Studio.
2 Wege zur Crawling-Statistik
Leider stellt Google die Crawling-Daten in der GSC nicht über eine API zur Verfügung, deshalb müssen wir für die weiterführende Nutzung der Crawling-Statistiken einen Umweg nehmen. Dabei stehen uns aktuell zwei Wege zur Verfügung.
Option 1: weniger aufwendig, setzt jedoch den Einsatz eines Chrome-Plugins und die Anwendung des Programms Knime voraus. Wer Knime nicht nutzen möchte, sollte Option 2 wählen. Hier geht es zur Analyse mit Knime.
Option 2: Etwas aufwendiger, kommt aber ohne den Einsatz von Knime aus. Hier geht es zur manuellen Analyse.
Logfile Analyse light (mit Knime)
Option 1 ist der komfortablere Weg bei der Umsetzung der Logfile-Light-Methode. Wir entwickeln derzeit ein Tool, das die Analyse auf wenige Klicks reduzieren soll. Wir informieren dich gerne, sobald das Tool online ist. Du kannst dich hier anmelden.
Vorbereitung
Für den einfachen Download der Crawling-Daten aus der GSC benötigen wir das Plugin „GSC crawl stats downloader“ von Valentin Pletzer, sowie das Programm Knime und die Knime-Prozessdatei „Logfile light Data-Merger„.
Schritt 1: Download der Crawl-Statistiken mit GSC crawl stats downloader – Plugin
Lade das Plugin herunterladen und installiere es.
Öffne die Google Search Console (GSC) und wähle die zu untersuchende Property.
Klicke auf „Einstellungen“ und unter Crawling-Statistiken „Bericht öffnen“. Wähle anschließend unter „Host“ die Analyse-Ebene (Domain + alle Subdomains oder nur eine Domain/Subdomain).
→ Hinweis: Solltest du in der GSC keinen Zugriff auf die Property Domain haben, wird der Bereich „Hosts“ nicht angezeigt und du musst hier keine Auswahl treffen.
Klicke anschließend auf das Plugin oben im Browser → das Fetching startet automatisch. Da wir die Dateien herunterladen möchten, klicken wir im Plugin-Fenster auf den Button „Download Crawl Stats“ → „fetch & backup„
→ Hinweis: Du musst nicht warten, bis das initiale Fetching beendet ist, du kannst den „fetch & backup“-Vorgang sofort starten.
Nach dem Download müssen die ZIP-Dateien entpackt werden. Erstelle dafür einen neuen Ordner, markiere alle ZIP-Dateien und entpacke sie in den erstellten Ordner.
→ Hinweis: Da das hauseigene Programm von Windows zum Entpacken von Dateien nicht immer zuverlässig funktioniert, empfehlen wir für diesen Schritt das Programm 7-Zip.
Schritt 2: Crawl-Daten mit Knime zusammenfügen
Öffne Knime, lade den Logfile Light Knime-Workflow herunter und öffne ihn mit Knime.
→ Hinweis: Für die Ausführung des Workflows ist die KNIME-Extension „Palladian“ notwendig. Wie du diese in KNIME installierst, erfährst du in dieser Anleitung. Falls du das Modern UI von KNIME nutzt, musst du, damit die Anleitung 1 zu 1 übernommen werden kann, in das Classic User Interface wechseln.
Damit der Workflow funktioniert, musst du 4 Knoten konfigurieren:
1. Klicke (Rechtsklick) auf den Startpunkt (List Files/Folders) → Konfigurieren und wähle den Ordner, in dem alle entpackten Crawl-Stats-Dateien liegen und bestätige.
2. Klicke auf den 2. CSV-Reader → Konfigurieren und füge dort den Ordner „beispieldomain.com-Crawl-Stats-[Datum]“ ein und bestätige mit OK. Du findest den Ordner unter allen entpackten Ordnern.
3. Öffne den Google-Authenticator-Knoten (Doppelklick), gehe auf „Login“ und wähle und bestätige dein Konto, in dem die Master-Datei abgelegt werden soll.
4. Gehe auf die beiden Google Sheets Writer-Knoten und klicke auf „execute“. Passe bei Bedarf die Dateinamen beider Export-Dateien an.
Stehen nach dem Ausführen die Ampeln auf Grün, wurden beide Dokumente erfolgreich erstellt.
Schritt 3: Template mit dem Looker Studio verbinden
Öffne das Logfile Light Looker Studio Dashboard für Knime und klicke oben rechts auf die drei Punkte und wähle „Kopie erstellen“. Ggf. musst du auch die Verbindung zum Looker Studio autorisieren.
Du wirst nun aufgefordert, das Dashboard mit einer Datenquelle zu verknüpfen.
Für die erste Datenquelle von oben wählst du die Master-Datei, die du eben erzeugt hast. Dafür klickst du auf „Datenquelle hinzufügen“ → „Google Sheets“ → „Masterdatei“ → „Logfile Light_Knime_URLs“-Tab und klickst oben rechts auf „verbinden“. An der Zuordnung der Dimensionen musst du nichts ändern.
Das wiederholst du für die 2. Datenquelle, hier wählst du die Datei „Logfile Light Knime_Crawl Stats_Summary Crawl Stats“. Achte hier darauf, dass die Dimensionen Average response time, total crawl request und total download size korrekt als Zahl erkannt wurden. Falls nicht, kannst du das manuell anpassen.
Die 3. Datenquelle wählst du als Connector die Google Search Console, die zu untersuchende Property und die Einstellungen „URL-Impressionen“ → „Web“.
Klicke oben rechts auf „Verbinden“ und du bist fertig.
Manuelle Logfile Analyse light (ohne Knime)
Die Vorgehensweise bei der manuellen Logfile-Analyse ist simpel, benötigt jedoch etwas mehr manuelle Arbeit. Sie unterteilt sich in drei Schritte:
- Schritt 1: Daten aus der Google Search Console exportieren
- Schritt 2: Daten in das Template übertragen und zusammenfügen
- Schritt 3: Template mit dem Looker Studio verbinden
Wichtiger Hinweis: Statt des Knime-Workflows habe ich ein App-Script geschrieben und im Template hinterlegt. Um es nutzen zu können, müssen Zugriffsrechte vergeben werden. Wenn das nicht möglich oder gewollt ist, lade das Logfile-Analyse light-Template ohne App Script runter und kopiere das App Script selbst in das Sheet. Die Anleitung dafür steht am Ende dieses Artikels.
Vorbereitung für die „manuelle“ Logfile Analyse Light
Für die manuelle Logfile-Analyse Light benötigst du Zugriff auf Google Sheets, Google Looker Studio und auf das manuelle Logfile Analyse Light Template. Das Template enthält ein App-Script, welches teilweise den Knime-Workflow ersetzt. Die Datei ist die Grundlage für das Looker Studio Dashboard.
Schritt 1: Daten aus der Google Search Console (GSC) exportieren
- Gehe in der GSC zu „Einstellungen“ und klicke bei „Crawl-Statistiken“ auf „Bericht öffnen“
- Exportiere nun die Crawl-Zusammenfassung als Google Sheet
- Hinweis: Wird mehr als ein Host angezeigt, musst du entscheiden, ob du alle Subdomains in deine Analyse einbeziehen willst oder nicht.
- Scroll runter zur Aufschlüsselung der Crawling-Anfragen und öffne die Detailseiten und exportiere auch hier die Daten als Google Sheet. Dies wiederholst du für alle Crawling-Anfragen (das können bis zu 42 Dateien werden).
Schritt 2: Daten in das Template übertragen und zusammenfügen
1. Template kopieren & Crawl Statistik Summary einfügen
- Öffne das Template: Logfile Light Template und kopiere es unter Datei → Kopie erstellen
- Öffne nun die Crawl-Summary-Datei mit dem Dateinamen „beispieldomain.de-Crawl-stats-[Datum]“ und kopiere die vier Spalten aus dem Tab „Zusammenfassung der Crawling-Statistiken (Diagramm)“ in den Tab „Summary Crawl stats Chart“ des Templates.
2. Crawl-Statistiken nach Typ einfügen
- Öffne die Dateien, die nach Crawling-Anfragen aufgeschlüsselt sind (z. B. File-Type Datei: [Domain]-Crawl-stats-by-file-type-[Datum]).
- Kopiere alle drei Spalten des Tabs „Tabelle“ und kopiere sie in den passenden Tab des Templates.
- Hinweis: Die Tabs sind nach Crawling-Anfrage sortiert. Welcher Dateityp in welchen Tab gehört, steht im jeweiligen Dateinamen „*-by-Filetyp-*“ oder „-by-resonse-*“ usw.
- Beispiel: Die Daten aus der Datei „beispieldomain.de-Crawl-stats-by-filetype-2024-10-29“ gehören in den Tab „Filetype“.
- Kopiere anschließend noch die Dateibeschreibung aus dem Tab „Metadaten“ in die vierte Spalte und kopiere sie für jede eingefügte Zeile.
- Wiederhole diesen Vorgang für alle Crawling-Dateien, bis du alle Datensätze den jeweiligen Tabs hinzugefügt hast..
3. Daten zusammenführen
- Wenn du alle 4 Tabs mit deinen Daten befüllt hast, müssen diese noch zusammengetragen werden. Dafür habe ich ein App-Script entwickelt, das du mit einem Klick auf den grünen Button im Tab „README“ startest.
- Hinweis: Damit das App-Script ausgeführt werden kann, müssen Zugriffsrechte vergeben werden. Wenn das nicht möglich oder gewollt ist, kannst du den Code auch kopieren und selbst als App Script einbinden. Die Anleitung findest du hier: Anleitung App-Script
Schritt 3: Template mit dem Looker Studio verbinden
Öffne das Looker Studio Dashboard Template und klicke oben rechts auf die drei Punkte und wähle „Kopie erstellen“. Ggf. musst du auch die Verbindung zum Looker Studio autorisieren.
Du wirst nun aufgefordert, das Dashboard mit einer Datenquelle zu verknüpfen.
Für die 1. Datenquelle von oben wählst du das Logfile Light Template und verknüpfst den Tab „Merged Data“ indem du auf „Datenquelle hinzufügen“ → „Google Sheets“ Connector → „Template-Datei“ → „Merged Data“ auswählst und oben rechts auf „verbinden“ klickst. An der Zuordnung der Dimensionen musst du nichts ändern.
Das wiederholst du für die zweite Datenquelle, hier wählst du den Tab „Summary crawl stats chart“. Auch hier musst du an der Zuordnung der Dimensionen nichts ändern.
Die dritte Datenquelle wählst du als Connector die Google Search Console, die zu untersuchende Property und die Einstellungen „URL-Impressionen“ → „Web“.
Klicke oben rechts auf „Verbinden“ und du bist fertig.
Extra: App-Script Code manuell hinzufügen
Wenn du für die Benutzung des App-Scripts keine Freigabe geben willst oder kannst, lade die Template-Datei ohne App Script runter und kopiere den Code manuell in das Sheet. Dafür gehst du wie folgt vor:
Template ohne App Script herunterladen und öffnen. Klicke auf „Erweiterungen“ → „App Script“ und klicke auf das + neben „Datei“ und wähle „Skript“.
Benenne das Script wie gewünscht und kopiere die 98 Zeilen Code aus dem Tab „App Script Code“ in die Script-Datei. Speichere das Script.
Wenn du nun wie in Schritt 2 beschrieben die Daten aus den Crawling-Stats Dateien in die Tabs vom Template kopiert hast, kannst du das Script starten. Klicke dafür wieder auf „Erweiterungen“ → „App Script“ → Ausführen.
