Google Search Console: API mit KNIME abfragen

Keine Frage, der „Konstanz Information Miner“ (kurz KNIME… ja das „K“ ist stumm!) ist ein fantastisches Werkzeug. Es hat mir, wenn Excel einmal nicht mehr wollte bzw. konnte, schon sehr oft weitergeholfen und mir damals den Weg in Datenmanipulation, Datenanalyse und Automatisierung geöffnet. Und auch wenn ich selbst mittlerweile eher zu Python greife, schätze ich KNIME wegen des grafischen Interface und der unglaublich großen Bandbreite an Knoten, die es bietet.
Aber gerade als SEO-Tool hat KNIME ein großes Manko. Es gibt keine nativen Knoten, um die GSC API abzufragen. Dabei lieben (und hassen) wir Suchmaschinenoptimierer die Google Search Console doch so sehr. Dank der angesprochenen Bandbreite an Knoten lässt sich dies aber lösen. Zugegeben, wir brauchen dafür etwas Python, aber das ist kein Hexenwerk. Tatsächlich werdet ihr den Python Code – wenn alles glatt läuft – nie sehen.

---

Was brauche ich, um die GSC-API mit KNIME abzufragen?

Ihr müsst natürlich ein paar Dinge installieren und konfigurieren. Damit keine Fehler auftreten, ist es am besten, wenn ihr die gleichen Versionen wie in meinem Beispiel (oder neuere) installiert habt. Für ältere Versionen kann ich nicht sagen, ob alles genauso funktioniert.

Mein Setup sieht dabei wie folgt aus:

• Windows 10 (Linux und Mac geht natürlich auch, habe ich selbst aber nicht)
• KNIME 4.3.2
• KNIME Python Integration 4.3.2
• Anaconda (für Python)

Installation der nötigen Programme

KNIME

Falls ihr KNIME noch nicht installiert habt, könnt ihr es hier direkt herunterladen: https://www.knime.com/downloads/download-knime

Einfach die für euer Betriebssystem korrekte Variante heraussuchen und installieren. Für Windows wäre das „KNIME Analytics Platform for Windows (installer)“. Folgt einfach den Installations-Schritten.

Achtung: Wenn ihr noch eine ältere KNIME Version habt, müsst ihr den Installer herunterladen und neu installieren. Es gab vor kurzem grundlegende Änderungen in KNIME, die nicht per Update installiert werden können.

Anaconda

Anaconda ist eine Open-Source-Distribution für Python und R. Im Grunde ist es eine Plattform, über die diese und weitere Programmiersprachen installiert und verwaltet werden können. Zusätzlich können hierüber Entwicklungsumgebungen wie Spyder und R Studio installiert werden.

Aber darum soll es heute nicht gehen. Für uns ist wichtig: via Anaconda installieren wir Python. Natürlich gibt es andere Wege Python zu installieren, jedoch ist Anaconda gut in KNIME integriert. Aus diesem Grund empfehle ich euch diesen Weg.

Anaconda könnt ihr hier herunterladen: https://www.anaconda.com/products/individual#Downloads

KNIME und Python konfigurieren

Eigentlich wollte ich euch hier im Detail beschreiben, wie ihr die Python Environments anlegt, die Python Extension installiert und in KNIME alle Einstellungen vornehmt. Allerdings hat KNIME vor kurzem einen großartigen Artikel herausgebracht (nur auf Englisch), der euch das genaue Vorgehen beschreibt.

Zum Artikel geht es hier: https://www.knime.com/blog/how-to-setup-the-python-extension

Eines bleibt jedoch noch zu tun. Ihr müsst im Anaconda-Environment, das ihr erstellt habt, ein Package installieren.

Und zwar dieses: https://github.com/joshcarty/google-searchconsole

Ihr geht dabei wie folgt vor:

• Startet „Anaconda Prompt“ (nach der Anaconda Installation verfügbar)
  • Wie? Z.B.: Windows-Taste Drücken und „Anaconda Prompt“ eingeben
• Wechselt in das entsprechende Environment
  • Die Konsole startet im „base“ Environment.
  • Seit ihr der Anleitung aus KNIME gefolgt, habt ihr zwei weitere Environments erstellt
  • Zeigt euch eure Environments an mit „conda env list“
  • Aktiviert das Environment mit „conda activate py3_knime“ (Falls ihr einen anderen Namen vergeben habt, gebt diesen ein)
• Installation des Packages
  • pip install git+https://github.com/joshcarty/google-searchconsole

Das war’s auch schon. Ihr könnt die Konsole wieder schließen.

GSC-API mit KNIME abfragen

Ladet euch den KNIME Workflow von uns herunter. Er enthält den Knoten zur Authentifizierung und zur Abfrage der Daten. Außerdem unseren OAuth Secret, den ihr verwenden könnt, falls ihr kein eigenes Google Projekt anlegen wollt.

Wenn ihr ein eigenes Google Projekt und einen eigenen OAuth Schlüssel anlegen möchtet, springt zum Punkt GCS API aktivieren & Client Secret erstellen weiter unten im Artikel.

👉 KNIME-Workflow zur Abfrage der GSC-API: KNIME-GSC-API-Workflow

Zum Importieren des Workflows wie folgt vorgehen:

1. Öffnet KNIME (klar 😀 )
2. File → Import KNIME Workflow
3. Sucht die „.knar“ Datei und importiert alles

Nun könnt ihr den Workflow öffnen.

Ihr seht im Workflow zwei Knoten. Beide sind jedoch KNIME-Komponenten. Das sind Knoten, die ich zusammengefasst und mit einer Beschreibung versehen habe. Solche Komponenten bieten sich immer an, wenn man wie hier eine bestimmte Funktion für Nutzer zugänglich machen möchte. Neben der Beschreibung kann man diese Komponenten auch konfigurierbar gestalten. Wenn ihr wissen wollt, wie diese Komponenten funktionieren, könnt ihr sie mit STRG + Doppelklick öffnen.

Ihr habt nun also diese beiden Komponenten, um die GSC-API mit KNIME abzufragen:

• Connect GSC API → Authentifizierung gegenüber der API
• Load GSC Data → Abfrage der GSC Daten nach Authentifizierung

Zur API Abfrage konfiguriert ihr nun zunächst den ersten Knoten „Connect GSC API“ (Rechts-Klick → Configure, oder Doppel-Klick). Sucht eure OAuth Datei via Browse-Button oder nutzt einfach unsere Datei, die im Workflow gespeichert ist (dann müsst ihr nichts einstellen).

Nun könnt ihr den Knoten ausführen (Rechts-Klick → Execute, oder F7). Es sollte sich ein Browser-Fenster öffnen, in dem ihr euch Authentifizieren müsst. Ist dies erfolgt, geht es zum nächsten Knoten.

Wahrscheinlich öffnet sich euer Standard-Browser. Falls ihr euch in einem anderen Browser in euren Google-Account einloggt, kopiert die URL einfach aus dem Browser, der sich durch den Workflow geöffnet hat und fügt ihn im Browser eurer Wahl ein. Wenn ihr euch nun authentifiziert, bekommt der KNIME-Workflow das mit.

Konfiguriert nun den Knoten „Load GSC Data“. Hier könnt ihr nun die üblichen GSC-Einstellungen vornehmen.

Bestätigt nach dem Konfigurieren mit ok und führt den Knoten aus. Wenn der Knoten fertig ist (Ampel ist grün), sollten eure Daten geladen sein. Ihr könnt sie über „Rechts-Klick → API Data“ ansehen.

Achtung: Solltet ihr sehr lange Zeiträume einstellen, kann es durchaus sein, dass es API Fehler gibt. Es ist keine Fehlerkontrolle eingebaut. Vielleicht mache ich das ja in der V2 😉.

GCS-API aktivieren & Client Secret erstellen

Um die API abzufragen, müssen wir uns authentifizieren. Hierfür gibt es verschiedene Möglichkeiten. Wir nutzen für den Workflow die OAuth-Client-ID. Ihr kennt den Prozess sicher… ein Browser-Fenster wird geöffnet und ihr bestätigt den Zugriff.

Falls euch das zu viel Arbeit ist: In dem KNIME-Workflow, den ihr importiert, liegt ein OAuth Schlüssel von get:traction. Diesen könnt ihr einfach verwenden. (Keine Sorge, wir sehen dadurch nicht eure Daten)

Den eigenen Schlüssel legt ihr wie folgt an:

• Navigiert zu dieser URL https://console.developers.google.com/apis/dashboard
• Wenn ihr noch kein Projekt angelegt habt, erstellt ein neues.
  • Den Namen für das Projekt könnt ihr dabei frei wählen.
• Nach Erstellen, navigiert im linken Menü zum Punkt Anmeldedaten

• Wenn ihr hier noch nie wart, gibt euch Google den Hinweis, dass ihr den „Zustimmungsbildschirm“ konfigurieren müsst. Folgt dem Hinweis und füllt die Felder aus.

• Wählt als „User-Type“ Extern aus und klickt weiter.
• Füllt die notwendigen Felder aus: Anwendungsname, Nutzersupport E-Mail und Kontaktdaten des Entwicklers. Auch hier könnt ihr den Namen frei wählen.
• Die weiteren Seiten könnt ihr erst einmal überspringen, bzw. weiterklicken.
• Wenn der Zustimmungsbildschirm konfiguriert ist, könnt ihr direkt auf „Anwendung veröffentlichen“ drücken.
• Am Ende sehen wir beispielsweise folgendes Bild:

• Navigiert nun zurück zu „Anmeldedaten“, klickt oben auf „Anmeldedaten erstellen“ und wählt „OAuth-Client-ID“ aus.

• Wählt „Desktopanwendung“ und vergebt einen sinnvollen Namen. So sinnvoll, dass ihr in sechs Monaten noch wisst, wofür dieser Schlüssel erstellt wurde. Glaubt mir, es wird unübersichtlich mit der Zeit… Ansonsten werdet ihr euer Vergangenheits-Ich verfluchen 😉

• Wenn der Schlüssel erstellt ist, ladet ihr euch die .json Datei herunter.

• Als nächstes müsst ihr im linken Menü zu „Bibliothek“ navigieren.
  • Sucht dort nach „google seachconsole“ und aktiviert die API

Nun könnt ihr GSC Daten via API in KNIME mit eurem eigenen Schlüssel abfragen.

Fazit

Das war es auch schon. Seid ihr hier angekommen, hat hoffentlich alles funktioniert und ihr könnt eure GSC-API Daten in KNIME direkt abfragen. Von diesem Punkt an könnt ihr alles tun, was ihr wollt. Google Analytics-Daten in KNIME laden (hierfür gibt es bereits Knoten) und sie mit der GSC verknüpfen. Oder vielleicht wollt ihr eure GSC-Daten segmentieren in verschiedene URL und Suchanfragen Segmente. Ihr könnt sie auch einfach in eine Excel-Datei schreiben und dort weiterarbeiten 😉.

Wenn ihr wissen wollt, wie ihr die Daten z.B. Segmentiert und mit einem Crawl arbeitet, oder generell noch einen Einstieg in KNIME braucht, haben wir hier noch ein paar Artikel für euch.

• KNIME für Anfänger
• SEO Crawlabgleich für Alle – Mit KNIME
• SEOkomm 2019: ScreamingFrog, KNIME und Google BigQuery
• Hacks für mehr Traktion: Pragmatische Tipps für Low Effort & High Reward

Ich hoffe dieser kleine Workflow hilft euch weiter und macht euch vor allem noch viel mehr Lust darauf mit KNIME zu arbeiten. Lasst gerne ein Kommentar hier und sagt mir wie es lief.

Also dann… Happy KNIMING ✌