SEO-Monitoring mit Screaming Frog & R: Websiteveränderungen ermitteln

Inhaltverzeichnis

1 Die wichtigsten Websiteänderungen auf einen Blick
2 Das R-Script zur Emittlung der Websiteänderungen
3 Ausführen des Scripts: Die tl;dr-Variante
4 Das Script in allen Einzelheiten

Der Kollege Stefan Keil ist in seinem Blogpost bereits auf SEO-Alerting mittels Testomato eingegangen. Während es sich beim Alerting um ein proaktives Warnsystem handelt, das sofort anschlägt, wenn ein Fehler an meiner Website auftritt, geht es beim SEO-Monitoring darum, wöchentlich über den Status des Systems informiert zu werden.

Neben den wöchentlichen Reports aus der GSC, Sistrix und Google Analytics schauen wir uns bei [get:traction] auch die Veränderungen einer Website auf URL-Basis an. Dazu crawlen wir wöchentlich die Seiten unserer Kunden und vergleichen den aktuellen Crawl mit dem der Vorwoche.

Die wichtigsten Websiteänderungen auf einen Blick

Als Ergebnis erhält man einen Excel-Report, in dem folgende Veränderungen (wenn sie denn stattgefunden haben) aufgeführt werden:

Neue gefundene URLs
Nicht mehr verlinkte URLs
geänderte Statuscodes
geänderte Canonical-Anweisungen
geänderte Meta-Robots
geänderte H1
geänderte Title
geänderte Description
geänderte Content-Type
geänderte Klicktiefe
geänderte Dateigröße

Durch den Report besteht dann die Möglichkeit, bspw. die Umsetzungen von Maßnahmen (Optimierung der Titles & Descriptions, Index-/Weiterleitungsmanagement) zu kontrollieren oder auch einfach nur darüber auf dem Laufenden zu bleiben, welche URLs neu hinzugekommen sind.

Das R-Script zur Emittlung der Websiteänderungen

Wie bereits bei meinem letzten Blogpost zur automatischen Behebung von GSC-Crawling Fehlern stellen wir Euch an dieser Stelle wieder das Script zur Verfügung. Das Script könnt Ihr hier von GitHub herunterladen. Für die Datenerhebung, sprich: das Crawling Eurer Website, braucht Ihr den Screaming Frog.

Hier geht es zu einer kurzen Anleitung zur Installation von R und RStudio!

Ausführen des Scripts: Die tl;dr-Variante

Ladet das Script herunter und speichert es in einem neuen R-Projekt.
Crawlt mit dem Screaming Frog die gewünschte(n) Website(s).
Exportiert die Crawls (internal_all.csv) aus dem Screaming Frog und speichert sie in einem beliebigen Verzeichnis. Wichtig ist, dass ihr die Exporte nach folgendem Schema benennt: {Kunde}_{YYYY-MM-DD}_internal_all.csv. Für unsere Website sieht die Benennung bspw. so aus: gt_2017-11-13_internal_all.csv.
Ändert im Script die Variablen path_to_crawls und path_to_export, sodass erstere den Pfad zu den Crawls und letztere den Pfad zum Verzeichnis enthält, in das die Excel-Reports geschrieben werden sollen.
Führt nun das gesamte Script aus.

Das Script in allen Einzelheiten

Crawling der Website

Beim Crawlen der Website müsst Ihr nicht viel beachten. Wichtig ist nur, dass Ihr die aktuellste Version des Screaming Frog verwendet, da bei älteren Versionen die Überschriften des Exports etwas anders heißen, wodurch das Script einige Spalten nicht finden kann.

Den Crawler könnt ihr beliebig einstellen (also bspw., dass er nofollow-Links nicht folgt). Da das Script nur die HTML-Seiten auswerten wird, könnt Ihr hier schon das Crawling von Bildern, CSS etc. ausschließen; müsst es aber nicht, da das Script automatisch auf HTML-Seiten filtert.

Wichtig ist, dass Ihr die internall_all.csv-Exporte nach dem bereits genannten Schema KUNDE_YYYY-MM-DD_internal_all.csv benennt, da anhand der Dateinamen die aktuellsten Crawls je Kunde ermittelt werden (dazu gleich mehr). Auch den Kommentar am Anfang der Exportdatei braucht Ihr nicht entfernen – macht alles das Script. Sprich: einfach auf Export drücken, Speicherort auswählen, Datei benennen, fertig.

Speichert die Crawls in einem Verzeichnis Eurer Wahl. Dabei müsst Ihr nicht darauf achten, dass Ihr ältere Crawls löscht oder die Crawls verschiedener Kunden in separaten Verzeichnisse ablegt. Wie bereits geschrieben, ermittelt das Script anhand aller, im angegebenen Verzeichnis gespeicherten Crawls die beiden aktuellsten je Kunde.

Eintragen der Pfad-Variablen im R-Script

Zum Ausführen des Scripts braucht Ihr natürlich R und idealerweise RStudio. Eine Anleitung zur Installation findet Ihr in meinem vorherigen Blogpost.

Habt Ihr das Script in ein neues Projekt importiert, müsst Ihr noch zwei kleine Anpassungen vornehmen. Relativ am Anfang findet Ihr die Variable path_to_crawls in die Ihr den Pfad zu den Crawl-Exporten angebt (bspw. C:/Users/Patrick/Documents/Websiteaenderungen/Crawls/) sowie die Variable path_to_export in die Ihr den Pfad für die zu generierenden Excel-Reporte eintragt (bspw. C:/Users/Patrick/Documents/Websiteaenderungen/Exports/).

# Setup -------------------------------------------------------------------

# Hier den Pfad zu den CSV-Exporten eintragen
path_to_crawls <- "C:/Pfad/zu/den/ScreamingFrog/Exporten/"

# Hier den Pfad eintragen, unter dem die Excel-Dateien gespeichert werden soll
path_to_export <- "C:/Pfad/zu/den/Excel/Exporten/"

# Setup -------------------------------------------------------------------

# Hier den Pfad zu den CSV-Exporten eintragen

path_to_crawls <- "C:/Pfad/zu/den/ScreamingFrog/Exporten/"

# Hier den Pfad eintragen, unter dem die Excel-Dateien gespeichert werden soll

path_to_export <- "C:/Pfad/zu/den/Excel/Exporten/"

Ermittlung der aktuellsten Screaming Frog Crawls je Kunde und Einlesen der Crawls

Ab hier müsst Ihr am Script nichts mehr ändern. Damit Ihr aber nachvollziehen könnt, wie das Script aufgebaut ist, führe ich Euch durch die einzelnen Bestandteile.

Direkt nach dem # Setup folgt die Definition einer eigenen Funktion. Auf die gehe ich aber später ein, wenn sie verwendet wird.

Der nächste Script-Abschnitt ermittelt nun erst einmal alle Crawl-Dateien (file_list), die im von Euch angegebenen Verzeichnis liegen.

# Kunden und Data ermitteln -----------------------------------------------

file_list <- list.files(path = path_to_crawls, pattern = ".csv")

for(file in file_list) {
	
	if (!exists("file_parts")) {
		file_parts <- tibble(customer = NA,
								date = NA,
								type = NA)
		
		file_parts <- file_parts %>% 
			mutate(path = file,
					customer = str_match(file_list[1], "^(.*?)_")[,2],
					date = ymd(str_match(file_list[1], "\\d{4}-\\d{2}-\\d{2}")[,1]),
					type = str_match(file_list[1], "(internal_all|all_inlinks)")[,2])  
		
	} else {
		temp_file_parts <- tibble(customer = NA,
									date = NA,
									type = NA)
		
		temp_file_parts <- temp_file_parts %>% 
			mutate(path = file,
					customer= str_match(file, "^(.*?)_")[,2],
					date = ymd(str_match(file, "\\d{4}-\\d{2}-\\d{2}")[,1]),
					type = str_match(file, "(internal_all|all_inlinks)")[,2])
		
		file_parts <- file_parts %>% 
			bind_rows(temp_file_parts)
		
		rm(temp_file_parts)
		
	}
}

# Kunden und Data ermitteln -----------------------------------------------

file_list <- list.files(path = path_to_crawls, pattern = ".csv")

for(file in file_list) {

if (!exists("file_parts")) {

file_parts <- tibble(customer = NA,

date = NA,

type = NA)

file_parts <- file_parts %>%

mutate(path = file,

customer = str_match(file_list[1], "^(.*?)_")[,2],

date = ymd(str_match(file_list[1], "\\d{4}-\\d{2}-\\d{2}")[,1]),

type = str_match(file_list[1], "(internal_all|all_inlinks)")[,2])

} else {

temp_file_parts <- tibble(customer = NA,

date = NA,

type = NA)

temp_file_parts <- temp_file_parts %>%

mutate(path = file,

customer= str_match(file, "^(.*?)_")[,2],

date = ymd(str_match(file, "\\d{4}-\\d{2}-\\d{2}")[,1]),

type = str_match(file, "(internal_all|all_inlinks)")[,2])

file_parts <- file_parts %>%

bind_rows(temp_file_parts)

rm(temp_file_parts)

}

Der for-loop splittet die Dateinamen nach Kunde, Datum, Typ und Pfad auf und schreibt sie in den Dataframe file_parts, der wie folgt aussieht:

customer	date	type	path
Kunde 1	2017-10-24	internal_all	kunde1_2017-10-24_internal_all.csv
Kunde 1	2017-11-01	internal_all	kunde1_2017-11-01_internal_all.csv
Kunde 1	2017-11-07	internal_all	kunde1_2017-11-07_internal_all.csv
Kunde 2	2017-11-01	internal_all	kunde2_2017-11-01_internal_all.csv
Kunde 2	2017-11-07	internal_all	kunde2_2017-11-07_internal_all.csv
Kunde 3	2017-09-17	internal_all	kunde3_2017-09-17_internal_all.csv

Dass hier auch der Type des Crawls ermittelt wird, liegt daran, dass ich zukünftig auch den all_inlinks.csv-Export integrieren möchte, um bspw. bei neuen URLs die verlinkenden Seiten im Report angeben zu können. Aktuell hat diese Spalte also keine Funktion. Ignoriert sie einfach.

Wie Ihr sehen könnt, liegen für Kunde 1 drei, für den zweiten Kunden zwei und für den dritten Kunden ein Crawl im Verzeichnis. Für Kunde 3 kann also kein Ableich der Crawls erfolgen. Deshalb überprüft der folgende Abschnitt, ob für jeden Kunden mindestens zwei Crawls vorhanden sind.

# Überprüfen, ob für jeden Kunden zwei Crawls vorliegen -------------------

file_parts <- file_parts %>% 
	group_by(customer, type) %>% 
	filter(n() > 1)

# Überprüfen, ob für jeden Kunden zwei Crawls vorliegen -------------------

file_parts <- file_parts %>%

group_by(customer, type) %>%

filter(n() > 1)

Wie bereits erwähnt, braucht Ihr ältere Crawls nicht aus dem Verzeichnis löschen. Stattdessen ermittelt das Script die beiden aktuellsten Crawls je Kunde automatisch.

# Ermitteln der letzten beiden Crawls je Kunden ---------------------------

files_internal_all <- file_parts %>%
	filter(type == "internal_all") %>% 
	group_by(customer) %>%
	mutate(date_rank = rank(desc(date))) %>%
	filter(date_rank %in% c(1, 2))

# Ermitteln der letzten beiden Crawls je Kunden ---------------------------

files_internal_all <- file_parts %>%

filter(type == "internal_all") %>%

group_by(customer) %>%

mutate(date_rank = rank(desc(date))) %>%

filter(date_rank %in% c(1, 2))

Dazu wird die obige Tabelle mit den Crawl-Data nach Kunden gruppiert, innerhalb der Gruppe die Data absteigend sortiert und gerankt, sodass sich folgende Tabelle ergibt, aus der für jede Gruppe die Zeilen mit dem Rank 1 oder 2, also den beiden aktuellsten Crawls je Kunde, in einen neuen Dataframe geschrieben werden.

customer	date	type	path	date_rank
Kunde 1	2017-11-07	internal_all	kunde1_2017-11-07_internal_all.csv	1
Kunde 1	2017-11-01	internal_all	kunde1_2017-11-01_internal_all.csv	2
~~Kunde 1~~	~~2017-10-24~~	~~internal_all~~	~~kunde1_2017-10-24_internal_all.csv~~	3
Kunde 2	2017-11-07	internal_all	kunde2_2017-11-07_internal_all.csv	1
Kunde 2	2017-11-01	internal_all	kunde2_2017-11-01_internal_all.csv	2

Für jeden Kunden liegen nun die Dateipfade (path) der letzten beiden Crawls vor, die an den nachfolgenden for-loop gegeben werden, um die Crawls einzulesen und in einen Dataframe zu schreiben.

# Einlesen der Crawls -----------------------------------------------------

for (i in 1:nrow(files_internal_all)) {
	
	if (!exists("internal_all")) {
		
		internal_all <- read_csv(str_c(path_to_crawls, files_internal_all$path[i], sep = "/"),
									skip = 1)
		
		internal_all <- internal_all %>% 
			mutate(customer = files_internal_all$customer[i],
					date = files_internal_all$date[i])
		
	} else {
		
		temp_internal_all <- read_csv(str_c(path_to_crawls, files_internal_all$path[i], sep = "/"),
										skip = 1)
		
		temp_internal_all <- temp_internal_all %>%
			mutate(customer = files_internal_all$customer[i],
					date = files_internal_all$date[i])
		
		internal_all <- internal_all %>% 
			bind_rows(temp_internal_all)
		
		rm(temp_internal_all)
		
	}
	
}

# Einlesen der Crawls -----------------------------------------------------

for (i in 1:nrow(files_internal_all)) {

if (!exists("internal_all")) {

internal_all <- read_csv(str_c(path_to_crawls, files_internal_all$path[i], sep = "/"),

skip = 1)

internal_all <- internal_all %>%

mutate(customer = files_internal_all$customer[i],

date = files_internal_all$date[i])

} else {

temp_internal_all <- read_csv(str_c(path_to_crawls, files_internal_all$path[i], sep = "/"),

skip = 1)

temp_internal_all <- temp_internal_all %>%

mutate(customer = files_internal_all$customer[i],

date = files_internal_all$date[i])

internal_all <- internal_all %>%

bind_rows(temp_internal_all)

rm(temp_internal_all)

}

Zusätzlich zu den Spalten, die aus dem Screaming Frog kommen, werden beim Einlesen noch die Spalten customer und date hinzugefügt, anhand derer später der Dataframe gefiltert wird.

Dann wird der Dataframe noch ein bisschen aufgeräumt.

# Ein bisschen aufräumen -----------------------------------------------------------

# Spaltennamen der Crawls normalisieren

colnames(internal_all) <- internal_all %>% 
	colnames() %>% 
	str_replace_all("( |-)", "_") %>% 
	tolower()


# NAs durch "" ersetzen, um leere Zellen vergleichbar zu machen

internal_all[is.na(internal_all)] <- ""


# Nur HTML-Dateien verwenden

internal_all_html <- internal_all %>% 
	filter(str_detect(content, "text/html"))

# Ein bisschen aufräumen -----------------------------------------------------------

# Spaltennamen der Crawls normalisieren

colnames(internal_all) <- internal_all %>%

colnames() %>%

str_replace_all("( |-)", "_") %>%

tolower()

# NAs durch "" ersetzen, um leere Zellen vergleichbar zu machen

internal_all[is.na(internal_all)] <- ""

# Nur HTML-Dateien verwenden

internal_all_html <- internal_all %>%

filter(str_detect(content, "text/html"))

Die Spaltennamen werden normalisiert (Kleinschreibung und Leerzeichen durch Unterstriche ersetzen), damit ich beim Schreiben des Scripts die Spaltennamen nicht ständig in Backticks ` einfassen muss.
NAs werden durch leere Zellen ersetzt, um sie vergleichbar zu machen. Ansonsten würde bspw. eine Überprüfung der der address-URL mit dem canonical_link_element_1 (s. weiter unten) immer NA ergeben, wenn der Canonical-Link nicht vorhanden ist. ("url" == NA evaluiert korrekterweise zu NA statt zu FALSE)
Als Letztes wird nur auf HTML-Seiten gefiltert.

Abgleich der Screaming Frog Crawls

Sooo, jetzt können wir endlich mit dem eigentlich Abgleich der Crawls beginnen – bzw. fast, denn zunächst muss noch schnell eine Hilfstabelle erstellt werden, über die der nachfolgende for-loop interieren kann, um sich den jeweiligen Kunden sowie die Data des aktuellen und des vorherigen Crawls zu holen.

customers_date <- files_internal_all %>%
	select(customer, date, date_rank) %>% 
	spread(key = "date_rank",
				value = "date") %>%
	rename(crawl_new = `1`,
				crawl_old = `2`)

customers_date <- files_internal_all %>%

select(customer, date, date_rank) %>%

spread(key = "date_rank",

value = "date") %>%

rename(crawl_new = `1`,

crawl_old = `2`)

Der Dataframe sieht dann so aus:

customer	crawl_new	crawl_old
Kunde 1	2017-11-07	2017-11-01
Kunde 2	2017-11-07	2017-11-01

Ermittlung der neuen URLs

Für jede Zeile, sprich: Kunden, werden dann die folgenden Aktionen ausgeführt:

Aus dem Dataframe internal_all_html, der die Crawls aller Kunden enthält, werden für den ersten Kunden der alte und der neue Crawl in separate Dataframes geschrieben.

# Aufteilen des alten und des neuen Crawls in separate Dataframes

crawl_new <- internal_all_html %>% 
	filter(customer == customers_date$customer[i] & date == customers_date$crawl_new[i])

crawl_old <- internal_all_html %>% 
	filter(customer == customers_date$customer[i] & date == customers_date$crawl_old[i])

# Aufteilen des alten und des neuen Crawls in separate Dataframes

crawl_new <- internal_all_html %>%

filter(customer == customers_date$customer[i] & date == customers_date$crawl_new[i])

crawl_old <- internal_all_html %>%

filter(customer == customers_date$customer[i] & date == customers_date$crawl_old[i])

Mittels Anti-Join werden alle URLs ermittelt, die im neuen, aber nicht im alten Crawl vorhanden sind. Diese URLs werden in einen weiteren Dataframe new_urls geschrieben, welcher später dann als Tabellenblatt in den Excel-Report gespeichert wird. Für neue URLs wird überprüft, ob es sich bei diesen um kanonische URLs handelt (mutate(is_canonical = (address == canonical_link_element_1 | canonical_link_element_1 == ""))). Außerdem werden einige wichtige URL-Metriken ausgewählt und ebenfalls in den Dataframe geschrieben.

# Ermittlung der neuen URLs

new_urls <- crawl_new %>% 
	anti_join(crawl_old, by = "address") %>%
	mutate(is_canonical = (address == canonical_link_element_1 | canonical_link_element_1 == "")) %>% 
	select(customer,
				 date,
				 address, 
				 status_code, 
				 meta_robots_1, 
				 canonical_link_element_1, 
				 title_1, 
				 meta_description_1,
				 is_canonical) %>% 
	mutate(date = as.character(date)) %>% 
	as.data.frame()

# Ermittlung der neuen URLs

new_urls <- crawl_new %>%

anti_join(crawl_old, by = "address") %>%

mutate(is_canonical = (address == canonical_link_element_1 | canonical_link_element_1 == "")) %>%

select(customer,

date,

address,

status_code,

meta_robots_1,

canonical_link_element_1,

title_1,

meta_description_1,

is_canonical) %>%

mutate(date = as.character(date)) %>%

as.data.frame()

Das Datum wandle ich hier in einen String um (mutate(date = as.character(date))), damit es als Text in die Excel geschrieben wird. Ansonsten kann es vorkommen, dass Excel das Datum falsch formatiert. Außerdem wird der Dataframe von einem tibble in einen data.frame formatiert, da das Package xlsx::, das ich zum Erstellen der Excel verwende, nicht mit Tibbles umgehen kann.

Ermittlung der nicht mehr verlinkten URLs

Das Gleiche erfolgt nun für die nicht mehr verlinkten URLs, also jene URLs, die zwar im alten, aber nicht mehr im neuen Crawl vorhanden sind.

# Ermittlung der nicht mehr gefundenen URLs

deleted_urls <- crawl_old %>% 
	anti_join(crawl_new, by = "address") %>%
	mutate(status_code_current = map_int(address, get_status_code)) %>% 
	select(customer,
				 date,
				 address, 
				 status_code,
				 status_code_current,
				 meta_robots_1, 
				 canonical_link_element_1, 
				 title_1, 
				 meta_description_1) %>%
	rename(status_code_old = status_code) %>% 
	mutate(date = as.character(date)) %>% 
	as.data.frame()

# Ermittlung der nicht mehr gefundenen URLs

deleted_urls <- crawl_old %>%

anti_join(crawl_new, by = "address") %>%

mutate(status_code_current = map_int(address, get_status_code)) %>%

select(customer,

date,

address,

status_code,

status_code_current,

meta_robots_1,

canonical_link_element_1,

title_1,

meta_description_1) %>%

rename(status_code_old = status_code) %>%

mutate(date = as.character(date)) %>%

as.data.frame()

Der Unterschied ist hier, dass ich überprüfe, welchen Statuscode die nicht mehr verlinkten URLs haben. Grundsätzlich muss es sich bei diesen nicht um gelöschte URLs handeln, sondern sie können bspw. fälschlicherweise einfach nicht mehr verlinkt sein. Wenn hier also URLs mit 200 OK antworten, sollte ich mir das genauer anschauen, warum sie nicht mehr verlinkt werden. Zur Ermittlung des Statuscodes wird die anfangs übersprungene, eigene Funktion verwendet.

# Funktion ----------------------------------------------------------------

get_status_code <- function(url) {
	
	out <- tryCatch(
		{
			HEAD(url, config(followlocation = FALSE)) %>%
				status_code()
		},
		error = function(cond) {
			message(paste("URL caused an error:", url))
			message(cond)
			return(NA)
		},
		warning = function(cond) {
			message(paste("URL caused a warning:", url))
			message(cond)
			return(NA)
		}
	)

	return(out)
	
}

# Funktion ----------------------------------------------------------------

get_status_code <- function(url) {

out <- tryCatch(

{

HEAD(url, config(followlocation = FALSE)) %>%

status_code()

error = function(cond) {

message(paste("URL caused an error:", url))

message(cond)

return(NA)

warning = function(cond) {

message(paste("URL caused a warning:", url))

message(cond)

return(NA)

}

)

return(out)

}

Aktuell werden die Statuscodes nicht parallel abgefragt, sodass die Funktion die Ausführungszeit des Skripts deutlich verlängern kann. Sind also viele URLs zu prüfen und/oder antwortet die Website langsam, wundert euch nicht, dass das Skript einige Minuten benötigt. Bei mir dauert die Abfrage für ca. 200 URLs ungefähr 2 bis 3 Minuten.

Erneut werden die ermittelten URLs in einen eigenen Dataframe geschrieben, der später ein Tabellenblatt in der Excel darstellt. Dasselbe gilt im Übrigen für alle weiteren Dataframes, die jetzt folgen.

Ermittlung der identischen URLs

Über einen Inner-Join werden nun alle URLs ermittelt, die in beiden Crawls vorhanden sind.

# Ermittlung der identischen URLs

identical_urls <- crawl_new %>% 
	inner_join(crawl_old, by = "address", suffix = c("_new", "_old")) %>%
	mutate_at(c("meta_robots_1_new", "meta_robots_1_old", "content_new", "content_old"),
						tolower) %>% 
	mutate_at(c("meta_robots_1_new", "meta_robots_1_old", "content_new", "content_old"),
						str_replace_all, pattern = "\\s", replacement = "") %>% 
	mutate(status_code_change = status_code_new != status_code_old,
				 canonical_change = canonical_link_element_1_new != canonical_link_element_1_old,
				 index_change = meta_robots_1_new != meta_robots_1_old,
				 title_change = title_1_new != title_1_old,
				 description_change = meta_description_1_new != meta_description_1_old,
				 content_type_change = content_new != content_old,
				 crawl_depth_change = crawl_depth_new != crawl_depth_old,
				 h1_change = h1_1_new != h1_1_old,
				 size_change = round(abs(as.numeric(size_new) / as.numeric(size_old) - 1),2) >= 0.1,
				 response_time_change = round(abs(as.numeric(response_time_new) / as.numeric(response_time_old) - 1),2) >= 0.1)

# Ermittlung der identischen URLs

identical_urls <- crawl_new %>%

inner_join(crawl_old, by = "address", suffix = c("_new", "_old")) %>%

mutate_at(c("meta_robots_1_new", "meta_robots_1_old", "content_new", "content_old"),

tolower) %>%

mutate_at(c("meta_robots_1_new", "meta_robots_1_old", "content_new", "content_old"),

str_replace_all, pattern = "\\s", replacement = "") %>%

mutate(status_code_change = status_code_new != status_code_old,

canonical_change = canonical_link_element_1_new != canonical_link_element_1_old,

index_change = meta_robots_1_new != meta_robots_1_old,

title_change = title_1_new != title_1_old,

description_change = meta_description_1_new != meta_description_1_old,

content_type_change = content_new != content_old,

crawl_depth_change = crawl_depth_new != crawl_depth_old,

h1_change = h1_1_new != h1_1_old,

size_change = round(abs(as.numeric(size_new) / as.numeric(size_old) - 1),2) >= 0.1,

response_time_change = round(abs(as.numeric(response_time_new) / as.numeric(response_time_old) - 1),2) >= 0.1)

Dabei erfolgt auch der Abgleich der wichtigsten URL-Merkmale.

Da die Meta-Robots-/Content-Type-Angaben in verschiedenen Schreibweisen möglich sind (bspw. index, follow vs. INDEX,FOLLOW) werden sie in Kleinschreibung umgewandelt und Leerzeichen entfernt. Dadurch ist sichergestellt, dass die Anweisung an sich und nicht ihre Schreibweise geprüft wird.
Für den Abgleich der Dateigröße (size_change) und der Antwortzeit (response_time_change) definiere ich hier einen Schwellenwert von 10%, sodass nicht jede kleine Abweichung direkt im Report erscheint.

Ich spare mir jetzt, die Generierung der Tabellenblätter für jedes URL-Merkmal zu beschreiben, da sie alle nach dem selben Prinzip funktionieren.

## Status Code
status_code_change <- identical_urls %>%
	filter(status_code_change == TRUE) %>% 
	select(address,
				 status_code_new,
				 status_code_old) %>% 
	as.data.frame()

## Status Code

status_code_change <- identical_urls %>%

filter(status_code_change == TRUE) %>%

select(address,

status_code_new,

status_code_old) %>%

as.data.frame()

Filtern des Dataframes mit den identischen URLs entsprechend des jeweiligen Merkmals (bspw.filter(status_code_change == TRUE)), für das in der Excel ein eigenes Tabellenblatt erstellt werden soll.
Auswahl der URL-Merkmale, die im Tabellenblatt aufgeführt werden sollen. Bspw. für URLs, bei denen sich der Statuscode geändert hat, werden die URL sowie der alte und der neue Statuscode ins Tabellenblatt übernommen (select(address, status_code_new, status_code_old)).
Schreiben des gefilterten Dataframes in einen neuen Dataframe, der später das Tabellenblatt darstellt.

Bei der Generierung der Tabellenblätter für URLs, bei denen sich der Canonical Link, die Meta Robots, der Title, die Description, der Content Type, die Klicktiefe, die H1, die Dateigröße oder die Antwortzeit geändert haben, werden URLs, bei denen sich der Statuscode geändert hat, herausgefiltert, da letzteres häufig mit einer Änderung an den restlichen Merkmalen einhergeht. Wenn also eine URL jetzt mit 301 Redirect antwortet, weist sie natürlich keinen Canonical Link mehr auf. Um hier Doppelungen in den Reports zu vermeiden, werden sie entsprechend herausgefiltert (.[!.$address %in% status_code_change$address, ]).

Schreiben der Dataframes in eine Excel-Datei

Sind alle Schritte durchlaufen, haben wir eine Reihe von Dataframes (new_urls, deleted_urls, status_code_change usw.), die als Tabellenblätter in eine Excel geschrieben werden.

# Schreiben in Excel

wb <- createWorkbook()

sheet_new_urls <- createSheet(wb, "new_urls")
addDataFrame(new_urls, 
						 sheet = sheet_new_urls, 
						 row.names = FALSE)

sheet_deleted_urls <- createSheet(wb, "deleted_urls")
addDataFrame(deleted_urls, 
						 sheet = sheet_deleted_urls, 
						 row.names = FALSE)

sheet_status_code_change <- createSheet(wb, "status_code_change")
addDataFrame(status_code_change,
						 sheet = sheet_status_code_change,
						 row.names = FALSE)
	
...
	
	
saveWorkbook(wb, paste0(path_to_export, 
						customers_date$crawl_new[i], 
						"__", 
						customers_date$crawl_old[i], 
						"__", 
						customers_date$customer[i], 
						".xlsx"))

print(paste0("Excel written: ",
						 customers_date$crawl_new[i], 
						 "__", 
						 customers_date$crawl_old[i], 
						 "__", 
						 customers_date$customer[i], 
						 ".xlsx"))

# Schreiben in Excel

wb <- createWorkbook()

sheet_new_urls <- createSheet(wb, "new_urls")

addDataFrame(new_urls,

sheet = sheet_new_urls,

row.names = FALSE)

sheet_deleted_urls <- createSheet(wb, "deleted_urls")

addDataFrame(deleted_urls,

sheet = sheet_deleted_urls,

row.names = FALSE)

sheet_status_code_change <- createSheet(wb, "status_code_change")

addDataFrame(status_code_change,

sheet = sheet_status_code_change,

row.names = FALSE)

...

saveWorkbook(wb, paste0(path_to_export,

customers_date$crawl_new[i],

"__",

customers_date$crawl_old[i],

"__",

customers_date$customer[i],

".xlsx"))

print(paste0("Excel written: ",

customers_date$crawl_new[i],

"__",

customers_date$crawl_old[i],

"__",

customers_date$customer[i],

".xlsx"))

Dazu wird zunächst ein neues Workbook (createWorkbook()) erzeugt, die einzelnen Tabellenblätter angelegt (createSheet()) und in diese die jeweiligen Dataframes geschrieben (addDataFrame()). Schließlich wird das Workbook gespeichert (saveWorkbook) wobei die Benennung anhand des Kunden und der Crawl-Data erfolgt.

Das war’s!

Für Anregungen und Probleme, über die Ihr gestolpert seid, oder sogar Verbesserungsvorschläge, bin ich immer offen. Entweder direkt hier in den Kommentaren, per Mail oder Twitter.

Bis dahin: Happy R! 👋

Hier noch einmal der Link auf’s GitHub-Repo.

Und hier auch noch einmal der Link auf meinen letzten Blogpost zur automatischen Behebung von GSC-Crawling-Fehlern.

SEO-Monitoring mit Screaming Frog & R: Websiteveränderungen ermitteln

4.8 (95.79%) 19 votes

Bio
Neueste Artikel

Patrick Lürwer

Senior Analyst & Partner

Schon in meinem Studium des Bibliotheksmanagements habe ich mich weniger für die Bücher als vielmehr für ihre Metadaten interessiert. Meine Leidenschaft für Daten — das Erfassen, Aufbereiten und Analysieren — habe ich dann durch mein Master-Studium der Informationswissenschaft weiter ausleben und vertiefen können. Bei get:traction kombiniere ich meine Data-Hacking-Skills und meine Online-Marketing-Expertise, um datengestützte Empfehlungen für Kunden zu formulieren und umgesetzte Maßnahmen zu messen. Mein Hauptaufgabenbereich liegt dabei in der Analyse von Crawls, Logfiles und Tracking-Daten, der Konzeption von Informationsarchitekturen und der Anreicherung von Webinhalten mittels semantischer Auszeichnungen.

Neueste Artikel von Patrick Lürwer (alle ansehen)

JavaScript SEO: Pre- vs. Post-Rendering-Abgleich von Screaming-Frog-Crawls mit R - 6. August 2018
SEO-Monitoring mit Screaming Frog & R: Websiteveränderungen ermitteln - 15. November 2017
Google Search Console & R: Nicht relevante Crawling-Fehler automatisch beheben & löschen - 12. Oktober 2017

8 Comments on “SEO-Monitoring mit Screaming Frog & R: Websiteveränderungen ermitteln”

Mike

12.01.2017 at 14:08

Hi,

I’m running in an error called:
NA does not exist in the current working directory.

# Setup -------------------------------------------------------------------

# Hier den Pfad zu den CSV-Exporten eintragen
path_to_crawls <- "C:/Users/customerweb/Documents/Websiteaenderungen/Crawls/KUNDE_2017-12-01_internal_all"

# Hier den Pfad eintragen, unter dem die Excel-Dateien gespeichert werden soll
path_to_export <- "C:\Users/customerweb/Documents/Websiteaenderungen/Exports"

path_to_crawls <- "C:/Users/customerweb/Documents/Websiteaenderungen/Crawls/KUNDE_2017-12-01_internal_all"

path_to_export <- "C:\Users/customerweb/Documents/Websiteaenderungen/Exports"

I assume, that the path contains a mistake? Is that right?


Patrick Lürwer
12.04.2017 at 8:17

Hi Mike,

that’s right. You have a backslash in your second path (C:\Users/). If you change it, it should work.

Best regards,
Patrick


Mike
12.07.2017 at 13:29

Thanks for your answer. Sorry that was a short mistake from my site. The error also exists with the right backslash.
1. Reply
  
  Patrick Lürwer
  12.08.2017 at 8:06
  
  Hi Mike,
  
  that may be a stupid question, but are there two crawls in the folder? I.e., in your first comment you specified the path_to_crawls with "C:/Users/customerweb/Documents/Websiteaenderungen/Crawls/KUNDE_2017-12-01_internal_all". I did not notice the first time, but it seems to me that you are providing a file name instead of a folder.
  
  Suppose the two crawls KUNDE_2017-12-01_internal_all.csv and KUNDE_2017-12-08_internal_all.csv you would like to compare are located in your folder "C:/Users/customerweb/Documents/Websiteaenderungen/Crawls/ you have to assign the path_to_crawls-variable as follows: path_to_crawls < - "C:/Users/customerweb/Documents/Websiteaenderungen/Crawls/.
  
  If that is not the case let me know.

Dave
04.11.2018 at 16:24

Sehr cooles Skript. Bei einem Vergleich von 2 relativ großen Crawls (200.000 URLs) crashed mir allerdings R irgendwie immer mit einem "garbage collection overheat". Hast du dafür zufällig irgendeinen Tipp?
1. Reply
  
  Patrick Lürwer
  04.12.2018 at 9:02
  
  Servus Dave,
  cool, dass dir das Skript gefällt. Blöd, dass R stirbt. Der Fehler ist mir noch nicht untergekommen. Ich würde jetzt aber ad hoc darauf tippen, dass dein RAM vollläuft und die garbage collection nicht hinterherkommt, neuen Speicherplatz frei zu machen. Das ist jetzt aber wirklich nur eine Vermutung.
  
  Wie viel RAM steht R denn zur Verfügung (in der Console memory.limit() ausführen)? Tritt der Fehler denn auch auf, wenn du kleinere Crawls miteinander vergleichst?
  
  Sollte es wirklich daran liegen, dass dein RAM vollläuft hift eigentlich nur mehr RAM. Oder das Skript müsste so umgeschrieben werden, dass die Crawls in einer Datenbank liegen und nicht im RAM zum Abgleich vorgehalten werden.
  
  Tut mir Leid, dass ich dir da nicht wirklich weiter helfen kann.
  
  LG
  1. Reply
    
    Dave
    04.16.2018 at 10:13
    
    Bei Crawls unter 10.000 URLs läuft alles super. Das Einlesen größerer Crawls ist übrigens auch kein Problem, es hängt am Ende dabei jedoch immer beim xlsx Schreiben (in der Global Environment sind die eingelesenen Variablen auch betrachtbar).
    
    Memory war bisher anscheinend laut memory.limit() auf 16000 mb begrenzt, hab das jetzt mal mit dem Befehl auf 50000 erhöht.
    Es müsste ja eigentlich entweder am generellen Ram, Java (ist eigentlich in der 64 bit Version installiert) oder dem Excel written/xlsx Befehl was gemacht werden können. Werde diese Woche dafür ein bisschen rumspielen mit der ganzen Sache.
    
    Nochmal danke für das Skript und deine Antwort 🙂
Pingback: OMT 2018 Recap: Das lief bei der Online Marketing Konferenz