Inhaltverzeichnis
Der Kollege Stefan Keil ist in seinem Blogpost bereits auf SEO-Alerting mittels Testomato eingegangen. Während es sich beim Alerting um ein proaktives Warnsystem handelt, das sofort anschlägt, wenn ein Fehler an meiner Website auftritt, geht es beim SEO-Monitoring darum, wöchentlich über den Status des Systems informiert zu werden.
Neben den wöchentlichen Reports aus der GSC, Sistrix und Google Analytics schauen wir uns bei [get:traction] auch die Veränderungen einer Website auf URL-Basis an. Dazu crawlen wir wöchentlich die Seiten unserer Kunden und vergleichen den aktuellen Crawl mit dem der Vorwoche.
Die wichtigsten Websiteänderungen auf einen Blick
Als Ergebnis erhält man einen Excel-Report, in dem folgende Veränderungen (wenn sie denn stattgefunden haben) aufgeführt werden:
- Neue gefundene URLs
- Nicht mehr verlinkte URLs
- geänderte Statuscodes
- geänderte Canonical-Anweisungen
- geänderte Meta-Robots
- geänderte H1
- geänderte Title
- geänderte Description
- geänderte Content-Type
- geänderte Klicktiefe
- geänderte Dateigröße
Durch den Report besteht dann die Möglichkeit, bspw. die Umsetzungen von Maßnahmen (Optimierung der Titles & Descriptions, Index-/Weiterleitungsmanagement) zu kontrollieren oder auch einfach nur darüber auf dem Laufenden zu bleiben, welche URLs neu hinzugekommen sind.
Das R-Script zur Emittlung der Websiteänderungen
Wie bereits bei meinem letzten Blogpost zur automatischen Behebung von GSC-Crawling Fehlern stellen wir Euch an dieser Stelle wieder das Script zur Verfügung. Das Script könnt Ihr hier von GitHub herunterladen. Für die Datenerhebung, sprich: das Crawling Eurer Website, braucht Ihr den Screaming Frog.
Ausführen des Scripts: Die tl;dr-Variante
- Ladet das Script herunter und speichert es in einem neuen R-Projekt.
- Crawlt mit dem Screaming Frog die gewünschte(n) Website(s).
- Exportiert die Crawls (
internal_all.csv) aus dem Screaming Frog und speichert sie in einem beliebigen Verzeichnis. Wichtig ist, dass ihr die Exporte nach folgendem Schema benennt:{Kunde}_{YYYY-MM-DD}_internal_all.csv. Für unsere Website sieht die Benennung bspw. so aus: gt_2017-11-13_internal_all.csv. - Ändert im Script die Variablen
path_to_crawlsundpath_to_export, sodass erstere den Pfad zu den Crawls und letztere den Pfad zum Verzeichnis enthält, in das die Excel-Reports geschrieben werden sollen. - Führt nun das gesamte Script aus.
Das Script in allen Einzelheiten
Crawling der Website
Beim Crawlen der Website müsst Ihr nicht viel beachten. Wichtig ist nur, dass Ihr die aktuellste Version des Screaming Frog verwendet, da bei älteren Versionen die Überschriften des Exports etwas anders heißen, wodurch das Script einige Spalten nicht finden kann.
Den Crawler könnt ihr beliebig einstellen (also bspw., dass er nofollow-Links nicht folgt). Da das Script nur die HTML-Seiten auswerten wird, könnt Ihr hier schon das Crawling von Bildern, CSS etc. ausschließen; müsst es aber nicht, da das Script automatisch auf HTML-Seiten filtert.
Wichtig ist, dass Ihr die internall_all.csv-Exporte nach dem bereits genannten Schema KUNDE_YYYY-MM-DD_internal_all.csv benennt, da anhand der Dateinamen die aktuellsten Crawls je Kunde ermittelt werden (dazu gleich mehr). Auch den Kommentar am Anfang der Exportdatei braucht Ihr nicht entfernen – macht alles das Script. Sprich: einfach auf Export drücken, Speicherort auswählen, Datei benennen, fertig.
Speichert die Crawls in einem Verzeichnis Eurer Wahl. Dabei müsst Ihr nicht darauf achten, dass Ihr ältere Crawls löscht oder die Crawls verschiedener Kunden in separaten Verzeichnisse ablegt. Wie bereits geschrieben, ermittelt das Script anhand aller, im angegebenen Verzeichnis gespeicherten Crawls die beiden aktuellsten je Kunde.
Eintragen der Pfad-Variablen im R-Script
Zum Ausführen des Scripts braucht Ihr natürlich R und idealerweise RStudio. Eine Anleitung zur Installation findet Ihr in meinem vorherigen Blogpost.
Habt Ihr das Script in ein neues Projekt importiert, müsst Ihr noch zwei kleine Anpassungen vornehmen. Relativ am Anfang findet Ihr die Variable path_to_crawls in die Ihr den Pfad zu den Crawl-Exporten angebt (bspw. C:/Users/Patrick/Documents/Websiteaenderungen/Crawls/) sowie die Variable path_to_export in die Ihr den Pfad für die zu generierenden Excel-Reporte eintragt (bspw. C:/Users/Patrick/Documents/Websiteaenderungen/Exports/).
|
1 2 3 4 5 6 7 |
# Setup ------------------------------------------------------------------- # Hier den Pfad zu den CSV-Exporten eintragen path_to_crawls <- "C:/Pfad/zu/den/ScreamingFrog/Exporten/" # Hier den Pfad eintragen, unter dem die Excel-Dateien gespeichert werden soll path_to_export <- "C:/Pfad/zu/den/Excel/Exporten/" |
Ermittlung der aktuellsten Screaming Frog Crawls je Kunde und Einlesen der Crawls
Ab hier müsst Ihr am Script nichts mehr ändern. Damit Ihr aber nachvollziehen könnt, wie das Script aufgebaut ist, führe ich Euch durch die einzelnen Bestandteile.
Direkt nach dem # Setup folgt die Definition einer eigenen Funktion. Auf die gehe ich aber später ein, wenn sie verwendet wird.
Der nächste Script-Abschnitt ermittelt nun erst einmal alle Crawl-Dateien (file_list), die im von Euch angegebenen Verzeichnis liegen.
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 |
# Kunden und Data ermitteln ----------------------------------------------- file_list <- list.files(path = path_to_crawls, pattern = ".csv") for(file in file_list) { if (!exists("file_parts")) { file_parts <- tibble(customer = NA, date = NA, type = NA) file_parts <- file_parts %>% mutate(path = file, customer = str_match(file_list[1], "^(.*?)_")[,2], date = ymd(str_match(file_list[1], "\\d{4}-\\d{2}-\\d{2}")[,1]), type = str_match(file_list[1], "(internal_all|all_inlinks)")[,2]) } else { temp_file_parts <- tibble(customer = NA, date = NA, type = NA) temp_file_parts <- temp_file_parts %>% mutate(path = file, customer= str_match(file, "^(.*?)_")[,2], date = ymd(str_match(file, "\\d{4}-\\d{2}-\\d{2}")[,1]), type = str_match(file, "(internal_all|all_inlinks)")[,2]) file_parts <- file_parts %>% bind_rows(temp_file_parts) rm(temp_file_parts) } } |
Der for-loop splittet die Dateinamen nach Kunde, Datum, Typ und Pfad auf und schreibt sie in den Dataframe file_parts, der wie folgt aussieht:
| customer | date | type | path |
|---|---|---|---|
| Kunde 1 | 2017-10-24 | internal_all | kunde1_2017-10-24_internal_all.csv |
| Kunde 1 | 2017-11-01 | internal_all | kunde1_2017-11-01_internal_all.csv |
| Kunde 1 | 2017-11-07 | internal_all | kunde1_2017-11-07_internal_all.csv |
| Kunde 2 | 2017-11-01 | internal_all | kunde2_2017-11-01_internal_all.csv |
| Kunde 2 | 2017-11-07 | internal_all | kunde2_2017-11-07_internal_all.csv |
| Kunde 3 | 2017-09-17 | internal_all | kunde3_2017-09-17_internal_all.csv |
all_inlinks.csv-Export integrieren möchte, um bspw. bei neuen URLs die verlinkenden Seiten im Report angeben zu können. Aktuell hat diese Spalte also keine Funktion. Ignoriert sie einfach.Wie Ihr sehen könnt, liegen für Kunde 1 drei, für den zweiten Kunden zwei und für den dritten Kunden ein Crawl im Verzeichnis. Für Kunde 3 kann also kein Ableich der Crawls erfolgen. Deshalb überprüft der folgende Abschnitt, ob für jeden Kunden mindestens zwei Crawls vorhanden sind.
|
1 2 3 4 5 |
# Überprüfen, ob für jeden Kunden zwei Crawls vorliegen ------------------- file_parts <- file_parts %>% group_by(customer, type) %>% filter(n() > 1) |
Wie bereits erwähnt, braucht Ihr ältere Crawls nicht aus dem Verzeichnis löschen. Stattdessen ermittelt das Script die beiden aktuellsten Crawls je Kunde automatisch.
|
1 2 3 4 5 6 7 |
# Ermitteln der letzten beiden Crawls je Kunden --------------------------- files_internal_all <- file_parts %>% filter(type == "internal_all") %>% group_by(customer) %>% mutate(date_rank = rank(desc(date))) %>% filter(date_rank %in% c(1, 2)) |
Dazu wird die obige Tabelle mit den Crawl-Data nach Kunden gruppiert, innerhalb der Gruppe die Data absteigend sortiert und gerankt, sodass sich folgende Tabelle ergibt, aus der für jede Gruppe die Zeilen mit dem Rank 1 oder 2, also den beiden aktuellsten Crawls je Kunde, in einen neuen Dataframe geschrieben werden.
| customer | date | type | path | date_rank |
|---|---|---|---|---|
| Kunde 1 | 2017-11-07 | internal_all | kunde1_2017-11-07_internal_all.csv | 1 |
| Kunde 1 | 2017-11-01 | internal_all | kunde1_2017-11-01_internal_all.csv | 2 |
| Kunde 2 | 2017-11-07 | internal_all | kunde2_2017-11-07_internal_all.csv | 1 |
| Kunde 2 | 2017-11-01 | internal_all | kunde2_2017-11-01_internal_all.csv | 2 |
Für jeden Kunden liegen nun die Dateipfade (path) der letzten beiden Crawls vor, die an den nachfolgenden for-loop gegeben werden, um die Crawls einzulesen und in einen Dataframe zu schreiben.
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 |
# Einlesen der Crawls ----------------------------------------------------- for (i in 1:nrow(files_internal_all)) { if (!exists("internal_all")) { internal_all <- read_csv(str_c(path_to_crawls, files_internal_all$path[i], sep = "/"), skip = 1) internal_all <- internal_all %>% mutate(customer = files_internal_all$customer[i], date = files_internal_all$date[i]) } else { temp_internal_all <- read_csv(str_c(path_to_crawls, files_internal_all$path[i], sep = "/"), skip = 1) temp_internal_all <- temp_internal_all %>% mutate(customer = files_internal_all$customer[i], date = files_internal_all$date[i]) internal_all <- internal_all %>% bind_rows(temp_internal_all) rm(temp_internal_all) } } |
Zusätzlich zu den Spalten, die aus dem Screaming Frog kommen, werden beim Einlesen noch die Spalten customer und date hinzugefügt, anhand derer später der Dataframe gefiltert wird.
Dann wird der Dataframe noch ein bisschen aufgeräumt.
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 |
# Ein bisschen aufräumen ----------------------------------------------------------- # Spaltennamen der Crawls normalisieren colnames(internal_all) <- internal_all %>% colnames() %>% str_replace_all("( |-)", "_") %>% tolower() # NAs durch "" ersetzen, um leere Zellen vergleichbar zu machen internal_all[is.na(internal_all)] <- "" # Nur HTML-Dateien verwenden internal_all_html <- internal_all %>% filter(str_detect(content, "text/html")) |
- Die Spaltennamen werden normalisiert (Kleinschreibung und Leerzeichen durch Unterstriche ersetzen), damit ich beim Schreiben des Scripts die Spaltennamen nicht ständig in Backticks
`einfassen muss. NAs werden durch leere Zellen ersetzt, um sie vergleichbar zu machen. Ansonsten würde bspw. eine Überprüfung der deraddress-URL mit demcanonical_link_element_1(s. weiter unten) immerNAergeben, wenn der Canonical-Link nicht vorhanden ist. ("url" == NAevaluiert korrekterweise zuNAstatt zuFALSE)- Als Letztes wird nur auf HTML-Seiten gefiltert.
Abgleich der Screaming Frog Crawls
Sooo, jetzt können wir endlich mit dem eigentlich Abgleich der Crawls beginnen – bzw. fast, denn zunächst muss noch schnell eine Hilfstabelle erstellt werden, über die der nachfolgende for-loop interieren kann, um sich den jeweiligen Kunden sowie die Data des aktuellen und des vorherigen Crawls zu holen.
|
1 2 3 4 5 6 |
customers_date <- files_internal_all %>% select(customer, date, date_rank) %>% spread(key = "date_rank", value = "date") %>% rename(crawl_new = `1`, crawl_old = `2`) |
Der Dataframe sieht dann so aus:
| customer | crawl_new | crawl_old |
|---|---|---|
| Kunde 1 | 2017-11-07 | 2017-11-01 |
| Kunde 2 | 2017-11-07 | 2017-11-01 |
Ermittlung der neuen URLs
Für jede Zeile, sprich: Kunden, werden dann die folgenden Aktionen ausgeführt:
Aus dem Dataframe internal_all_html, der die Crawls aller Kunden enthält, werden für den ersten Kunden der alte und der neue Crawl in separate Dataframes geschrieben.
|
1 2 3 4 5 6 7 |
# Aufteilen des alten und des neuen Crawls in separate Dataframes crawl_new <- internal_all_html %>% filter(customer == customers_date$customer[i] & date == customers_date$crawl_new[i]) crawl_old <- internal_all_html %>% filter(customer == customers_date$customer[i] & date == customers_date$crawl_old[i]) |
Mittels Anti-Join werden alle URLs ermittelt, die im neuen, aber nicht im alten Crawl vorhanden sind. Diese URLs werden in einen weiteren Dataframe new_urls geschrieben, welcher später dann als Tabellenblatt in den Excel-Report gespeichert wird. Für neue URLs wird überprüft, ob es sich bei diesen um kanonische URLs handelt (mutate(is_canonical = (address == canonical_link_element_1 | canonical_link_element_1 == ""))). Außerdem werden einige wichtige URL-Metriken ausgewählt und ebenfalls in den Dataframe geschrieben.
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
# Ermittlung der neuen URLs new_urls <- crawl_new %>% anti_join(crawl_old, by = "address") %>% mutate(is_canonical = (address == canonical_link_element_1 | canonical_link_element_1 == "")) %>% select(customer, date, address, status_code, meta_robots_1, canonical_link_element_1, title_1, meta_description_1, is_canonical) %>% mutate(date = as.character(date)) %>% as.data.frame() |
mutate(date = as.character(date))), damit es als Text in die Excel geschrieben wird. Ansonsten kann es vorkommen, dass Excel das Datum falsch formatiert. Außerdem wird der Dataframe von einem tibble in einen data.frame formatiert, da das Package xlsx::, das ich zum Erstellen der Excel verwende, nicht mit Tibbles umgehen kann.Ermittlung der nicht mehr verlinkten URLs
Das Gleiche erfolgt nun für die nicht mehr verlinkten URLs, also jene URLs, die zwar im alten, aber nicht mehr im neuen Crawl vorhanden sind.
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
# Ermittlung der nicht mehr gefundenen URLs deleted_urls <- crawl_old %>% anti_join(crawl_new, by = "address") %>% mutate(status_code_current = map_int(address, get_status_code)) %>% select(customer, date, address, status_code, status_code_current, meta_robots_1, canonical_link_element_1, title_1, meta_description_1) %>% rename(status_code_old = status_code) %>% mutate(date = as.character(date)) %>% as.data.frame() |
Der Unterschied ist hier, dass ich überprüfe, welchen Statuscode die nicht mehr verlinkten URLs haben. Grundsätzlich muss es sich bei diesen nicht um gelöschte URLs handeln, sondern sie können bspw. fälschlicherweise einfach nicht mehr verlinkt sein. Wenn hier also URLs mit 200 OK antworten, sollte ich mir das genauer anschauen, warum sie nicht mehr verlinkt werden. Zur Ermittlung des Statuscodes wird die anfangs übersprungene, eigene Funktion verwendet.
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 |
# Funktion ---------------------------------------------------------------- get_status_code <- function(url) { out <- tryCatch( { HEAD(url, config(followlocation = FALSE)) %>% status_code() }, error = function(cond) { message(paste("URL caused an error:", url)) message(cond) return(NA) }, warning = function(cond) { message(paste("URL caused a warning:", url)) message(cond) return(NA) } ) return(out) } |
Erneut werden die ermittelten URLs in einen eigenen Dataframe geschrieben, der später ein Tabellenblatt in der Excel darstellt. Dasselbe gilt im Übrigen für alle weiteren Dataframes, die jetzt folgen.
Ermittlung der identischen URLs
Über einen Inner-Join werden nun alle URLs ermittelt, die in beiden Crawls vorhanden sind.
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 |
# Ermittlung der identischen URLs identical_urls <- crawl_new %>% inner_join(crawl_old, by = "address", suffix = c("_new", "_old")) %>% mutate_at(c("meta_robots_1_new", "meta_robots_1_old", "content_new", "content_old"), tolower) %>% mutate_at(c("meta_robots_1_new", "meta_robots_1_old", "content_new", "content_old"), str_replace_all, pattern = "\\s", replacement = "") %>% mutate(status_code_change = status_code_new != status_code_old, canonical_change = canonical_link_element_1_new != canonical_link_element_1_old, index_change = meta_robots_1_new != meta_robots_1_old, title_change = title_1_new != title_1_old, description_change = meta_description_1_new != meta_description_1_old, content_type_change = content_new != content_old, crawl_depth_change = crawl_depth_new != crawl_depth_old, h1_change = h1_1_new != h1_1_old, size_change = round(abs(as.numeric(size_new) / as.numeric(size_old) - 1),2) >= 0.1, response_time_change = round(abs(as.numeric(response_time_new) / as.numeric(response_time_old) - 1),2) >= 0.1) |
Dabei erfolgt auch der Abgleich der wichtigsten URL-Merkmale.
- Da die Meta-Robots-/Content-Type-Angaben in verschiedenen Schreibweisen möglich sind (bspw.
index, followvs.INDEX,FOLLOW) werden sie in Kleinschreibung umgewandelt und Leerzeichen entfernt. Dadurch ist sichergestellt, dass die Anweisung an sich und nicht ihre Schreibweise geprüft wird. - Für den Abgleich der Dateigröße (
size_change) und der Antwortzeit (response_time_change) definiere ich hier einen Schwellenwert von 10%, sodass nicht jede kleine Abweichung direkt im Report erscheint.
Ich spare mir jetzt, die Generierung der Tabellenblätter für jedes URL-Merkmal zu beschreiben, da sie alle nach dem selben Prinzip funktionieren.
|
1 2 3 4 5 6 7 |
## Status Code status_code_change <- identical_urls %>% filter(status_code_change == TRUE) %>% select(address, status_code_new, status_code_old) %>% as.data.frame() |
- Filtern des Dataframes mit den identischen URLs entsprechend des jeweiligen Merkmals (bspw.
filter(status_code_change == TRUE)), für das in der Excel ein eigenes Tabellenblatt erstellt werden soll. - Auswahl der URL-Merkmale, die im Tabellenblatt aufgeführt werden sollen. Bspw. für URLs, bei denen sich der Statuscode geändert hat, werden die URL sowie der alte und der neue Statuscode ins Tabellenblatt übernommen (
select(address, status_code_new, status_code_old)). - Schreiben des gefilterten Dataframes in einen neuen Dataframe, der später das Tabellenblatt darstellt.
301 Redirect antwortet, weist sie natürlich keinen Canonical Link mehr auf. Um hier Doppelungen in den Reports zu vermeiden, werden sie entsprechend herausgefiltert (.[!.$address %in% status_code_change$address, ]).Schreiben der Dataframes in eine Excel-Datei
Sind alle Schritte durchlaufen, haben wir eine Reihe von Dataframes (new_urls, deleted_urls, status_code_change usw.), die als Tabellenblätter in eine Excel geschrieben werden.
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 |
# Schreiben in Excel wb <- createWorkbook() sheet_new_urls <- createSheet(wb, "new_urls") addDataFrame(new_urls, sheet = sheet_new_urls, row.names = FALSE) sheet_deleted_urls <- createSheet(wb, "deleted_urls") addDataFrame(deleted_urls, sheet = sheet_deleted_urls, row.names = FALSE) sheet_status_code_change <- createSheet(wb, "status_code_change") addDataFrame(status_code_change, sheet = sheet_status_code_change, row.names = FALSE) ... saveWorkbook(wb, paste0(path_to_export, customers_date$crawl_new[i], "__", customers_date$crawl_old[i], "__", customers_date$customer[i], ".xlsx")) print(paste0("Excel written: ", customers_date$crawl_new[i], "__", customers_date$crawl_old[i], "__", customers_date$customer[i], ".xlsx")) |
Dazu wird zunächst ein neues Workbook (createWorkbook()) erzeugt, die einzelnen Tabellenblätter angelegt (createSheet()) und in diese die jeweiligen Dataframes geschrieben (addDataFrame()). Schließlich wird das Workbook gespeichert (saveWorkbook) wobei die Benennung anhand des Kunden und der Crawl-Data erfolgt.
Das war’s!
Bis dahin: Happy R! 👋
Hier noch einmal der Link auf’s GitHub-Repo.
Und hier auch noch einmal der Link auf meinen letzten Blogpost zur automatischen Behebung von GSC-Crawling-Fehlern.
Artikel teilen
Patrick Lürwer
22 Comments on “SEO-Monitoring mit Screaming Frog & R: Websiteveränderungen ermitteln”
Hi,
I’m running in an error called:
NA does not exist in the current working directory.
I assume, that the path contains a mistake? Is that right?
Hi Mike,
that’s right. You have a backslash in your second path (
C:\Users/). If you change it, it should work.Best regards,
Patrick
Thanks for your answer. Sorry that was a short mistake from my site. The error also exists with the right backslash.
Hi Mike,
that may be a stupid question, but are there two crawls in the folder? I.e., in your first comment you specified the
path_to_crawls with"C:/Users/customerweb/Documents/Websiteaenderungen/Crawls/KUNDE_2017-12-01_internal_all". I did not notice the first time, but it seems to me that you are providing a file name instead of a folder.Suppose the two crawls KUNDE_2017-12-01_internal_all.csv and KUNDE_2017-12-08_internal_all.csv you would like to compare are located in your folder
"C:/Users/customerweb/Documents/Websiteaenderungen/Crawls/you have to assign thepath_to_crawls-variable as follows:path_to_crawls <- "C:/Users/customerweb/Documents/Websiteaenderungen/Crawls/.If that is not the case let me know.
Sehr cooles Skript. Bei einem Vergleich von 2 relativ großen Crawls (200.000 URLs) crashed mir allerdings R irgendwie immer mit einem "garbage collection overheat". Hast du dafür zufällig irgendeinen Tipp?
Servus Dave,
cool, dass dir das Skript gefällt. Blöd, dass R stirbt. Der Fehler ist mir noch nicht untergekommen. Ich würde jetzt aber ad hoc darauf tippen, dass dein RAM vollläuft und die garbage collection nicht hinterherkommt, neuen Speicherplatz frei zu machen. Das ist jetzt aber wirklich nur eine Vermutung.
Wie viel RAM steht R denn zur Verfügung (in der Console
memory.limit()ausführen)? Tritt der Fehler denn auch auf, wenn du kleinere Crawls miteinander vergleichst?Sollte es wirklich daran liegen, dass dein RAM vollläuft hift eigentlich nur mehr RAM. Oder das Skript müsste so umgeschrieben werden, dass die Crawls in einer Datenbank liegen und nicht im RAM zum Abgleich vorgehalten werden.
Tut mir Leid, dass ich dir da nicht wirklich weiter helfen kann.
LG
Bei Crawls unter 10.000 URLs läuft alles super. Das Einlesen größerer Crawls ist übrigens auch kein Problem, es hängt am Ende dabei jedoch immer beim xlsx Schreiben (in der Global Environment sind die eingelesenen Variablen auch betrachtbar).
Memory war bisher anscheinend laut memory.limit() auf 16000 mb begrenzt, hab das jetzt mal mit dem Befehl auf 50000 erhöht.
Es müsste ja eigentlich entweder am generellen Ram, Java (ist eigentlich in der 64 bit Version installiert) oder dem Excel written/xlsx Befehl was gemacht werden können. Werde diese Woche dafür ein bisschen rumspielen mit der ganzen Sache.
Nochmal danke für das Skript und deine Antwort 🙂
Pingback: OMT 2018 Recap: Das lief bei der Online Marketing Konferenz
Vielen Dank für das tolle Skript – wenn ich es nur zum Laufen bringen könnte 🙁
Direkt am Anfang erhalte ich Meldungen zu irgendwelchen Konflikten. Ich kann damit leider gar nichts anfangen ….
> library(tidyverse)
── Attaching packages ─────────────────────────────────────────────── tidyverse 1.2.1 ──
✔ ggplot2 3.2.1 ✔ purrr 0.3.3
✔ tibble 2.1.3 ✔ dplyr 0.8.3
✔ tidyr 1.0.0 ✔ stringr 1.4.0
✔ readr 1.3.1 ✔ forcats 0.4.0
── Conflicts ────────────────────────────────────────────────── tidyverse_conflicts() ──
✖ dplyr::filter() masks stats::filter()
✖ dplyr::lag() masks stats::lag()
> library(lubridate)
Attaching package: ‘lubridate’
The following object is masked from ‘package:base’:
date
> library(stringr)
> library(xlsx)
Unable to find any JVMs matching version "(null)".
No Java runtime present, try –request to install.
Error: package or namespace load failed for ‘xlsx’:
.onLoad failed in loadNamespace() for 'rJava', details:
call: dyn.load(file, DLLpath = DLLpath, …)
error: unable to load shared object '/Library/Frameworks/R.framework/Versions/3.6/Resources/library/rJava/libs/rJava.so':
dlopen(/Library/Frameworks/R.framework/Versions/3.6/Resources/library/rJava/libs/rJava.so, 6): Library not loaded: /Library/Java/JavaVirtualMachines/jdk-11.0.1.jdk/Contents/Home/lib/server/libjvm.dylib
Referenced from: /Library/Frameworks/R.framework/Versions/3.6/Resources/library/rJava/libs/rJava.so
Reason: image not found
In addition: Warning message:
In system("/usr/libexec/java_home", intern = TRUE) :
running command '/usr/libexec/java_home' had status 1
> library(httr)
Mittendrin dann weiteres Meldungen in rot:
See spec(…) for full column specifications.
Warning messages:
1: Missing column names filled in: 'X3' [3], 'X8' [8], 'X11' [11], 'X14' [14], 'X16' [16], 'X18' [18], 'X20' [20], 'X22' [22], 'X24' [24], 'X25' [25], 'X26' [26], 'X27' [27], 'X28' [28], 'X29' [29], 'X30' [30], 'X31' [31], 'X35' [35], 'X43' [43], 'X44' [44], 'X45' [45], 'X46' [46], 'X47' [47]
Error in stri_detect_regex(string, pattern, negate = negate, opts_regex = opts(pattern)) :
argument
strshould be a character vector (or an object coercible to)Naja und dann am Ende noch
Error in eval(lhs, parent, parent) : object 'internal_all_html' not found
Habe R und R Studio frisch installiert. Kannst du mir Tipps geben, was da eventuell schief läuft?
Danke!
Hallo Stefan,
vielen Dank für deinen Kommentar!
Meine erste Einschätzung wäre, dass Java nicht installiert ist.
Um das herauszufinden:
1. Windows Taste > cmd
2.
Java -versionausführen.Entweder wird dir nun (wenn korrekt installiert) die aktuell installierte Java Version angezeigt oder du erhältst eine Fehlermeldung. – In diesem Fall solltest du Java installieren: https://www.java.com/de/download/
LG
Hey David, danke dir für die Einschätzung. Java ist aber auf meinem Mac installiert 🙁
upps, mein Kommentar war nicht ganz präzise wie sich nach weiterer Recherche rausstellt. Ich musste das Java Development Kit noch auf dem Mac installieren. Juhu, damit sind zumindest die beiden Fehlerzeilen "Unable to find any JVMs matching version "(null)".
No Java runtime present, try –request to install." nicht mehr da … Leider immernoch weit entfernt davon, das Skript zum Laufen zu bringen
Um die nächsten Errors anzugehen, wurden alle Libraries die im Script genutzt werden,
library(tidyverse)
library(lubridate)
library(stringr)
library(xlsx)
library(httr)
, auch vorher beispielsweise für xlsx mittels:
install.packages("xlsx")installiert?Des weiteren haben sich im Screaming Frog die Exporte geändert. Die erste Zeile muss beim Einlesen nun nicht mehr übersprungen werden also sollte das Argument
, skip = 1beim Einlesen der Crawls in der Funktionread_csvherausgenommen werden.Das ist auch ein wertvoller Tipp! Hmm, also anscheinend sind die nicht installiert. Na dann mache ich mich mal da ran … Danke abermals
Hmm, so langsam werden die Fehler tatsächlich weniger.
> library(tidyverse)
Fehler: package or namespace load failed for ‘tidyverse’ in loadNamespace(i, c(lib.loc, .libPaths()), versionCheck = vI[[i]]):
es gibt kein Paket namens ‘scales’
Woran kann das denn jetzt schon wieder liegen?
Moin, das liegt daran, dass die Library scales nicht installiert ist. Kleiner Tipp, Fehlermeldungen kann man meist recht gut googlen. 😉 LG
Hallo und vielen Dank für die tolle Anleitung 🙂
Bei mir läuft das Skript leider auch nicht und ich weiß absolut nicht, woran das liegen könnte.
skip = 1 habe ich bereits wie oben beschrieben aus dem Code entfernt.
Nach dem Punkt "Einlesen der Crawls" kommt bei mir die folgende Fehlermeldung:
Parsed with column specification:
cols(
Internal - All= col_character())
Warnung: 159 parsing failures.
row col expected actual file
1 — 1 columns 43 columns 'C:/Users/Kunde/Documents/Kunde1/Crawls//kunde_2019-11-19_internal_all.csv'
2 — 1 columns 43 columns 'C:/Users/Kunde/Documents/Kunde1/Crawls//kunde_2019-11-19_internal_all.csv'
3 — 1 columns 43 columns 'C:/Users/Kunde/Documents/Kunde1/Crawls//kunde_2019-11-19_internal_all.csv'
… … ……… ………. …………………………………………………………………………….
See problems(…) for more details.
Parsed with column specification:
cols(
Internal - All= col_character())
Warnung: 161 parsing failures.
row col expected actual file
1 — 1 columns 43 columns 'C:/Users/Kunde/Documents/Kunde1/Crawls//kunde_2019-11-27_internal_all.csv'
2 — 1 columns 43 columns 'C:/Users/Kunde/Documents/Kunde1/Crawls//kunde_2019-11-27_internal_all.csv'
3 — 1 columns 43 columns 'C:/Users/Kunde/Documents/Kunde1/Crawls//kunde_2019-11-27_internal_all.csv'
… … ……… ………. …………………………………………………………………………….
See problems(…) for more details.
Dann folgt nach dem Punkt "Ein bisschen aufräumen" die folgende Fehlermeldung:
Fehler in stri_detect_regex(string, pattern, negate = negate, opts_regex = opts(pattern)) :
argument
strshould be a character vector (or an object coercible to)Zum Schluss bekomme ich am Ende nur die folgende Info:
Fehler in eval(lhs, parent, parent) :
Objekt 'internal_all_html' nicht gefunden
Ich kann mir vorstellen, dass es am Einlesen der Dokumente liegen könnte, aber ich verstehe nicht, welches Problem es hierbei gibt.
Könnt ihr mir evtl. Tipps geben, woran das liegen könnte?
Vielen Dank und liebe Grüße
Sandra
Hi Sandra,
> cols(
Internal – All = col_character()
)
das sieht für mich so aus, dass du einen alten Crawl-Export laden willst, der in der ersten Zeile noch die Angabe über die Art des Crawls enhält. Entweder den Frosch updaten und noch mal exportieren oder das skip = 1 zum Überspringen der ersten Zeil wieder einfügen.
LG
Hallo Patrick,
vielen Dank für Deine Antwort.
Ich habe beides versucht, wobei ich das Gefühl habe, dass ich durch das Screaming-Frog-Update der Lösung näher komme.
Nun (mit der neuen Version des Screaming Frogs, ohne Einfügen von skip = 1) wird mir nach "Einlesen der Crawls" die folgende Fehlermeldung angezeigt:
Parsed with column specification:
cols(
.default = col_double(),
Address = col_character(),
Content = col_character(),
Status = col_character(),
Indexability = col_character(),
Indexability Status= col_character(),Title 1= col_character(),Meta Description 1= col_character(),Meta Keyword 1= col_character(),H1-1= col_character(),H2-1= col_character(),H2-2= col_character(),Meta Robots 1= col_character(),X-Robots-Tag 1= col_logical(),Meta Refresh 1= col_logical(),Canonical Link Element 1= col_character(),rel="next" 1= col_logical(),rel="prev" 1= col_logical(),HTTP rel="next" 1= col_logical(),HTTP rel="prev" 1= col_logical(),Link Score= col_logical()# … with 5 more columns
)
See spec(…) for full column specifications.
Parsed with column specification:
cols(
.default = col_double(),
Address = col_character(),
Content = col_character(),
Status = col_character(),
Indexability = col_character(),
Indexability Status= col_character(),Title 1= col_character(),Meta Description 1= col_character(),Meta Keyword 1= col_character(),H1-1= col_character(),H2-1= col_character(),H2-2= col_character(),Meta Robots 1= col_character(),X-Robots-Tag 1= col_logical(),Meta Refresh 1= col_logical(),Canonical Link Element 1= col_character(),rel="next" 1= col_logical(),rel="prev" 1= col_logical(),HTTP rel="next" 1= col_logical(),HTTP rel="prev" 1= col_logical(),Link Score= col_logical()# … with 5 more columns
)
See spec(…) for full column specifications.
Das Skript endet dann mit der Fehlermeldung:
Fehler: Objekt 'size_new' nicht gefunden
Kann das an der Bezeichnung der "size"-Spalte liegen?
Mir ist schon aufgefallen, dass die alte Spalte "size" im neuen Screaming Frog jetzt "Size (bytes)" heißt. Im Skript ist aber nur von "size" die Rede.
Ich habe schon versucht, den Code entsprechend anzupassen, komme aber mit den Klammern und Leerzeichen in der neuen Bezeichnung nicht zurecht. Wenn ich im Code "size" in "size_(bytes)" ändere, kommen lauter weitere Fehlermeldungen.
Könnt ihr mir nochmal weiterhelfen?
Vielen Dank und liebe Grüße
Sandra
Wirklich sehr cool! Unendlich viel Liebe für diese Arbeitserleichterung. Genau so etwas hab ich immer gesucht, sind die Kunden doch selten so gut einem alle Änderungen zuverlässig mitzuteilen.
Für neue Nutzer wäre es praktisch, auf GitHub eine leicht abgeänderte Version (mit Zeile 1, mit umbenannter "Size (bytes)"-Spalte) hochzuladen, um auch für die aktuellen ScreamingFrog-Exporte zu passen.
Servus Jon,
danke, danke. 🙂 Ja, die Anpassung muss ich mal angehen. Ich schieb es nur immer vor mir her, weil ich das Skript mittlerweile weiter aufgebohrt habe und eigentlich eine neuere Version bereitstellen könnte. Nur muss ich dann wieder was schreiben und so liegt es gerade halt leider liegen….
Dann wird es aber ja noch interessanter 🙂