lobid-Nutzung

Genese:

• Basis sind die rohen Webserver logs
• Skripte unter git repo "git@gaia:/files/open_data/closed/gitServer/emphytos-statistics.git". Ausgecheckt auf @emphytos:/files/weywot1/logs_apache_emphytos/statistics
• aus  der Statistik wurde rausgefiltert:
  • Jeder Logeintrag mit"bot" und "spider" wurde rausgefiltert
  • IPs 10.0.0.0/8 und  193.30.112/24 (also Server aus den hbz-Netzen)

Genese 2023:

• Basis sind die rohen Webserver logs
  • bis einschließlich 2023-10 eine access_log-Datei für alle Dienste, die über emphytos laufen; aus der einen access_log wurden die Requests für die einzelnen Dienste gefiltert/gegreppt.
  • ab 2023-11 getrennte log-Dateien für einzelne Dienste (via CustomLog in vhost-Konfiguration), z. B. `access_log_lobid-resources-20231101.bz2`
• Skripte auf gaia
  • /files/weywot1/logs_apache_emphytos/goaccess_preprocessing.sh (auftrennen der großen access_log-Dateien)
  • /home/lod/git/goaccess/crontabMonthly.sh (monatliche Reports generieren, soll als cron job eingerichtet werden)
  • /home/lod/git/goaccess/create_monthly_reports.sh (Wrapper-Skript zur manuellen Generierung monatlicher Reports)
  • /home/lod/git/goaccess/create_yearly_logs_and_reports.sh (monatliche access_logs zu jährlichen zusammenfassen und jährliche Reports generieren)
• Zurzeit keine Filterung von Bots, Spidern und internen Requests!
• Statische Dateien, die beim Aufruf der Website mitgeladen werden, werden ausgenommen!
  • '/assets|robots\.txt|\.ico|\.woff2|\.ttf|\.webp|\.gif|\.svg|\.jpg|\.png|\.js|\.css'
  • daher der große Unterschied bei lobid-gnd, mit statischen Dateien sind es 133 Mio Zugriffe in 2022
• Zugriffe uniquer IPs = "Eindeutige Besucher pro Tag - Inklusive Spiders/Bots"-Panel in HTML-Ansicht von goaccess
• Reports sind unter http://gaia.hbz-nrw.de/stats/ (hbz-intern, teilweise von außen via Proxy erreichbar, z. B. https://lobid.org/stats/)

Siehe die Unterseiten für Details.

Legende: alle Zahlen zur besseren Lesbarkeit in 1000er Päckchen. Das Komma ist gesetzt zur besserem Lesbarkeit - es ist aber kein Dezimaltrennzeichen, damit die Sortierung funktioniert. "1,642" ist also "1642000" (1M 642k).