Überblick

Der Begriff Ingest bzw. Einlieferung beschreibt den Prozess, bei dem langzeiterhaltungswürdige digitale Ressourcen in Form von Submission Information Packages (SIPs) in ein LZV-System eingeliefert und dort weiterverarbeitet werden. Dabei können verschiedene Verfahren zur Anwendung kommen.

Auf dieser Seite finden Sie eine erste Hilfestellung, welche Ingest-Verfahren für Ihren Anwendungsfall geeignet sind. Um zu entscheiden, welches Verfahren zur Anwendung kommen soll, müssen verschiedene Aspekte betrachtet werden:

• Dateiformat
  • In welchem Dateiformat liegen die jeweiligen Daten vor?
  • Handelt es sich um ein proprietäres Format oder ein langzeitstabiles, offenes Format?
  • Ist das Dateiformat in der PRONOM Datenbank aufgeführt oder nicht?
  • Das am hbz genutzte LZV-System Rosetta ist dateiformatagnostisch, es können also prinzipiell alle Dateiformate eingeliefert werden.
    • Allerdings schränken manche Dateiformate die Möglichkeiten zur Erhaltung ein.
  • Bitstream Preservation ist immer möglich.
• Metadaten
  • Welche deskriptiven Metadaten sind vorhanden?
  • In welchem Schema liegen die deskriptiven Metadaten vor?
    • Wenn es sich um ein anderes Schema als Dublin Core (DC) handelt, muss ein Metadatenmapping erfolgen. Die ursprünglichen Metadaten können aber als Quellmetadaten ebenfalls eingeliefert werden.
  • Sind die Mindestvoraussetzungen der inhaltlichen Metadaten des hbz (Rechte und Identifier) erfüllt?
  • Sind weitere Metadaten - administrative, technische, strukturelle - vorhanden?
• Aufbau der Objekte
  • Besteht ein Objekt aus einer oder mehreren Dateien?
  • Liegt ein Objekt in verschiedenen Ausprägungen (sog. Repräsentationen) vor, also z. B. sowohl als TIFF- als auch als PDF-Datei/en?
• Struktur des Bestandes
  • Liegen alle Objekte auf der gleichen Hierarchieebene?
  • Gibt es bei den Objekten Über- und Unterordnungen?
    • Wenn ja, wie viele Ebenen gibt es?
• Datenquelle
  • Wo liegen die Daten zurzeit, z. B. in einem Repositorium oder auf einer Festplatte?
  • Sollen alle Objekte aus einer Quelle langzeitverfügbar gehalten werden oder nur eine Auswahl?
• Übertragung
  • Welche Möglichkeiten der Übertragung von Metadaten und Daten aus dem Quellsystem gibt es?
    • z. B. eine OAI-Schnittstelle
• Struktur der Einlieferungspakete (= Nutzdateien + Metadatendateien)
  • Für die Einlieferung der Daten in Rosetta bestehen gewisse Vorgaben für Einlieferungspakete hinsichtlich Metadaten und Ordnerstruktur, die sich je nach gewähltem Einlieferungsformat unterscheiden.
  • Werden die Daten nicht über eine OAI-Schnittstelle geharvestet, muss diese Struktur selbst erzeugt werden.
• Turnus der Einlieferung
  • Ist der Bestand, der langzeitverfügbar gehalten werden soll, abgeschlossen oder wird er noch aktualisiert?
  • Wenn er fortlaufend aktualisiert werden soll, in welchem Turnus?

Einlieferung in Rosetta

Im LZV-System Rosetta selbst wird die Einlieferung nicht Ingest, sondern Deposit genannt. Der Einlieferungsprozess in Rosetta wird in den beiden Bereichen Deposit und Submissions durchlaufen. Da Ingest als Begriff aus dem OAIS-Referenzmodell geläufig und auch in der Rosetta-Community weit verbreitet ist, wird er auch im LZV-Service-Wiki synonym für die Einlieferung verwendet.

Voraussetzung für einen erfolgreichen Ingest ist, dass die Submission Information Packages (SIPs) in einer Struktur vorliegen, die das LZV-System Rosetta interpretieren kann und ein Einlieferungs-Workflow in Rosetta konfiguriert ist. Diese Konfigurationen für die Einlieferung werden über die Rosetta-Benutzeroberfläche als sogenannter Material Flow angelegt. Sind diese Voraussetzungen für den Ingest erfüllt, können digitale Ressourcen in Rosetta eingeliefert und im Rahmen der Langzeitverfügbarkeit weiterverarbeitet werden.

Auf den Unterseiten finden Sie außerdem Informationen zur Material Flow-Konfiguration über die Rosetta-Benutzeroberfläche. Auf den Unterseiten erhalten Sie ebenso weiterführende Informationen zu den einzelnen Ingest-Verfahren in Rosetta und zu den verschiedenen Voraussetzungen, die hinsichtlich der SIP-Struktur beim Ingest erfüllt sein müssen.

Die verschiedenen Ingest-Verfahren in Rosetta

Manuelle und (halb-)automatisierte Ingests

In Rosetta wird lediglich zwischen manuellen und automatisierten Ingests unterschieden.

Bei einem manuellen Ingest werden Dateien händisch hochgeladen und Metadaten per Hand eingegeben. Manuelle Ingests werden in dem durch das hbz betriebenen Rosetta-System nicht durchgeführt und daher im Folgenden nicht weiter erörtert.

Das hbz unterscheidet außerdem zwischen voll- und halbautomatisierten Ingests.
Bei einem automatisierten Ingest werden zunächst die Metadaten über einen Harvester Job geharvestet und anschließend ein Submission Job ausgelöst, der die Nutzdateien herunterlädt, diese mit den Metadaten verknüpft und nach Rosetta überträgt. Die SIPs werden dabei von Rosetta erstellt. Beide Jobs können zu festgelegten Zeitpunkten automatisiert ausgelöst werden.

Unter halbautomatisierte Ingests fallen demnach alle Einlieferungen, die zwar in Rosetta als automatisiert gelten, aber nicht komplett ohne manuellen Input ausgeführt werden können. Bei diesen muss das SIP vom Kooperationspartner selbst erstellt werden. Anschließend muss ein Submission Job ausgelöst oder die Einlieferung über den Add Deposit Activity-Button auf dem Rosetta Dashboard durchgeführt werden.

Datenbereitstellung und Einlieferungsformate

Je nach Datenquelle und Schnittstellenverfügbarkeit können die Daten über eine OAI-Schnittstelle oder via rsync bereitgestellt werden. Als Einlieferungsformate für die SIPs stehen METS, BagIt, CSV und DC zur Verfügung. Ausführliche Informationen finden Sie auf den Seiten Datenbereitstellung und -übertragung und Material Flow-Konfiguration und Einlieferungsformate. Die folgende Tabelle soll einen ersten Überblick geben, insbesondere über die Möglichkeiten und Beschränkungen der verschiedenen Einlieferungsformate.

	Metadaten Harvesting via OAI-Schnittstelle	Übertragung via rsync	Automatisierter Ingest möglich	SIPs werden durch Rosetta erzeugt (bei OAI Harvest)	maximale Anzahl möglicher Representations	maximale Anzahl IEs pro SIP	Metadatenmapping via
METS					3	unbegrenzt/abhängig von abgefragter OAI-Schnittstelle	XSLT
Limited METS					1	unbegrenzt/abhängig von abgefragter OAI-Schnittstelle	XSLT
DC					1	unbegrenzt/abhängig von abgefragter OAI-Schnittstelle	XSLT
BagIt					1	1	Content Structure
CSV					3	unbegrenzt/abhängig von abgefragter OAI-Schnittstelle	XSLT

Automatisierte Ingests via Web-Service

Ingests können auch außerhalb der Rosetta-Benutzeroberfläche über verschiedene Web-Services angestoßen werden. Dabei können die Web-Services in eigens für den Ingest entwickelte Programme (sogenannte Submission Applications) eingebunden werden.

Voraussetzung für die Nutzung von Web-Services für den Ingest ist ein zuvor über die Rosetta-Benutzeroberfläche konfigurierter Material Flow.