Material Flow-Komponenten
Jeder Material Flow besteht aus einigen Angaben, die vor und während der Erstellung im Menü Deposits → Deposit Arrangements → Material Flows / Details gemacht werden müssen.
Es gibt dabei mehrere Möglichkeiten, wie Konfigurationen vorgenommen werden können.
- das Eintragen von Text oder Zahlenwerten in Textfelder
- das Aktivieren oder Deaktivieren von Funktionen durch das Setzen von Häkchen
- das Festlegen von Parametern per Drag-and-Drop in:
- Access Rights Form
- Retention Policy Form
Zusätzlich hat jeder Material Flow eine Reihe von untergeordneten Komponenten, die per Drop-Down-Menü ausgewählt werden müssen. Einige davon müssen dabei zuerst erstellt und gespeichert werden, andere sind für alle Material Flows gleich und können ohne vorheriges Erstellen ausgewählt werden. Das betrifft die folgenden Komponenten:
- Material Flow Type - muss ggf. neu erstellt werden
- Metadata Profile - muss nicht neu erstellt werden
- Submission Format - muss immer neu erstellt werden
- Content Structure - muss nur bei BagIt neu erstellt werden
- Metadata Form - muss nicht neu erstellt werden
Um diese Konfigurationselemente neu zu erstellen, kann neben den entsprechenden Drag-and-Drop-Menüs auf die blauen Stift-Buttons geklickt werden. Diese fungieren als Shortcuts zu den entsprechenden Untermenüs. Darüber hinaus sind diese Menüs auch über → separat erreichbar. Dieser Weg sollte allerdings nicht während der Erstellung eines Material Flow genutzt werden, da ungespeicherte Änderungen im Material Flow-Konfigurationsmenü dann verloren gehen. Beim Nutzen des blauen Buttons bleiben dagegen alle Angaben ohne Zwischenspeichern erhalten.
Weiterführende Infos
ExLibris-Trainingsvideos zu den im Artikel beschriebenen Abschnitten:
Einführung in das Thema Material Flow
Konfiguration von Submission Formats
Konfiguration von Content Structures
Konfiguration von Metadata Forms
Konfiguration von Access Rights und Retention Policies
Verknüpfung aller Komponenten eines Material Flows
Material Flow templates
Bei der Erstellung eines Material Flows in Rosetta muss als erstes zwischen zwei Material Flow templates gewählt werden. Das Template Manual dient zur Konfiguration eines vollständig manuellen Ingests, das Template Automated ist für halbautomatisierte und vollautomatisierte Ingests geeignet.
Zwischen manuellen, halbautomatisierten und vollautomatisierten Ingests unterscheiden wir im hbz wie folgt:
- Manuell: In einem Metadatenformular (Metadata Form) werden händisch Metadaten per Tastatur eingetragen. Daraufhin werden Nutzdaten von einem lokalen Verzeichnis nach Rosetta eingeliefert. Dieses Verfahren wird im Rosetta-System des hbz nicht genutzt.
- Halbautomatisiert: SIPs werden vor der Einlieferung bspw. durch ein Skript erstellt und auf dem I/O-Server abgelegt. Die Submission Information Packages (SIPs) werden dann via Add Deposit Activity oder Deposits → Submission Job eingeliefert. Die Einlieferung muss dabei initial händisch gestartet werden, daher ist dieses Verfahren nicht vollautomatisiert.
- Vollautomatisiert: Ingests erfolgen durch vorher wiederkehrend terminierte Harvester- und Submission Jobs. SIPs werden dabei automatisch von Rosetta erzeugt. Ein händisches Starten dieser Jobs ist im Regelbetrieb nicht erforderlich. Lediglich beim einem initialen Ingest eines gesamten Datenbestandes (Vollabzug) werden die Jobs einmal händisch angestoßen.
Allgemeine Angaben im Material Flow-Konfigurationsmenü
Im Konfigurationsmenü des Material Flows werden alle oben beschriebenen Bestandteile des Material Flows entweder neu konfiguriert oder bereits bestehende Bestandteile über Drag-and-Drop-Menüs zusammengeführt.
Die einzelnen Bestandteile eines Material Flows können entweder separat unter Deposit Arrangements oder direkt aus dem Konfigurationsmenü des Material Flows heraus neu erstellt werden. Dazu kann neben den entsprechenden Drag-and-Drop-Menüs auf die blauen Stift-Buttons geklickt werden. Diese fungieren als Shortcuts zu den entsprechenden Untermenüs.
Neben den Material Flow-Bestandteilen, die das Anlegen und Speichern von separaten Konfigurationen in eigenen Untermenüs erfordern, werden die beiden im Folgenden beschriebenen Angaben direkt im Material Flow-Menü gemacht.
Die Sampling Rate definiert, welcher Anteil eines Ingests zur manuellen Überprüfung im Approval-Bereich bereitgestellt werden soll, wenn die automatischen Prüfungen auf Viren, Validität und Prüfsummen von Rosetta abgeschlossen sind. Für Testingests auf dem Rosetta Testsystem ist es sinnvoll, die Sampling Rate auf 100% zu stellen. Für den Regelbetrieb mit erprobten Workflows auf dem Produktivsystem kann die Sampling Rate verringert oder mit 0% ganz deaktiviert werden.
Gut zu wissen
Auf dem Produktivsystem kann die Sampling Rate darüber hinaus nur vom LZV-Serviceteam eingestellt werden.
Internal definiert, welche User den Material Flow nutzen können.
- No: der Material Flow ist nicht intern. Alle Nutzer einer Institution können diesen Material Flow nutzen.
- Yes: der Material Flow ist intern. Nur Staff-User können diesen Material Flow nutzen.
Die Unterscheidung spielt beim vom hbz betriebenen Rosetta-System keine Rolle, da alle User der Kooperationspartner Staff-User sind.
Die Konfiguration wird daher auf dem Standardwert No belassen.
Material Flow Type
Beim Material Flow Type handelt es sich um eine grobe Typisierung des Gesamtbestandes, z. B. "Open Access", "Dissertations" oder "Research Data." Der Feldinhalt kann frei bestimmt werden und richtet sich nach dem einzuliefernden Material.
Um einen Material Flow Type zu konfigurieren, kann auf den blauen Stift-Button geklickt werden. Dieser öffnet das Untermenü zum Anlegen von Material Types.
Metadata Profile
Metadata Profiles legen Metadatenfelder fest, die bei einer Einlieferung verpflichtend vorhanden sein müssen.
Als Metadata Profile wird der vordefinierte Standardwert Pflichtangaben: dc:identifier und dc:rights ausgewählt.
Das gewährleistet, dass bei der Einlieferung in den deskriptiven Metadaten Informationen zu einem eineindeutigen Identifier und den Nutzungsrechten der Daten als Mindestanforderung enthalten sind.
Das Metadata Profile ist für alle Material Flows gleich. Die Erstellung eines neuen Metadata Profiles ist nicht nötig.
Content Structure
Content Structures definieren die Struktur von SIPs (Nutzdateien und Metadaten), die in Rosetta eingeliefert werden. Beim Einlieferungs-Prozess werden die eingelieferten Metadaten über verschiedene Converter innerhalb der Content Structure in die einheitliche, interne Rosetta-METS-Struktur umgewandelt, s. Das METS-Metadatenaustauschformat in Rosetta. Dies ermöglicht die Abbildung digitaler Ressourcen in Rosetta als Intellectual Entities (IEs), Representations und Files. Die Content Structure muss mit dem gewählten Einlieferungsverfahren bzw. genutzten Metadatenaustauschformat übereinstimmen, um richtig verarbeitet werden zu können.
Optional kann ein Häkchen bei Automatically extract compressed files (ignore submission format validations) gesetzt werden. Dies sorgt dafür, dass Containerformate wie ZIP oder TAR beim Ingest automatisch entpackt werden.
Diese Option darf nicht ausgewählt werden, wenn die gewählte Content Structure METS ist, da das Entpacken der in den METS-Metadaten referenzierten Dateien der vorgegebenen Datenstruktur widerspricht.
Die von Rosetta unterstützten Content Structures sind:
- METS (via METS Converter, siehe METS)
- CSV (via Comma Separated Converter, siehe CSV)
- BagIt (via BagIt Converter, siehe BagIt)
- Dublin Core (via Dublin Core Converter, siehe DC)
- OAI-Records (via XSL Converter, siehe Metadatenbereitstellung via OAI-PMH)
- Set of Files (SoF) (via Set of Files Converter, siehe Limited METS-Ingest)
Submission Format Type
Der Submission Format Type definiert, welche Art von Submission Format genutzt wird. Dabei wird vor allem nach Art der Datenübertragung unterschieden.
Bevor auf Add geklickt werden kann, muss aus dem Drop-Down-Menü ausgewählt werden, welcher Typ von Submission Format erstellt werden soll. Für eine Einlieferung über den I/O-Server des hbz wird empfohlen, hier NFS zu nutzen.
Folgende Typen von Submission Formats können im hbz-Rosetta genutzt werden:
- Networking File System (NFS): Liefert Dateien aus einem lokalen Verzeichnis ein und ist für automatisierte Ingests geeignet. Dieses Format muss gewählt werden, wenn die Daten vom I/O-Server (Input-Output Server) des hbz eingeliefert werden sollen.
- File Transfer Protocol (FTP): Liefert Dateien von einem externem Server ein. FTP wird im vom hbz betriebenen Rosetta-System nicht verwendet, da es unverschlüsselt ist. Stattdessen wird SFTP empfohlen.
- Secure File Transfer Protocol (SFTP): Liefert Dateien verschlüsselt von einem externem Server ein und ist für automatisierte Ingests geeignet.
- HTTP Load: Definiert, welche Dateiformate von einem lokalen Rechner hochgeladen werden dürfen sowie die Anzahl und maximale Größe von Dateien und ist für manuelle Ingests geeignet.
- Detailed: Spezifiziert die Anzahl und die Formate von Dateien, die hochgeladen werden müssen sowie deren maximale Größe und ist für manuelle Ingests geeignet.
- S3: Liefert Dateien mittels Amazon S3 Storage Plug-In ein und ist für automatisierte Ingests geeignet.
Handling Method
Die Handling Method legt fest, ob die Daten vom I/O-Server gelöscht werden, wenn eine Einlieferung abgeschlossen ist und sich die Daten in Rosetta befinden. Dabei sind drei Handling Methods möglich:
- Soft Link: Die Daten werden während eines Ingests vom I/O-Server für den Zeitraum der Verarbeitung in den Rosetta-internen Operational Storage verlinkt und verbleiben nach dem Ingest auf dem I/O-Server. Erst zum Abschluss der Einlieferung werden durch das Verschieben der Daten in den Permanent Storage von Rosetta diese tatsächlich vom I/O-Server nach Rosetta eingeliefert. Diese Methode eignet sich für sehr große Datenmengen, da sie die Verarbeitungszeit optimiert.
- Copy: Die Daten werden während eines Ingests vom I/O-Server kopiert und bleiben nach dem Ingest als Kopie auf dem I/O-Server. Diese Methode eignet sich zum Testen von neuen Material Flows und wird für Einlieferungen in das Rosetta Testsystem empfohlen, da ggf. mehrere Testingests der selben Daten nötig sind.
- Move: Die Daten werden während eines Ingests vom I/O-Server vollständig in den Rosetta-internen Operational Storage transferiert und bleiben nach dem Ingest nicht auf dem I/O-Server. Diese Methode eignet sich für etablierte Material Flows im Produktivsystem, da hierbei keine Duplikate entstehen.
Allow Navigation
Diese Angabe legt fest, ob User in Unterverzeichnisse des angegebenen SIP Polling Folders auf dem I/O-Server (siehe: "NFS Path" unten) navigieren können. In diesem Kästchen ist das Häkchen standardmäßig gesetzt, wodurch die Navigation in Unterverzeichnisse erlaubt ist. Dies kann so belassen werden.
NFS Path und Sub-directory
Hier muss der Dateipfad des Verzeichnisses angegeben werden, aus dem die Ressourcen hochgeladen werden sollen. Für das vom hbz betriebene Rosetta-System handelt es sich um die Upload-Verzeichnisse der Kooperationspartner auf dem I/O-Server (.../[verzeichnis kooppartner]/sandbox/input) bzw. (.../[verzeichnis kooppartner]/production/input). Das jeweilige Verzeichnis wird im Rahmen des Onboardings mitgeteilt.
Die Angabe eines Sub-directory, also eines Unterverzeichnisses ist optional und i. d. R. nicht nötig.
Begrenzungen für einzuliefernde Dateien
Es kann festgelegt werden, welche Dateien mit diesem Submission Format eingeliefert werden können.
Dazu stehen verschiedene Möglichkeiten zur Verfügung, die beliebig miteinander kombiniert werden können:
- Max. Number of Files: Bestimmt, wie viele Dateien maximal mit einem Ingest eingeliefert werden können. Wird das Feld geleert, gibt es keine Begrenzung.
- Min. Number of Files: Bestimmt, wie viele Dateien mindestens mit einem Ingest eingeliefert werden können. Wird das Feld geleert, gibt es keine Begrenzung.
- Max File size (MB): Bestimmt, welche Datenmenge in Megabyte maximal mit einem Ingest eingeliefert werden kann. Wird das Feld geleert, gibt es keine Begrenzung.
- File Extensions: Bestimmt, welche Dateiendungen mit einem Ingest eingeliefert werden können. Wird das Feld leer gelassen, gibt es keine Begrenzung.
Gut zu wissen
Werden in diesen Feldern keine Angaben gemacht, gibt es keine Begrenzung. Das LZV-Serviceteam empfiehlt daher, die automatisch generierten Standardwerte von jeweils 1 vor dem Speichern des Submission Format aus den Feldern zu löschen. Da in der Regel bekannt ist, welche Formate und Mengen von Dateien zu erwarten sind, kann auf eine Begrenzung verzichtet werden.
Metadata Form
Metadata Forms werden für manuelle Workflows benötigt, weil sich hierüber die Eingabemaske für Metadatenfelder konfigurieren lässt. Dadurch kann festgelegt werden, welche Metadaten ein SIP enthalten muss und wie diese Metadaten auf Rosetta-Felder gemapped werden.
Bei automatisierten Workflows ist eine solche Eingabemaske nicht notwendig, da die Metadatenübertragung automatisiert über die Content Structure konfiguriert wird. Weil Metadata Forms jedoch eine feste Komponente des Material Flows darstellen, müssen sie auch bei automatisierten Workflows angelegt werden. Hierbei genügt allerdings ein generisches Metadata Form, das lediglich das Metadatum dc:identifier beinhaltet.
Für jeden Material Flow ist immer das Metadata Form DC Identifier auszuwählen. Dieses wird vom LZV-Serviceteam bei der Erstellung der Institution angelegt. Ein neues Metadata Form muss nicht angelegt werden.
Access Right Form
In Access Right Form wird der Material Flow mit einer Access Right Policy verknüpft. In Access Rights Policies werden die Zugriffsrechte auf digitale Ressourcen innerhalb von Rosetta festgehalten. Sie definieren die Konditionen, unter denen User Zugriff auf eingelieferte IEs erhalten. Eine Access Right Policy kann dabei mehreren IEs zugewiesen werden. Als fester Bestandteil eines Material Flow muss jeder Material Flow mit genau einer Access Right Policy verknüpft sein.
Warnhinweis
Ein Material Flow kann immer nur eine Access Right Policy enthalten. Das Auswählen von mehreren Policies führt zu Fehlern bei der Einlieferung.
In der rechten Spalte werden dabei alle Access Right Policies angezeigt, in der linken Spalte die Policy, die ausgewählt worden ist. Über der Liste in der rechten Spalte gibt es ein Suchfeld, über das die Liste aller AR Policies eingegrenzt werden kann.
Access Rights können auch auf File-Ebene vergeben wird, dies geschieht in der Regel nach der Einlieferung im sogenannten Enrichment. Das Enrichment wird durchgeführt, wenn die Objekte in den Bereich
Gut zu wissen
Retention Policy Form
Optional verwendbare Retention Policies dienen der Festlegung, wann Daten aus Rosetta gelöscht werden. Im Kontext des LZV-Angebots des hbz spielen Retention Policies keine Rolle, da die Daten auf unbestimmte Zeit verfügbar gehalten werden. Ausgewählt wird die Retention Policy im Material Flow-Menü unter Retention Policy Form.
Warnhinweis
Bei allen Material Flows wird immer die Retention Policy No Retention Policy ausgewählt. Eine neue Retention Policy muss nicht angelegt werden.
Verknüpfung aller Bestandteile eines Material Flows
Die oben beschriebenen Komponenten eines Material Flows - Submission Format, Material Flow Type, Content Structure, Metadata Form und Access Rights sowie Retention Policies - müssen dem Material Flow per Drop-Down zugewiesen werden.
Daraufhin ist der Material Flow mit allen zugehörigen Bestandteilen vollständig konfiguriert.
Verknüpfung von Material Flows und Producer Profiles
Material Flows müssen nach ihrer Erstellung einem Producer Profile zugewiesen werden. Dadurch wird der Material Flow einem Bestand zugeordnet und die Producer Agents des Producers können den Material Flow nutzen, um einen Ingest anzustoßen.
Gut zu wissen
Für jeden Material Flow sollte ein eigener Producer angelegt werden, der den Namen des Datenbestandes bzw. Workflows trägt, z. B. HBZ_01-Datenbestand-Producer. So können Datenbestände deutlich voneinander abgegrenzt werden, z. B. bei der Fehlerbehandlung, s. Fehler in Technical Issues/Technical Analyst.
Kurzanleitung: Konfiguration eines neuen Material Flows
Material Flow Konfigurationsmenü öffnen
- Deposits → Deposit Arrangements → Material Flows
- auf Add Material Flow klicken
- Name: Name des Bestandes nach Namenskonvention + Material Flow, z.B.: "HBZ_05-Newsletter des hbz NRW-Material Flow"
- Material Flow template: Automated
- Auf Next klicken
Initiale Angaben unter Material Flow Definition
- Description/Instructions: Optionale Beschreibung des Workflows, ggf. mit Einlieferungsverfahren, Datenquelle und Besonderheiten des Bestandes
- Sampling Rate (%): 100
- Internal: No
Material Flow type
Ggf. vorhandenen Material Flow type auswählen, andernfalls wie folgt einen neuen erstellen:
- Klick auf blauen Stift-Button
- Unter Create a New Code Table Row
- Code: Drei- oder vierstelliger Code, orientiert sich an der Description: z. B. "DEMO"
- Description: Art des Bestandes, z. B. "Demo Daten"
- Language: Keine Angabe
- Default Value: Kein Häkchen setzen
- Auf Create klicken
- Auf Save klicken
- Auf Back to Material Flow klicken
Assertion of Copyrights
- Boilerplate Statement 1 stehen lassen
- keine Erstellung eines neuen Elements notwendig
Metadata Profile
- Pflichtangaben: dc:identifier und dc:rights stehen lassen
- keine Erstellung eines neuen Elements notwendig
Select content structure
- gewünschtes Einlieferungsverfahren auswählen, z. B. "METS"
- Eine neue Content Structure muss nur bei BagIt erstellt werden.
Select submission format
- Klick auf blauen Stift-Button
- Add Submission Format: Art des Submission Formats aus dem Drop-Down-Menü auswählen, in der Regel immer NFS
- Klick auf Add
- Name: Name des Bestandes nach Namenskonvention + Material Flow, z. B.: "HBZ_05-Newsletter des hbz NRW-Submission Format"
- Description: optionale Beschreibung des Submission Formats
- Handling Method:
- Testsystem: Copy
- Produktivsystem: Move
- Soft Link: bei sehr großen Datenmengen
- Allow Navigation: Häkchen stehen lassen
- NSF Path: Pfad zum Verzeichnis auf dem I/O-Server, in dem SIPs für einen Bestand gespeichert werden, z. B. "/rosetta/hbz-demo/sandbox/input/HBZ_01"
- Sub-directory: Keine Angabe
- Max. Number of Files: Default-Wert löschen
- Min. Number of Files: Default-Wert löschen
- Max File size (MB): Default-Wert löschen
- File Extensions: keine Angabe
- Save
- Back to Material Flow
Select Metadata form
- DC Identifier auswählen
- kein Erstellen eines neuen Metadata Forms notwendig
Access Right Form
Access Rights Policy der eigenen Institution auswählen und per Drag-and-Drop in die rechte Spalte ziehen, z. B. "HBZ: Zugriff nur für HBZ gestattet."
Retention Policy Form
- No Retention Policy per Drag-and-Drop in die linke Spalte ziehen
Material Flow speichern
- Klick auf Save am unteren rechten Rand
Kurzanleitung: Material Flow einem Producer Profile hinzufügen
- Deposits → Producer Profiles
- auf Update beim Producer Profile der eigenen Institution, z. B. HBZ Producer Profile, klicken
- Wechsel in das Tab Material Flow List
- in der Tabelle "Material Flow pool" den neuen Material Flow anhaken
- auf Add Selected klicken
- auf Back klicken
Damit ist die Konfiguration abgeschlossen und der Material Flow kann zur Einlieferung verwendet werden.
