Dokumente von DeepGreen holen

[j3nsch]

Der DeepGreen Client soll (neue) Dokumente abrufen. Momentan gibt es eine OAI Schnittstelle mit eingeschränkten Metadaten und eine Web-API.

https://oa-deepgreen.github.io/user_docs/interfaces/webapi.html

Ohne weitere Änderungen an DeepGreen muss im Augenblick die WebAPI verwendet werden. Dabei werden anscheinend zuerst "Notifications" für das jeweilige Repository abgeholt. Anschließend können die Volltexte und ihre Metadaten einzeln abgeholt werden. Dafür gibt es Links in den Notifikationen.

In diesem Issue hier geht es nur um die Komponente(n) für das Abholen der Dokumente. Die Weiterverarbeitung soll davon unabhängig sein. Das heißt nicht, dass erst alle Volltexte abgeholt werden sollen, bevor die Weiterverarbeitung beginnt.

Es gibt also vermutlich mindestens zwei Teilkomponenten. Die erste holt die Notifikationen. Die zweite nimmt eine Notifikation und holte sich den passenden Volltext und seine Metadaten. Diese Aufteilung würde es z.B. auch ermöglichen Notifikationen zu empfangen (Push), statt zu holen, und dann den Workflow mit der zweiten Komponente fortzusetzen.