-
Notifications
You must be signed in to change notification settings - Fork 0
Harvest
-> harvestNameFull
-> isPartOf
-> harvestType
-> harvestSuffix[harvestFreq]
-> -> harvestFreq
Název sklizně definovaný WARCy. WARCy definující stejnou sklizeň se řadí jako její součásti.
př. Serials 2013-07-1M_ArchiveIt
Datum zahájení sklizně (ve formátu rok/měsíc/den hodiny/minuty/vteřiny [%Y-%m-%dT%H:%M:%SZ"]).
př. 2014-05-15T15:52:20Z
Jedinečné označení (identifikátor) sklizně (URN = Uniform Resource Name) sloužící k jednoznačné identifikaci sklizně, jeho pomocí lze na obsah odkazovat, typ identifikátoru podle normy UUID. Je počítán jako UUID5 dle NAMESPACE_DNS a názvu sklizně pomocí algoritmu SHA1. Je tedy zpětně rozklíčovatelný, což zvyšuje jeho sémantickou hodnotu.
př. urn:uuid:621f785e-9401-4be2-bb48-1039960748fc
Označuje, o jaký typ sklizně se jedná, například o měsíční sklizeň, celoplošnou sklizeň, jednorázovou sklizeň apod. (EDIT: do budoucna kombincace pole #harvestType a pole #harvestSuffix = list[#harvestFreq])
př. Serials_1M_ArchiveIt
(suffix) může nabývat kombinace hodnot frekvence a typu:
- V - výběrová sklizeň
- T - tematická sklizeň
- 1M - měsíční frekvence
- 2M - dvouměsíční frekvence
- 6M - 6ti měsíční frekvence
- 12M - roční frekvence
- V-1 - jednorázová sklizeň
- CZ18 - celoplošná sklizeň
- ArchiveIt - jednorázová sklizeň nových semínek
- OneShot - další přidaná jednorázová semínka
př. 1M_ArchiveIt
Velikost sklizně v bytech, součet velikostí všech komprimovaných kontejnerů.
př. 239821
Operátor sklizně.
př. Zdenko Vozár
Instituce odpovědná za uskutečněný sběr.
př. National Library of the Czech Republic - Webarchiv.cz
Informace o tom, zda je respektována restrikce robots.txt. Může nabývat hodnot: classic, ignore, custom, most-favored, most-favored-set.
př. ignore
Nastavení user agent headera pro crawlery. User Agent je soubor informací, které crawler (sklízeč) odesílá webovým stránkám, když se při jejich návštěvě identifikuje jako prohlížeč.
př. '[email protected]', 'http-header-user-agent': 'Mozilla/5.0 (compatible; 'heritrix/3.2.0 ''+http://webarchiv.cz/kontakty/)'
Status sklizně a validace jejích součástí.
př. NonValidated
Abstrahovaný název sklizně (abstrakce viz níže). Při odkazovaní na sklizeň má jako klíč přednost pole harvestID.
Agregovaný záznam názvů, list o 1 nebo více elementech nazvů přejatý z container - isPartOf dle ISO 28500 pro warcinfo. Viz container -> isPartOf. S harvestNameFNtrunc a harvestDirsName sa může rozchádzet, nebo obsahovat více záznamu. Pro další účely zpracování má prioritu. Jenom kdyby ho daná kolekce neobsahovala, abstrahuje se pro vyplnění záznamu Harvest dle vnějšího příznaku harvestNameFNtrunc. V případě inkonzistence i zde je nutný manuální průzkum uložiště.
Agregovaný záznam názvů, list o 1 nebo více elementech nazvů přejatý z FN warců container -> FileName
Agregovaný záznam názvů, list o 1 nebo více elementech názvu přejatý z paths - basic - parentDir container -> path
(eg.: Serials 2013-07-1M_ArchiveIt_ Serials-2019-02-1M_2M_CUNI_OneShot_ArchiveIT1834q_ Serials-2019-03-1M_6M_CUNI_OneShot_ArchiveIt Topics-2019-05-NA-verejnopravni_puvodci Topics-2019-05-volby-ep2019-01 Topics-2019-05-volby-ep2019-02 udhpshcz-2019-08-26-volby-ep2019 (Requests) Totals-2019-07-NIC_CZ Test-2019-06-26-cc-naki)
Návrh na změnu jednotnýho pole #harvestType, do budoucna kombinace pole #harvestType a pole #harvestSuffix = dictionary[#harvestFreq]).
- Topics - Speciální výběrová sklizeň
- Serials - Každoměsíční sklizeň (Kombinace Vyběrových sklizní s různou roční frekvencí)
- Totals - Celoplošná sklizeň domény
- Tests - Testovací sklizeň
- Requests - Vyžádaná sklizeň v spolupráci s jinou institucí
Přídomek sklizně. Obsahuje 1 až víc polí harvest Freq v zmysle listu.
(depr. - V - výběrová sklizeň
- T - tematická sklizeň )
- datum RRRR-MM(-DD) + název - typické pro Topics, Tests a Requests typ sklizne, vynimka - nejde o frekvenci ale specifikaci v v časovým bodě
- 1M - měsíční frekvence
- 2M - dvouměsíční frekvence
- 6M - 6ti měsíční frekvence
- 12M - roční frekvence
- V-1 - jednorázová sklizeň
- CZ18 - celoplošná sklizeň
- ArchiveIt - jednorázová sklizeň nových semínek
- OneShot - další přidaná jednorázová semínka
Postup extrakce provozních metadat
Grainery frontend