Support more UD-labels in Swedish (#209)

Following user dictionary labels are now supported:
UDNumber - evokes a Measurement when followed by a unit
UDUnit - evokes a Measurement when preceded by a number or quantity
UDIgnoreNumber - suppresses Measurement detection and can affect Time detection
UDIgnoreUnit - suppresses Measurement detection

language_models/sv/rules.csv

@@ -33,7 +33,16 @@
 /*		1358.UD. Vid olympiska sommarspelen 1972 i München slog terrorister till.
 1359;1;UDTime;+SVTime;
 /*		1359.UD. Då hade den redan funnits i 30 år. Frågan är om dessa nya diagnostiska kriterier kan vara till hjälp i vår dagliga praktiska verksamhet redan i dag.
-
+1415;1;UDNumber;UDNumber+SVNumber+Measurement+ValueProperty;
+/*		1415.UD. Alla andra som var med på bokturnén säljer jättemånga böcker. Jag minns att jag läste en artikel om en rockgrupp som sålde jättemånga skivor och hade jättemånga beundrare.
+1416;1;UDUnit;UDUnit+SVUnit+SVCon;
+/*		1416.UD. En tiokronorssedel värderades till tolv jetonger.
+1410;1;UDIgnoreNumber;-SVDecinum-SV12dNum-SV3dNum-SVNumpart2-SVNumX-SVNumberPlusUnit-SVQuantity;
+/*		1410.UD. Tumören har vuxit och blivit flera centimeter stor.
+1411;1;SVNum:SVNumber+UDIgnoreNumber;-SVNum-SVNumber+SVCon;add Con to avoid that the entity becomes nonrelevant
+/*		1411.UD. Stockholms stadslandskap och stadsbild som vi uppfattar dem idag har formats under många hundratals år.
+1412;1;UDIgnoreUnit;-SVUnit-SVCurrency-SVNumberPlusUnit;
+/*		1412.UD. I oktober hade andelen ökat till 31 procent.
 1366;1;UDIgnoreNegation;-SVNegation-SVNegBegin-SVNegWord-SVNegadj;
 /*		1366.UD. Sjukdomen behöver sällan behandlas med antibiotika.
 1369;1;UDIgnoreTime;-SVTimeconcept-SVTimeadj-SVTimespan-SVYearpart-SVDay-SVHour-SVClocktime;
@@ -2440,8 +2449,11 @@
 /*		1372.UD. Vanligen används ved eller elektricitet. Området runt sjön är vintertid känt för att vara snörikt.
 /*1373;$;SVTimeBegin+^SVTime|.^SVTime+^SVTimeStop|SVTimeStop;-SVTimeBegin|*|*;
 1373;$;SVTimeBegin+^SVTime|.^SVTime+^UDIgnoreTime|UDIgnoreTime;-SVTimeBegin|*|*;
-/*		1373.UD. Så er vi officielt gået på vintertid!
-
+/*		1373.UD. Sommaren är slut och vi går över till vintertid (normaltid) natten mellan lördag och söndag.
+1413;$;UDIgnoreNumber|^SBegin;-Measurement-ValueProperty|-Measurement-UnitProperty;
+/*		1413.UD. Tack vare de eroderande krafterna samlar en vanlig flod upp flera miljoner ton sediment på sin väg.
+1414;$;UDIgnoreUnit;-Measurement-UnitProperty;
+/*		1414.UD. I oktober hade andelen ökat till 31 procent.
 15;$;SVPunctuation;Punctuation;rewrite language-specific label back to default
 /*		15. Dagstemperaturer på över 25 °C (s.k. högsommardagar) inträffar i genomsnitt 16 gånger per år.
 

reference_materials/input/test/sv_test.txt

@@ -37,6 +37,8 @@ Aldrig sett något liknande.
 
 Alfred Nobel var mycket begåvad, hade stor arbetsförmåga och fast tro på mänsklighetens utveckling genom fredlig kamp med naturens krafter.
 
+Alla andra som var med på bokturnén säljer jättemånga böcker.
+
 Alla har vi nog fått lära oss att vi ska tänka positivt för att prestera bättre, även i situationer som inbjuder till allt annat än glada tankar och känslor.
 
 Alla har väl haft en dröm om att flyga flera hundra meter upp i luften, sittandes i en stol samtidigt som 120 heliumballonger håller dig svävande?
@@ -615,6 +617,8 @@ En svensk man i 20-årsåldern.
 
 En till två liter går över i tjocktarmen och tas upp där.
 
+En tiokronorssedel värderades till tolv jetonger.
+
 En vecka efter operationen flyttades patienten till ett närliggande mindre sjukhus för fortsatt rehabilitering.
 
 Engagemang underlättar men det gäller att vara klar över att det som är intressant och önskvärt inte alltid går att bevisa.
@@ -1025,6 +1029,8 @@ Jag inbillar mig att jag ser ett glatt leende på alla jag möter.
 
 Jag kan inte gå in på några detaljer om vad som har hänt säger polisens presstalesperson.
 
+Jag minns att jag läste en artikel om en rockgrupp som sålde jättemånga skivor och hade jättemånga beundrare.
+
 Jag skrev tidigare i veckan att den kunde bli rörigare än rörig.
 
 Jag tror att en överenskommelse kan nås i en inte alltför avlägsen framtid.
@@ -1557,6 +1563,8 @@ Som stöd för kunskapsdokumentet finns bakgrundsdokument som respektive förfat
 
 Som sändningar av radioprogram anses också tillhandahållande till allmänheten på särskild begäran av direktsända eller inspelade program, om starttidpunkten och innehållet inte kan påverkas av mottagaren.
 
+Sommaren är slut och vi går över till vintertid (normaltid) natten mellan lördag och söndag.
+
 Speltid: 1 timme 2 minuter.
 
 Språkhandlingarna och textaktiviteterna måste alltså friläggas på sina respektive nivåer.
@@ -1615,8 +1623,6 @@ Så snart man lämnar de strategiskt valda texterna blir det uppenbart att analy
 
 Så är det emellertid inte, eftersom den andra grafiska meningen består av fyra syntaktiska meningar (makrosyntagmer), i ett fall åtskilda av kommatecken.
 
-Så er vi officielt gået på vintertid!
-
 Sådana upptäckter motiverade spektrallinjeavsökningar.
 
 Sådant jordbruk lever (tillsvidare) kvar på rost och röta och många bönders vilja att arbeta till en ringa timpenning.

reference_materials/input/udct_test/sv_udct_test.txt

@@ -1,5 +1,6 @@
 
 Alfred Nobel var mycket begåvad, hade stor arbetsförmåga och fast tro på mänsklighetens utveckling genom fredlig kamp med naturens krafter.
+Alla andra som var med på bokturnén säljer jättemånga böcker.
 Alla julförberedelser skulle vara klara till luciadagen och det firade man med att äta och dricka lite extra.
 Asiatiska krabbor hotar västkusten.
 Bara det inte brusar alltför starkt, alltför länge och alltför ofta återkommande, då blir användaren irriterad.
@@ -20,6 +21,7 @@ Detta är en viktig pusselbit för att förstå hjärnskador under graviditeten.
 Därigenom får fastighetsägare det underlag inför beslut som de behöver.
 Då hade den redan funnits i 30 år.
 En patient hade försämrats märkbart på grund av progredierande hematom.
+En tiokronorssedel värderades till tolv jetonger.
 Frågan är om dessa nya diagnostiska kriterier kan vara till hjälp i vår dagliga praktiska verksamhet redan i dag.
 För det mesta läker sjukdomen snabbt.
 För många är det viktigare att vara väl förberedd än att påbörja en behandling alltför snabbt, innan man har hunnit tänka igenom alla beslut.
@@ -32,6 +34,8 @@ Här hemma har han drivit ett städbolag tillsammans med en änka.
 I allmänhet tjänar de disputerade bättre utanför akademin, men detta gäller inte för alla områden.
 I analysen av de två fallbeskrivningarna framgår att aggressiv musik har fungerat som en copingmetod genom att hjälpa informanterna att hantera den ovan nämnda rollkonflikten.
 I nutida systematik räknas inte protozoer till djurriket utan förs till gruppen protister.
+I oktober hade andelen ökat till 31 procent.
+Jag minns att jag läste en artikel om en rockgrupp som sålde jättemånga skivor och hade jättemånga beundrare.
 Liknande förhållanden har naturligtvis funnits även längre tillbaka i tiden.
 Lägre organismer med hög reproduktion, kort generationstid och brutal selektion har bättre möjligheter att anpassa sig snabbt.
 Man bör undvika för söta drycker, eftersom alltför mycket socker kan ge mer diarré.
@@ -47,10 +51,13 @@ Pysselbok för flyktingbarn gör succé.
 Sitt frieri till henne ägnar han dock mest åt att deklarera att han älskar henne trots allt vad förnuftet säger och att beklaga sig över hur hopplös hennes familj är.
 Sjukdomen behöver sällan behandlas med antibiotika.
 Skälet är att ett äktenskap skulle vara alltför ekonomiskt riskfyllt i nuläget, vilket är, kanske inte invändningsfritt, men en rimlig synpunkt.
+Sommaren är slut och vi går över till vintertid (normaltid) natten mellan lördag och söndag.
 Språkhandlingskategorierna är framför allt pragmatiska kategorier, och som sådana kan de inte uttömmande beskrivas utan hänvisning till den diskursiva praktiken.
+Stockholms stadslandskap och stadsbild som vi uppfattar dem idag har formats under många hundratals år.
 Stora teleskop är bra även för att de samlar in mer ljus än små.
 Stora variationer kan dessutom förekomma mellan olika discipliner.
-Så er vi officielt gået på vintertid!
+Tack vare de eroderande krafterna samlar en vanlig flod upp flera miljoner ton sediment på sin väg.
+Tumören har vuxit och blivit flera centimeter stor.
 Två personer låg och sov där, men ingen av dem skadades.
 Vanligen används ved eller elektricitet.
 Vid olympiska sommarspelen 1972 i München slog terrorister till.

reference_materials/reference/test/sv_test.raw

@@ -211,6 +211,13 @@ C
2
fredlig kamp
 R
med
 C
2
naturens krafter
 P
alfred nobel var mycket begåvad hade stor arbetsförmåga och fast tro på mänsklighetens utveckling genom fredlig kamp med naturens krafter
+S
 <Alla andra> som var med på bokturnén säljer jättemånga böcker.
+PR<alla andra>
+R
som var med på
+C
1
bokturnén
+R
säljer
+C
2
jättemånga böcker
+P
alla andra som var med på bokturnén säljer jättemånga böcker
 S
 <Alla> har <vi> nog fått lära <oss> att <vi> ska tänka positivt för att prestera bättre, även i situationer som inbjuder till allt annat än glada tankar och känslor.
 <attr type="negation" literal="allt annat än glada tankar" token="allt annat än">
 PR<alla>
@@ -3606,6 +3613,11 @@ C
1
tjocktarmen
 R
och tas upp
 PR<där>
 P
en till två liter går över i tjocktarmen och tas upp där
+S
En tiokronorssedel värderades till tolv jetonger.
+C
1
tiokronorssedel
+R
värderades till
+C
2
tolv jetonger
+P
tiokronorssedel värderades till tolv jetonger
 S
En vecka efter operationen flyttades patienten till ett närliggande mindre sjukhus för fortsatt rehabilitering.
 C
1
vecka
 R
efter
@@ -6267,6 +6279,20 @@ R
vad som har hänt säger
 C
2
polisens presstalesperson
 P
jag kan inte gå in på några detaljer om vad som har hänt säger polisens presstalesperson
 <attr type="negation" span="jag kan inte gå in på några detaljer om">
+S
 <Jag> minns att <jag> läste en artikel om en rockgrupp som sålde jättemånga skivor och hade jättemånga beundrare.
+PR<jag>
+R
minns
+R
att
+PR<jag>
+R
läste
+C
1
artikel
+R
om
+C
1
rockgrupp
+R
som sålde
+C
2
jättemånga skivor
+R
och hade
+C
2
jättemånga beundrare
+P
jag minns att jag läste artikel om rockgrupp som sålde jättemånga skivor och hade jättemånga beundrare
 S
 <Jag> skrev tidigare i veckan att <den> kunde bli rörigare än rörig.
 <attr type="time" literal="tidigare i veckan" token="tidigare i veckan">
 PR<jag>
@@ -9568,6 +9594,28 @@ R
inte kan påverkas av
 C
1
mottagaren
 P
som sändningar av radioprogram anses tillhandahållande till allmänheten på särskild begäran av direktsända eller inspelade program om starttidpunkten och innehållet inte kan påverkas av mottagaren
 <attr type="negation" span="om starttidpunkten och innehållet inte kan påverkas av mottagaren">
+S
Sommaren är slut och <vi> går över till vintertid (normaltid) natten mellan lördag och söndag.
+<attr type="time" literal="vintertid" token="vintertid">
+<attr type="time" literal="natten" token="natten">
+<attr type="time" literal="lördag" token="lördag">
+<attr type="time" literal="söndag." token="söndag.">
+C
1
sommaren
+R
är
+C
1
slut
+R
och
+PR<vi>
+R
går över
+R
till
+C
1
vintertid
+C
1
normaltid
+C
1
natten
+R
mellan
+C
1
lördag
+R
och
+C
1
söndag
+P
sommaren är slut och vi går över till vintertid normaltid natten mellan lördag och söndag
+<attr type="time" span="till vintertid">
+<attr type="time" span="natten mellan lördag och söndag">
 S
Speltid: 1 timme 2 minuter.
 <attr type="time" literal="1 timme 2 minuter." token="1 timme 2 minuter.">
 C
1
speltid
@@ -9921,15 +9969,6 @@ R
åtskilda av
 C
1
kommatecken
 P
så är det inte eftersom andra grafiska meningen består av fyra syntaktiska meningar makrosyntagmer i fall åtskilda av kommatecken
 <attr type="negation" span="så är det inte">
-S
Så <er> <vi> officielt gået på vintertid!
-<attr type="time" literal="vintertid!" token="vintertid!">
-PR<er>
-PR<vi>
-C
2
officielt gået
-R
på
-C
1
vintertid
-P
er vi officielt gået på vintertid
-<attr type="time" span="på vintertid">
 S
Sådana upptäckter motiverade spektrallinjeavsökningar.
 C
1
upptäckter
 R
motiverade

reference_materials/reference/udct_test/sv_udct_test.raw

@@ -22,6 +22,14 @@ R
med
 C
2
naturens krafter
 P
alfred nobel var mycket begåvad hade stor arbetsförmåga och fast tro på mänsklighetens utveckling genom fredlig kamp med naturens krafter
 <attr type="PositiveSentiment" span="stor arbetsförmåga">
+S
 <Alla andra> som var med på bokturnén säljer jättemånga böcker.
+<attr type="measurement" literal="jättemånga böcker." token="jättemånga böcker." value="jättemånga" unit="böcker">
+PR<alla andra>
+R
som var med på
+C
1
bokturnén
+R
säljer
+C
2
jättemånga böcker
+P
alla andra som var med på bokturnén säljer jättemånga böcker
 S
Alla julförberedelser skulle vara klara till luciadagen och <det> firade <man> med att äta och dricka lite extra.
 C
2
alla julförberedelser
 R
skulle vara
@@ -271,6 +279,12 @@ S
En patient hade försämrats märkbart på grund av progredierande hematom.
 R
hade försämrats märkbart på grund av
 C
2
progredierande hematom
 P
hade försämrats märkbart på grund av progredierande hematom
+S
En tiokronorssedel värderades till tolv jetonger.
+<attr type="measurement" literal="tolv jetonger." token="tolv jetonger." value="tolv" unit="jetonger">
+C
1
tiokronorssedel
+R
värderades till
+C
2
tolv jetonger
+P
tiokronorssedel värderades till tolv jetonger
 S
Frågan är om dessa nya diagnostiska kriterier kan vara till hjälp i <vår> dagliga praktiska verksamhet redan i dag.
 <attr type="time" literal="redan i dag." token="redan i dag.">
 C
1
frågan
@@ -426,6 +440,32 @@ R
utan förs till
 C
2
gruppen protister
 P
i nutida systematik räknas inte protozoer till djurriket utan förs till gruppen protister
 <attr type="negation" span="i nutida systematik räknas inte protozoer till djurriket">
+S
I oktober hade andelen ökat till 31 procent.
+<attr type="time" literal="oktober" token="oktober">
+R
i
+C
1
oktober
+R
hade
+C
1
andelen
+R
ökat till
+C
2
31 procent
+P
i oktober hade andelen ökat till 31 procent
+<attr type="time" span="i oktober">
+S
 <Jag> minns att <jag> läste en artikel om en rockgrupp som sålde jättemånga skivor och hade jättemånga beundrare.
+<attr type="measurement" literal="jättemånga skivor" token="jättemånga" value="jättemånga">
+<attr type="measurement" literal="jättemånga beundrare." token="jättemånga" value="jättemånga">
+PR<jag>
+R
minns
+R
att
+PR<jag>
+R
läste
+C
1
artikel
+R
om
+C
1
rockgrupp
+R
som sålde
+C
2
jättemånga skivor
+R
och hade
+C
2
jättemånga beundrare
+P
jag minns att jag läste artikel om rockgrupp som sålde jättemånga skivor och hade jättemånga beundrare
 S
Liknande förhållanden har naturligtvis funnits även längre tillbaka i tiden.
 <attr type="time" literal="tiden." token="tiden.">
 C
2
liknande förhållanden
@@ -674,6 +714,28 @@ C
2
rimlig synpunkt
 P
skälet är att äktenskap skulle vara alltför ekonomiskt riskfyllt i nuläget vilket är kanske inte invändningsfritt men rimlig synpunkt
 <attr type="negation" span="vilket är kanske inte invändningsfritt">
 <attr type="NegativeSentiment" span="alltför ekonomiskt riskfyllt i nuläget">
+S
Sommaren är slut och <vi> går över till vintertid (normaltid) natten mellan lördag och söndag.
+<attr type="positivesentiment" literal="vi" token="vi">
+<attr type="time" literal="natten" token="natten">
+<attr type="time" literal="lördag" token="lördag">
+<attr type="time" literal="söndag." token="söndag.">
+C
1
sommaren
+R
är
+C
1
slut
+R
och
+PR<vi>
+R
går över
+R
till
+C
1
vintertid
+C
1
normaltid
+C
1
natten
+R
mellan
+C
1
lördag
+R
och
+C
1
söndag
+P
sommaren är slut och vi går över till vintertid normaltid natten mellan lördag och söndag
+<attr type="time" span="natten mellan lördag och söndag">
+<attr type="PositiveSentiment" span="och vi går över till vintertid normaltid natten mellan lördag och söndag">
 S
Språkhandlingskategorierna är framför allt pragmatiska kategorier, och som <sådana> kan <de> inte uttömmande beskrivas utan hänvisning till den diskursiva praktiken.
 <attr type="negation" literal="inte uttömmande" token="inte">
 <attr type="negation" literal="utan" token="utan">
@@ -692,6 +754,23 @@ R
till
 C
2
diskursiva praktiken
 P
språkhandlingskategorierna är pragmatiska kategorier och som sådana kan de inte uttömmande beskrivas utan hänvisning till diskursiva praktiken
 <attr type="negation" span="och som sådana kan de inte uttömmande beskrivas utan hänvisning till diskursiva praktiken">
+S
Stockholms stadslandskap och stadsbild som <vi> uppfattar <dem> idag har formats under många hundratals år.
+<attr type="positivesentiment" literal="vi" token="vi">
+<attr type="time" literal="idag" token="idag">
+C
2
stockholms stadslandskap
+R
och
+C
1
stadsbild
+R
som
+PR<vi>
+R
uppfattar
+PR<dem>
+C
1
idag
+R
har
+C
1
formats
+R
under
+C
3
många hundratals år
+P
stockholms stadslandskap och stadsbild som vi uppfattar dem idag har formats under många hundratals år
+<attr type="PositiveSentiment" span="som vi uppfattar dem idag">
 S
Stora teleskop är bra även för att <de> samlar in mer ljus än små.
 <attr type="positivesentiment" literal="Stora teleskop" token="Stora">
 <attr type="positivesentiment" literal="bra" token="bra">
@@ -713,15 +792,25 @@ R
kan dessutom förekomma mellan
 C
2
olika discipliner
 P
stora variationer kan dessutom förekomma mellan olika discipliner
 <attr type="PositiveSentiment" span="stora variationer">
-S
Så <er> <vi> officielt gået på vintertid!
-<attr type="positivesentiment" literal="vi" token="vi">
-PR<er>
-PR<vi>
-C
2
officielt gået
+S
Tack vare <de> eroderande krafterna samlar en vanlig flod upp flera miljoner ton sediment på <sin> väg.
+R
tack vare
+PR<de>
+C
2
eroderande krafterna
+R
samlar
+C
2
vanlig flod
+R
upp
+C
4
flera miljoner ton sediment
 R
på
-C
1
vintertid
-P
er vi officielt gået på vintertid
-<attr type="PositiveSentiment" span="vi officielt gået på vintertid">
+PR<sin>
+C
1
väg
+P
tack vare de eroderande krafterna samlar vanlig flod upp flera miljoner ton sediment på sin väg
+S
Tumören har vuxit och blivit flera centimeter stor.
+<attr type="positivesentiment" literal="flera centimeter stor." token="stor.">
+C
1
tumören
+R
har vuxit och blivit
+C
3
flera centimeter stor
+P
tumören har vuxit och blivit flera centimeter stor
+<attr type="PositiveSentiment" span="flera centimeter stor">
 S
Två personer låg och sov <där,> men <ingen av dem> skadades.
 <attr type="negation" literal="ingen av dem" token="ingen av dem">
 C
2
två personer

reference_materials/udct_test_dictionaries/sv_udct.txt

@@ -48,3 +48,12 @@ Behandlingstid,\end
 @vintertid,UDIgnoreTime
 @längre,UDIgnoreTime
 
+@jättemånga,UDNumber
+@böcker,UDUnit
+@jetonger,UDUnit
+
+@5g,UDIgnoreUnit
+@hundratal,UDIgnoreNumber
+@hundratals,UDIgnoreNumber
+@flera,UDIgnoreNumber
+@procent,UDIgnoreUnit