Merge pull request #151 from InseeFr/devBPM

Use BPM to parse metadatas

.github/workflows/maven.yml

@@ -28,8 +28,20 @@ jobs:
         java-version: '21'
         distribution: 'temurin'
         cache: maven
+
+    - name: Clone BPM
+      uses: actions/checkout@master
+      with:
+        repository: InseeFr/BPM
+        path: bpm
+
+    - name: Build BPM
+      run: |
+        cd bpm
+        mvn clean install
+        cd ..
       
-    - name: Build with Maven
+    - name: Build Kraftwerk with Maven
       run: mvn -B clean package --file pom.xml
 
     # Optional: Uploads the full dependency graph to GitHub to improve the quality of Dependabot alerts this repository can receive

.gitignore

@@ -8,8 +8,6 @@ local_files/logs/*
 
 # Config
 src/main/resources/application-*.properties
-!src/main/resources/application-local.properties
-src/main/resources/kraftwerk.properties
 
 # Compiled files
 target/

kraftwerk-api/.gitignore

@@ -0,0 +1,2 @@
+# Config
+src/main/resources/kraftwerk.properties

kraftwerk-api/src/main/java/fr/insee/kraftwerk/api/process/MainProcessing.java

@@ -4,7 +4,6 @@
 import fr.insee.kraftwerk.core.exceptions.KraftwerkException;
 import fr.insee.kraftwerk.core.inputs.ModeInputs;
 import fr.insee.kraftwerk.core.inputs.UserInputsFile;
-import fr.insee.kraftwerk.core.metadata.MetadataModel;
 import fr.insee.kraftwerk.core.metadata.MetadataUtils;
 import fr.insee.kraftwerk.core.sequence.BuildBindingsSequence;
 import fr.insee.kraftwerk.core.sequence.ControlInputSequence;
@@ -17,6 +16,9 @@
 import fr.insee.kraftwerk.core.utils.files.FileUtilsInterface;
 import fr.insee.kraftwerk.core.utils.log.KraftwerkExecutionLog;
 import fr.insee.kraftwerk.core.vtl.VtlBindings;
+
+import fr.insee.bpm.metadata.model.MetadataModel;
+
 import lombok.Getter;
 import lombok.extern.log4j.Log4j2;
 

kraftwerk-api/src/main/java/fr/insee/kraftwerk/api/process/MainProcessingGenesis.java

@@ -1,13 +1,15 @@
 package fr.insee.kraftwerk.api.process;
 
+import fr.insee.bpm.exceptions.MetadataParserException;
+import fr.insee.bpm.metadata.model.MetadataModel;
+
 import fr.insee.kraftwerk.api.client.GenesisClient;
 import fr.insee.kraftwerk.api.configuration.ConfigProperties;
 import fr.insee.kraftwerk.core.KraftwerkError;
 import fr.insee.kraftwerk.core.data.model.SurveyUnitId;
 import fr.insee.kraftwerk.core.data.model.SurveyUnitUpdateLatest;
 import fr.insee.kraftwerk.core.exceptions.KraftwerkException;
 import fr.insee.kraftwerk.core.inputs.UserInputsGenesis;
-import fr.insee.kraftwerk.core.metadata.MetadataModel;
 import fr.insee.kraftwerk.core.metadata.MetadataUtilsGenesis;
 import fr.insee.kraftwerk.core.sequence.BuildBindingsSequenceGenesis;
 import fr.insee.kraftwerk.core.sequence.ControlInputSequenceGenesis;
@@ -74,8 +76,12 @@ public void init(String idCampaign) throws KraftwerkException {
 		//We build userInputs for the given questionnaire
 		userInputs = new UserInputsGenesis(controlInputSequenceGenesis.isHasConfigFile(), inDirectory, client.getModes(idCampaign), fileUtilsInterface);
 		if (!userInputs.getModes().isEmpty()) {
-			metadataModels = MetadataUtilsGenesis.getMetadata(userInputs.getModeInputsMap(), fileUtilsInterface);
-		} else {
+            try {
+                metadataModels = MetadataUtilsGenesis.getMetadata(userInputs.getModeInputsMap(), fileUtilsInterface);
+            } catch (MetadataParserException e) {
+                throw new KraftwerkException(500, e.getMessage());
+            }
+        } else {
 			log.error("No source found for campaign " + idCampaign);
 		}
 	}

kraftwerk-api/src/main/java/fr/insee/kraftwerk/api/services/MainService.java

@@ -1,12 +1,12 @@
 package fr.insee.kraftwerk.api.services;
 
 
+import fr.insee.bpm.exceptions.MetadataParserException;
 import fr.insee.kraftwerk.api.configuration.ConfigProperties;
 import fr.insee.kraftwerk.api.configuration.MinioConfig;
 import fr.insee.kraftwerk.api.process.MainProcessing;
 import fr.insee.kraftwerk.api.process.MainProcessingGenesis;
 import fr.insee.kraftwerk.core.exceptions.KraftwerkException;
-import fr.insee.kraftwerk.core.sequence.ControlInputSequenceGenesis;
 import fr.insee.kraftwerk.core.utils.files.FileSystemImpl;
 import fr.insee.kraftwerk.core.utils.files.FileUtilsInterface;
 import fr.insee.kraftwerk.core.utils.files.MinioImpl;

kraftwerk-api/src/main/java/fr/insee/kraftwerk/api/services/StepByStepService.java

@@ -1,12 +1,12 @@
 package fr.insee.kraftwerk.api.services;
 
+import fr.insee.bpm.metadata.model.MetadataModel;
 import fr.insee.kraftwerk.api.configuration.MinioConfig;
 import fr.insee.kraftwerk.api.process.MainProcessing;
 import fr.insee.kraftwerk.core.KraftwerkError;
 import fr.insee.kraftwerk.core.dataprocessing.StepEnum;
 import fr.insee.kraftwerk.core.exceptions.KraftwerkException;
 import fr.insee.kraftwerk.core.inputs.UserInputsFile;
-import fr.insee.kraftwerk.core.metadata.MetadataModel;
 import fr.insee.kraftwerk.core.metadata.MetadataUtils;
 import fr.insee.kraftwerk.core.sequence.*;
 import fr.insee.kraftwerk.core.utils.files.FileSystemImpl;

kraftwerk-core/pom.xml

@@ -112,5 +112,12 @@
 			<artifactId>duckdb_jdbc</artifactId>
 			<version>${duckdb.version}</version>
 		</dependency>
+
+		<!-- Metadatas -->
+		<dependency>
+			<groupId>fr.insee.bpm</groupId>
+			<artifactId>bpm</artifactId>
+			<version>1.0.0</version>
+		</dependency>
 	</dependencies>
 </project>

kraftwerk-core/src/main/java/fr/insee/kraftwerk/core/dataprocessing/CalculatedProcessing.java

@@ -1,7 +1,8 @@
 package fr.insee.kraftwerk.core.dataprocessing;
 
+import fr.insee.bpm.metadata.model.CalculatedVariables;
+
 import fr.insee.kraftwerk.core.KraftwerkError;
-import fr.insee.kraftwerk.core.metadata.CalculatedVariables;
 import fr.insee.kraftwerk.core.utils.files.FileUtilsInterface;
 import fr.insee.kraftwerk.core.vtl.VtlBindings;
 import fr.insee.kraftwerk.core.vtl.VtlScript;

kraftwerk-core/src/main/java/fr/insee/kraftwerk/core/dataprocessing/CleanUpProcessing.java

@@ -1,9 +1,9 @@
 package fr.insee.kraftwerk.core.dataprocessing;
 
+import fr.insee.bpm.metadata.model.MetadataModel;
+import fr.insee.bpm.metadata.model.PaperUcq;
+import fr.insee.bpm.metadata.model.VariablesMap;
 import fr.insee.kraftwerk.core.KraftwerkError;
-import fr.insee.kraftwerk.core.metadata.MetadataModel;
-import fr.insee.kraftwerk.core.metadata.PaperUcq;
-import fr.insee.kraftwerk.core.metadata.VariablesMap;
 import fr.insee.kraftwerk.core.utils.files.FileUtilsInterface;
 import fr.insee.kraftwerk.core.vtl.VtlBindings;
 import fr.insee.kraftwerk.core.vtl.VtlScript;

kraftwerk-core/src/main/java/fr/insee/kraftwerk/core/dataprocessing/DataProcessingManager.java

@@ -1,6 +1,7 @@
 package fr.insee.kraftwerk.core.dataprocessing;
 
-import fr.insee.kraftwerk.core.metadata.MetadataModel;
+import fr.insee.bpm.metadata.model.MetadataModel;
+
 import fr.insee.kraftwerk.core.parsers.DataFormat;
 import fr.insee.kraftwerk.core.utils.files.FileUtilsInterface;
 import fr.insee.kraftwerk.core.vtl.VtlBindings;

kraftwerk-core/src/main/java/fr/insee/kraftwerk/core/dataprocessing/GroupProcessing.java

@@ -1,7 +1,8 @@
 package fr.insee.kraftwerk.core.dataprocessing;
 
-import fr.insee.kraftwerk.core.metadata.MetadataModel;
-import fr.insee.kraftwerk.core.metadata.VariablesMap;
+import fr.insee.bpm.metadata.model.MetadataModel;
+
+import fr.insee.bpm.metadata.model.VariablesMap;
 import fr.insee.kraftwerk.core.utils.files.FileUtilsInterface;
 import fr.insee.kraftwerk.core.vtl.VtlBindings;
 import fr.insee.kraftwerk.core.vtl.VtlScript;

kraftwerk-core/src/main/java/fr/insee/kraftwerk/core/dataprocessing/InformationLevelsProcessing.java

@@ -1,7 +1,7 @@
 package fr.insee.kraftwerk.core.dataprocessing;
 
+import fr.insee.bpm.metadata.model.MetadataModel;
 import fr.insee.kraftwerk.core.Constants;
-import fr.insee.kraftwerk.core.metadata.MetadataModel;
 import fr.insee.kraftwerk.core.utils.files.FileUtilsInterface;
 import fr.insee.kraftwerk.core.vtl.VtlBindings;
 import fr.insee.kraftwerk.core.vtl.VtlMacros;

kraftwerk-core/src/main/java/fr/insee/kraftwerk/core/dataprocessing/LunaticDataProcessing.java

@@ -1,6 +1,7 @@
 package fr.insee.kraftwerk.core.dataprocessing;
 
-import fr.insee.kraftwerk.core.metadata.MetadataModel;
+
+import fr.insee.bpm.metadata.model.MetadataModel;
 import fr.insee.kraftwerk.core.utils.files.FileUtilsInterface;
 import fr.insee.kraftwerk.core.vtl.VtlBindings;
 import fr.insee.kraftwerk.core.vtl.VtlScript;

kraftwerk-core/src/main/java/fr/insee/kraftwerk/core/dataprocessing/PaperDataProcessing.java

@@ -1,8 +1,8 @@
 package fr.insee.kraftwerk.core.dataprocessing;
 
-import fr.insee.kraftwerk.core.metadata.MetadataModel;
-import fr.insee.kraftwerk.core.metadata.UcqModality;
-import fr.insee.kraftwerk.core.metadata.UcqVariable;
+import fr.insee.bpm.metadata.model.MetadataModel;
+import fr.insee.bpm.metadata.model.UcqModality;
+import fr.insee.bpm.metadata.model.UcqVariable;
 import fr.insee.kraftwerk.core.utils.files.FileUtilsInterface;
 import fr.insee.kraftwerk.core.vtl.VtlBindings;
 import fr.insee.kraftwerk.core.vtl.VtlScript;

kraftwerk-core/src/main/java/fr/insee/kraftwerk/core/dataprocessing/TCMSequencesProcessing.java

@@ -1,7 +1,7 @@
 package fr.insee.kraftwerk.core.dataprocessing;
 
 import fr.insee.kraftwerk.core.KraftwerkError;
-import fr.insee.kraftwerk.core.metadata.MetadataModel;
+import fr.insee.bpm.metadata.model.MetadataModel;
 import fr.insee.kraftwerk.core.utils.TextFileReader;
 import fr.insee.kraftwerk.core.utils.files.FileUtilsInterface;
 import fr.insee.kraftwerk.core.vtl.VtlBindings;

kraftwerk-core/src/main/java/fr/insee/kraftwerk/core/dataprocessing/UnimodalDataProcessing.java

@@ -1,6 +1,6 @@
 package fr.insee.kraftwerk.core.dataprocessing;
 
-import fr.insee.kraftwerk.core.metadata.MetadataModel;
+import fr.insee.bpm.metadata.model.MetadataModel;
 import fr.insee.kraftwerk.core.utils.files.FileUtilsInterface;
 import fr.insee.kraftwerk.core.vtl.VtlBindings;
 import fr.insee.kraftwerk.core.vtl.VtlScript;

kraftwerk-core/src/main/java/fr/insee/kraftwerk/core/dataprocessing/XformsDataProcessing.java

@@ -1,6 +1,6 @@
 package fr.insee.kraftwerk.core.dataprocessing;
 
-import fr.insee.kraftwerk.core.metadata.MetadataModel;
+import fr.insee.bpm.metadata.model.MetadataModel;
 import fr.insee.kraftwerk.core.utils.files.FileUtilsInterface;
 import fr.insee.kraftwerk.core.vtl.VtlBindings;
 import fr.insee.kraftwerk.core.vtl.VtlScript;

kraftwerk-core/src/main/java/fr/insee/kraftwerk/core/extradata/paradata/ParadataParser.java

@@ -2,23 +2,21 @@
 
 import fr.insee.kraftwerk.core.Constants;
 import fr.insee.kraftwerk.core.exceptions.NullException;
-import fr.insee.kraftwerk.core.metadata.Group;
-import fr.insee.kraftwerk.core.metadata.Variable;
-import fr.insee.kraftwerk.core.metadata.VariableType;
-import fr.insee.kraftwerk.core.metadata.VariablesMap;
+import fr.insee.bpm.metadata.model.Group;
+import fr.insee.bpm.metadata.model.Variable;
+import fr.insee.bpm.metadata.model.VariableType;
+import fr.insee.bpm.metadata.model.VariablesMap;
 import fr.insee.kraftwerk.core.rawdata.QuestionnaireData;
 import fr.insee.kraftwerk.core.rawdata.SurveyRawData;
 import fr.insee.kraftwerk.core.utils.files.FileUtilsInterface;
 import lombok.extern.log4j.Log4j2;
 import org.json.simple.JSONArray;
 import org.json.simple.JSONObject;
 
-import java.nio.file.Files;
 import java.nio.file.Path;
 import java.time.Instant;
 import java.time.LocalDateTime;
 import java.util.*;
-import java.util.stream.Stream;
 
 @Log4j2
 public class ParadataParser {

kraftwerk-core/src/main/java/fr/insee/kraftwerk/core/extradata/reportingdata/ReportingDataParser.java

@@ -2,9 +2,9 @@
 
 
 import fr.insee.kraftwerk.core.Constants;
-import fr.insee.kraftwerk.core.metadata.Group;
-import fr.insee.kraftwerk.core.metadata.Variable;
-import fr.insee.kraftwerk.core.metadata.VariableType;
+import fr.insee.bpm.metadata.model.Group;
+import fr.insee.bpm.metadata.model.Variable;
+import fr.insee.bpm.metadata.model.VariableType;
 import fr.insee.kraftwerk.core.rawdata.QuestionnaireData;
 import fr.insee.kraftwerk.core.rawdata.SurveyRawData;
 import fr.insee.kraftwerk.core.utils.DateUtils;