Загрузка расширений в конфигурацию для прогона тестов.

README.md

@@ -66,7 +66,7 @@ pipeline1C()
 
 ## Внешний вид пайплайна в интерфейсе Blue Ocean
 
-![image](https://user-images.githubusercontent.com/1132840/140793320-d0856afe-0864-4f0e-8964-6a9d6d5822b4.png)
+![image](https://github.com/firstBitMarksistskaya/jenkins-lib/assets/80944823/e34a0112-2fe5-4116-92ac-8fcca08bba43)
 
 ## Конфигурирование
 
@@ -165,3 +165,37 @@ pipeline1C()
     * Прямые получатели уведомлений не заполнены (`notifications` -> `email` -> `*options` -> `directRecipients`).
   * Telegram:
     * Уведомления о результатах сборки по умолчанию рассылаются всегда (`notifications` -> `telegram` -> `onAlways`, `onFailure`, `onUnstable`, `onSuccess`).
+
+## Конфигурирование загрузки расширений
+
+Если у вас есть расширения которые необходимо загрузить в базу для проведения тестов и проверок, это можно сделать на этапе подготовки базы.
+* При загрузке из исходников расширения должны быть в том же формате(edt или конфигуратора) что и основная конфигурация.
+* Для загрузки расширений необходимо описать каждое из них в массиве (`initInfobase` -> `extensions`)
+
+Для загрузки расширений в информационную базу необходимо выполнить следующие шаги:
+
+1. Укажите имя расширения(`extensions` -> `name`).
+1. Определите метод загрузки для каждого расширения(`extensions` -> `initMethod`). Поддерживаются два метода загрузки:
+  - `fromSource` - загрузка из исходников;
+  - `fromFile` - загрузка cfe-файла.
+1. Укажите путь до расширения или URL для скачивания cfe-файла(`extensions` -> `path`).
+  - В случае загрузки из исходников - необходимо указать путь к исходникам расширения
+  - В случае загрузки cfe - Укажите путь по которому будет скачан cfe. На данный момент можно указывать как локальный путь, так и url для скачивания cfe(Прим.: https://github.com/bia-technologies/yaxunit/releases/download/23.05/YAXUNIT-23.05.cfe)
+
+Пример конфигурации для загрузки расширений:
+```json
+"initInfobase": {
+    "extensions": [
+        {
+            "name": "ИмяРасширения1",
+            "initMethod": "fromSource",
+            "path": "путь/до/исходников/расширения"
+        },
+        {
+            "name": "ИмяРасширения2",
+            "initMethod": "fromFile",
+            "path": "https://example.com/path/to/extension.cfe"
+        }
+    ]
+}
+```

build.gradle.kts

@@ -52,7 +52,7 @@ dependencies {
 
     testImplementation("org.slf4j", "slf4j-api", slf4jVersion)
     testImplementation("org.slf4j", "slf4j-simple", slf4jVersion)
-
+    
     // integration-tests
     integrationTestImplementation("org.spockframework", "spock-core", spockVersion)
     integrationTestImplementation("org.codehaus.groovy", "groovy-all", groovyVersion)

resources/globalConfiguration.json

@@ -24,11 +24,13 @@
   "timeout": {
     "smoke": 240,
     "bdd": 120,
+    "getBinaries": 60,
     "createInfoBase": 60,
     "designerToEdtFormatTransformation": 60,
     "edtToDesignerFormatTransformation": 60,
     "edtValidate": 240,
     "initInfoBase": 60,
+    "loadExtensions": 60,
     "resultTransformation": 10,
     "sonarqube": 90,
     "syntaxCheck": 240,
@@ -37,7 +39,8 @@
   "initInfobase": {
     "initMethod": "fromStorage",
     "runMigration": true,
-    "additionalInitializationSteps": []
+    "additionalInitializationSteps": [],
+    "extensions": []
   },
   "bdd": {
     "vrunnerSteps": [

src/ru/pulsar/jenkins/library/configuration/ConfigurationReader.groovy

@@ -61,6 +61,7 @@ class ConfigurationReader implements Serializable {
             "stageFlags",
             "timeoutOptions",
             "initInfoBaseOptions",
+            "extensions",
             "bddOptions",
             "sonarQubeOptions",
             "smokeTestOptions",
@@ -113,12 +114,30 @@ class ConfigurationReader implements Serializable {
 
     @NonCPS
     private static void mergeInitInfoBaseOptions(InitInfoBaseOptions baseObject, InitInfoBaseOptions objectToMerge) {
-        if (objectToMerge == null || objectToMerge.additionalInitializationSteps == null) {
+        if (objectToMerge == null) {
+            return
+        }
+        mergeInitInfoBaseAdditionalInitializationSteps(baseObject, objectToMerge)
+        mergeInitInfoBaseExtensions(baseObject, objectToMerge)
+    }
+
+    @NonCPS
+    private static void mergeInitInfoBaseAdditionalInitializationSteps(InitInfoBaseOptions baseObject, InitInfoBaseOptions objectToMerge) {
+        if (objectToMerge.additionalInitializationSteps == null) {
             return
         }
         baseObject.additionalInitializationSteps = objectToMerge.additionalInitializationSteps.clone()
     }
 
+
+    @NonCPS
+    private static void mergeInitInfoBaseExtensions(InitInfoBaseOptions baseObject, InitInfoBaseOptions objectToMerge) {
+        if (objectToMerge.extensions == null) {
+            return
+        }
+        baseObject.extensions = objectToMerge.extensions.clone()
+    }
+
     @NonCPS
     private static void mergeBddOptions(BddOptions baseObject, BddOptions objectToMerge) {
         if (objectToMerge == null || objectToMerge.vrunnerSteps == null) {

src/ru/pulsar/jenkins/library/configuration/InitExtensionMethod.groovy

@@ -0,0 +1,12 @@
+package ru.pulsar.jenkins.library.configuration
+
+import com.fasterxml.jackson.annotation.JsonProperty
+
+enum InitExtensionMethod {
+    @JsonProperty("fromSource")
+    SOURCE,
+
+    @JsonProperty("fromFile")
+    FILE
+
+}

src/ru/pulsar/jenkins/library/configuration/InitInfoBaseOptions.groovy

@@ -25,13 +25,38 @@ class InitInfoBaseOptions implements Serializable {
     """)
     String[] additionalInitializationSteps
 
+    @JsonPropertyDescription("Массив расширений для загрузки в конфигурацию.")
+    Extension[] extensions;
+
+    @JsonIgnoreProperties(ignoreUnknown = true)
+    static class Extension implements Serializable {
+        @JsonPropertyDescription("Имя расширения, используемое при его загрузке в конфигурацию.")
+        String name = "extension";
+
+        @JsonPropertyDescription("""
+        Способ инициализации расширения.
+        Поддерживается два варианта:
+            * fromSource - инициализация расширения из исходников;
+            * fromFile - скачивание скомпилированного cfe по ссылке.
+        """)
+        InitExtensionMethod initMethod = InitExtensionMethod.SOURCE;
+
+        @JsonPropertyDescription("""
+        Хранит в себе путь к расширению.
+            * В случае если выбран initMethod <fromSource> - указывается путь к исходникам расширения.
+            * В случае если выбран initMethod <fromFile> - указывается путь к cfe-файлу
+        """)
+        String path = "src/cfe/extension";
+    }
+
     @Override
     @NonCPS
     String toString() {
         return "InitInfoBaseOptions{" +
             "initMethod=" + initMethod +
             ", runMigration=" + runMigration +
             ", additionalInitializationSteps=" + additionalInitializationSteps +
+            ", extensions=" + extensions +
             '}';
     }
 }

src/ru/pulsar/jenkins/library/configuration/JobConfiguration.groovy

@@ -100,6 +100,10 @@ class JobConfiguration implements Serializable {
             (initMethod == InitInfoBaseMethod.DEFAULT_BRANCH_FROM_STORAGE && branchName != defaultBranch)
     }
 
+    boolean needLoadExtensions() {
+        return initInfoBaseOptions.extensions.length != 0
+    }
+
     String v8AgentLabel() {
         return v8version
     }

src/ru/pulsar/jenkins/library/configuration/TimeoutOptions.groovy

@@ -11,6 +11,11 @@ class TimeoutOptions implements Serializable {
     ''')
     Integer edtToDesignerFormatTransformation
 
+    @JsonPropertyDescription('''Таймаут шага получения бинарников, в минутах.
+    По умолчанию содержит значение 60.
+    ''')
+    Integer getBinaries
+
     @JsonPropertyDescription('''Таймаут шага создания информационной базы, в минутах.
     По умолчанию содержит значение 60.
     ''')
@@ -21,6 +26,11 @@ class TimeoutOptions implements Serializable {
     ''')
     Integer initInfoBase
 
+    @JsonPropertyDescription('''Таймаут шага загрузки расширений в базу, в минутах.
+    По умолчанию содержит значение 60.
+    ''')
+    Integer loadExtensions
+
     @JsonPropertyDescription('''Таймаут шага архивирования информационной базы, в минутах.
     По умолчанию содержит значение 60.
     ''')

src/ru/pulsar/jenkins/library/steps/EdtToDesignerFormatTransformation.groovy

@@ -4,6 +4,7 @@ package ru.pulsar.jenkins.library.steps
 import ru.pulsar.jenkins.library.IStepExecutor
 import ru.pulsar.jenkins.library.configuration.JobConfiguration
 import ru.pulsar.jenkins.library.configuration.SourceFormat
+import ru.pulsar.jenkins.library.configuration.InitExtensionMethod
 import ru.pulsar.jenkins.library.ioc.ContextRegistry
 import ru.pulsar.jenkins.library.utils.Constants
 import ru.pulsar.jenkins.library.utils.EDT
@@ -16,6 +17,9 @@ class EdtToDesignerFormatTransformation implements Serializable {
     public static final String CONFIGURATION_DIR = 'build/cfg'
     public static final String CONFIGURATION_ZIP = 'build/cfg.zip'
     public static final String CONFIGURATION_ZIP_STASH = 'cfg-zip'
+    public static final String EXTENSION_DIR = 'build/cfe_src'
+    public static final String EXTENSION_ZIP = 'build/cfe_src.zip'
+    public static final String EXTENSION_ZIP_STASH = 'cfe_src-zip'
 
     private final JobConfiguration config;
 
@@ -35,18 +39,30 @@ class EdtToDesignerFormatTransformation implements Serializable {
 
         def env = steps.env();
 
-        def srcDir = config.srcDir
-        def projectDir = FileUtils.getFilePath("$env.WORKSPACE/$srcDir")
-        def workspaceDir = FileUtils.getFilePath("$env.WORKSPACE/$WORKSPACE")
-        def configurationRoot = FileUtils.getFilePath("$env.WORKSPACE/$CONFIGURATION_DIR")
+        String srcDir = config.srcDir
+        String workspaceDir = FileUtils.getFilePath("$env.WORKSPACE/$WORKSPACE").getRemote()
+
+        String projectWorkspaceDir = FileUtils.getFilePath("$workspaceDir/cf").getRemote()
+        String projectDir = FileUtils.getFilePath("$env.WORKSPACE/$srcDir").getRemote()
+        String configurationRoot = FileUtils.getFilePath("$env.WORKSPACE/$CONFIGURATION_DIR").getRemote()
+
+
+        String extensionRoot = FileUtils.getFilePath("$env.WORKSPACE/$EXTENSION_DIR").getRemote()
         def edtVersionForRing = EDT.ringModule(config)
 
-        steps.deleteDir(workspaceDir.getRemote())
-        steps.deleteDir(configurationRoot.getRemote())
+        steps.deleteDir(workspaceDir)
+        steps.deleteDir(configurationRoot)
+
+        transformConfiguration(steps, projectDir, projectWorkspaceDir, configurationRoot, edtVersionForRing)
+        transformExtensions(steps, workspaceDir, extensionRoot, edtVersionForRing)
+    }
+
+    private void transformConfiguration(IStepExecutor steps, String projectDir, String projectWorkspaceDir, String configurationRoot, String edtVersionForRing) {
 
-        Logger.println("Конвертация исходников из формата EDT в формат Конфигуратора")
+        Logger.println("Конвертация исходников конфигурации из формата EDT в формат Конфигуратора")
+        steps.deleteDir(configurationRoot)
 
-        def ringCommand = "ring $edtVersionForRing workspace export --workspace-location \"$workspaceDir\" --project \"$projectDir\" --configuration-files \"$configurationRoot\""
+        def ringCommand = "ring $edtVersionForRing workspace export --workspace-location \"$projectWorkspaceDir\" --project \"$projectDir\" --configuration-files \"$configurationRoot\""
 
         def ringOpts = [Constants.DEFAULT_RING_OPTS]
         steps.withEnv(ringOpts) {
@@ -57,4 +73,30 @@ class EdtToDesignerFormatTransformation implements Serializable {
         steps.stash(CONFIGURATION_ZIP_STASH, CONFIGURATION_ZIP)
     }
 
+    private void transformExtensions(IStepExecutor steps, String workspaceDir, String extensionRoot, String edtVersionForRing) {
+        steps.deleteDir(extensionRoot)
+
+        config.initInfoBaseOptions.extensions.each {
+
+            if (it.initMethod != InitExtensionMethod.SOURCE) {
+                return
+            }
+
+            Logger.println("Конвертация исходников расширения ${it.name} из формата EDT в формат Конфигуратора")
+
+            def env = steps.env();
+            def projectDir = FileUtils.getFilePath("$env.WORKSPACE/${it.path}")
+            def currentExtensionWorkspaceDir = FileUtils.getFilePath("$workspaceDir/cfe/${it.name}")
+
+            def ringCommand = "ring $edtVersionForRing workspace export --workspace-location \"$currentExtensionWorkspaceDir\" --project \"$projectDir\" --configuration-files \"$extensionRoot/${it.name}\""
+
+            def ringOpts = [Constants.DEFAULT_RING_OPTS]
+            steps.withEnv(ringOpts) {
+                steps.cmd(ringCommand)
+            }
+        }
+        steps.zip(EXTENSION_DIR, EXTENSION_ZIP)
+        steps.stash(EXTENSION_ZIP_STASH, EXTENSION_ZIP)
+    }
+
 }