Загрузка расширений в конфигурацию для прогона тестов.

README.md

@@ -128,6 +128,21 @@ pipeline1C()
   * Если информационная база нужна для запуска в режиме "Предприятие" (например, для шагов `bdd` или `smoke`), то будет запущен шаг "Миграция ИБ".
   * После загрузки конфигурации в ИБ будет выполняться запуск ИБ с целью запуска обработчиков обновления из БСП (`initInfobase` -> `runMigration`).
   * Если в настройках шага инициализации не заполнен массив дополнительных шагов миграции (`initInfobase` -> `additionalInitializationSteps`), но в каталоге `tools` присутствуют файлы с именами, удовлетворяющими шаблону `vrunner.init*.json`, то автоматически выполняется запуск `vrunner vanessa` с передачей найденных файлов в качестве значения настроек (параметр `--settings`) в порядке лексикографической сортировки имен файлов.
+* Загрузка расширений в информационную базу
+  * Если у вас есть расширения которые необходимо загрузить в базу для проведения тестов и проверок, это можно сделать на этапе подготовки базы.
+  * При загрузке из исходников расширения должны быть в том же формате(edt или конфигуратора) что и основная конфигурация.
+  * Для загрузки расширений необходимо описать каждое из них в массиве (`initInfobase` -> `extensions`)
+    * Для каждого из расширений необходимо указать:
+      * Имя (`extensions` -> `name`)
+      * Способ получения (`extensions` -> `initMethod`)
+
+        Сейчас поддерживаются 2 варианта: 
+        * Из исходников(`fromSource`); 
+        * Скачать cfe-файл из интернета (`fromInternet`)
+      * Путь до расширения (`extensions` -> `path`)
+
+        * В случае загрузки из исходников - необходимо указать путь к исходникам расширения
+        * В случае загрузки из интернета - Укажите url по которому будет скачан cfe(Прим.: https://github.com/bia-technologies/yaxunit/releases/download/23.05/YAXUNIT-23.05.cfe)
 * BDD:
   * Если в конфигурационном файле проекта не заполнена настройка `bdd` -> `vrunnerSteps`, то автоматически выполняется запуск `vrunner vanessa --settings tools/vrunner.json`.
 * Дымовые тесты:

build.gradle.kts

@@ -52,7 +52,7 @@ dependencies {
 
     testImplementation("org.slf4j", "slf4j-api", slf4jVersion)
     testImplementation("org.slf4j", "slf4j-simple", slf4jVersion)
-
+    
     // integration-tests
     integrationTestImplementation("org.spockframework", "spock-core", spockVersion)
     integrationTestImplementation("org.codehaus.groovy", "groovy-all", groovyVersion)

resources/globalConfiguration.json

@@ -24,11 +24,13 @@
   "timeout": {
     "smoke": 240,
     "bdd": 120,
+    "getBinaries": 60,
     "createInfoBase": 60,
     "designerToEdtFormatTransformation": 60,
     "edtToDesignerFormatTransformation": 60,
     "edtValidate": 240,
     "initInfoBase": 60,
+    "loadExtensions": 60,
     "resultTransformation": 10,
     "sonarqube": 90,
     "syntaxCheck": 240,
@@ -37,7 +39,8 @@
   "initInfobase": {
     "initMethod": "fromStorage",
     "runMigration": true,
-    "additionalInitializationSteps": []
+    "additionalInitializationSteps": [],
+    "extensions": []
   },
   "bdd": {
     "vrunnerSteps": [

src/ru/pulsar/jenkins/library/configuration/ConfigurationReader.groovy

@@ -61,6 +61,7 @@ class ConfigurationReader implements Serializable {
             "stageFlags",
             "timeoutOptions",
             "initInfoBaseOptions",
+            "extensions",
             "bddOptions",
             "sonarQubeOptions",
             "smokeTestOptions",
@@ -113,12 +114,30 @@ class ConfigurationReader implements Serializable {
 
     @NonCPS
     private static void mergeInitInfoBaseOptions(InitInfoBaseOptions baseObject, InitInfoBaseOptions objectToMerge) {
-        if (objectToMerge == null || objectToMerge.additionalInitializationSteps == null) {
+        if (objectToMerge == null) {
+            return
+        }
+        mergeInitInfoBaseAdditionalInitializationSteps(baseObject, objectToMerge)
+        mergeInitInfoBaseExtensions(baseObject, objectToMerge)
+    }
+
+    @NonCPS
+    private static void mergeInitInfoBaseAdditionalInitializationSteps(InitInfoBaseOptions baseObject, InitInfoBaseOptions objectToMerge) {
+        if (objectToMerge.additionalInitializationSteps == null) {
             return
         }
         baseObject.additionalInitializationSteps = objectToMerge.additionalInitializationSteps.clone()
     }
 
+
+    @NonCPS
+    private static void mergeInitInfoBaseExtensions(InitInfoBaseOptions baseObject, InitInfoBaseOptions objectToMerge) {
+        if (objectToMerge.extensions == null) {
+            return
+        }
+        baseObject.extensions = objectToMerge.extensions.clone()
+    }
+
     @NonCPS
     private static void mergeBddOptions(BddOptions baseObject, BddOptions objectToMerge) {
         if (objectToMerge == null || objectToMerge.vrunnerSteps == null) {

src/ru/pulsar/jenkins/library/configuration/InitExtensionMethod.groovy

@@ -0,0 +1,12 @@
+package ru.pulsar.jenkins.library.configuration
+
+import com.fasterxml.jackson.annotation.JsonProperty
+
+enum InitExtensionMethod {
+    @JsonProperty("fromSource")
+    SOURCE,
+
+    @JsonProperty("fromInternet")
+    INTERNET
+
+}

src/ru/pulsar/jenkins/library/configuration/InitInfoBaseOptions.groovy

@@ -25,13 +25,38 @@ class InitInfoBaseOptions implements Serializable {
     """)
     String[] additionalInitializationSteps
 
+    @JsonPropertyDescription("Массив расширений для загрузки в конфигурацию.")
+    Extension[] extensions;
+
+    @JsonIgnoreProperties(ignoreUnknown = true)
+    static class Extension implements Serializable {
+        @JsonPropertyDescription("Имя расширения, используемое при его загрузке в конфигурацию.")
+        String name = "extention";
+
+        @JsonPropertyDescription("""
+        Способ инициализации расширения.
+        Поддерживается два варианта:
+            * fromSource - инициализация расширения из исходников;
+            * fromInternet - скачивание скомпилированного cfe по ссылке.
+        """)
+        InitExtensionMethod initMethod = InitExtensionMethod.SOURCE;
+
+        @JsonPropertyDescription("""
+        Хранит в себе путь к расширению.
+            * В случае если выбран initMethod <fromSource> - указывается путь к исходникам расширения.
+            * В случае если выбран initMethod <fromInternet> - указывается ссылка на cfe-файл
+        """)
+        String path = "src/cfe/extention";
+    }
+
     @Override
     @NonCPS
     String toString() {
         return "InitInfoBaseOptions{" +
             "initMethod=" + initMethod +
             ", runMigration=" + runMigration +
             ", additionalInitializationSteps=" + additionalInitializationSteps +
+            ", extensions=" + extensions +
             '}';
     }
 }

src/ru/pulsar/jenkins/library/configuration/JobConfiguration.groovy

@@ -100,6 +100,10 @@ class JobConfiguration implements Serializable {
             (initMethod == InitInfoBaseMethod.DEFAULT_BRANCH_FROM_STORAGE && branchName != defaultBranch)
     }
 
+    boolean needLoadExtensions() {
+        return initInfoBaseOptions.extensions.length != 0
+    }
+
     String v8AgentLabel() {
         return v8version
     }

src/ru/pulsar/jenkins/library/configuration/TimeoutOptions.groovy

@@ -11,6 +11,11 @@ class TimeoutOptions implements Serializable {
     ''')
     Integer edtToDesignerFormatTransformation
 
+    @JsonPropertyDescription('''Таймаут шага получения бинарников, в минутах.
+    По умолчанию содержит значение 60.
+    ''')
+    Integer getBinaries
+
     @JsonPropertyDescription('''Таймаут шага создания информационной базы, в минутах.
     По умолчанию содержит значение 60.
     ''')
@@ -21,6 +26,11 @@ class TimeoutOptions implements Serializable {
     ''')
     Integer initInfoBase
 
+    @JsonPropertyDescription('''Таймаут шага загрузки расширений в базу, в минутах.
+    По умолчанию содержит значение 60.
+    ''')
+    Integer loadExtensions
+
     @JsonPropertyDescription('''Таймаут шага архивирования информационной базы, в минутах.
     По умолчанию содержит значение 60.
     ''')

src/ru/pulsar/jenkins/library/steps/EdtToDesignerFormatTransformation.groovy

@@ -4,6 +4,7 @@ package ru.pulsar.jenkins.library.steps
 import ru.pulsar.jenkins.library.IStepExecutor
 import ru.pulsar.jenkins.library.configuration.JobConfiguration
 import ru.pulsar.jenkins.library.configuration.SourceFormat
+import ru.pulsar.jenkins.library.configuration.InitExtensionMethod
 import ru.pulsar.jenkins.library.ioc.ContextRegistry
 import ru.pulsar.jenkins.library.utils.Constants
 import ru.pulsar.jenkins.library.utils.EDT
@@ -16,6 +17,9 @@ class EdtToDesignerFormatTransformation implements Serializable {
     public static final String CONFIGURATION_DIR = 'build/cfg'
     public static final String CONFIGURATION_ZIP = 'build/cfg.zip'
     public static final String CONFIGURATION_ZIP_STASH = 'cfg-zip'
+    public static final String EXTENSION_DIR = 'build/cfe_src'
+    public static final String EXTENSION_ZIP = 'build/cfe_src.zip'
+    public static final String EXTENSION_ZIP_STASH = 'cfe_src-zip'
 
     private final JobConfiguration config;
 
@@ -35,18 +39,30 @@ class EdtToDesignerFormatTransformation implements Serializable {
 
         def env = steps.env();
 
-        def srcDir = config.srcDir
-        def projectDir = FileUtils.getFilePath("$env.WORKSPACE/$srcDir")
-        def workspaceDir = FileUtils.getFilePath("$env.WORKSPACE/$WORKSPACE")
-        def configurationRoot = FileUtils.getFilePath("$env.WORKSPACE/$CONFIGURATION_DIR")
+        String srcDir = config.srcDir
+        String workspaceDir = FileUtils.getFilePath("$env.WORKSPACE/$WORKSPACE").getRemote()
+
+        String projectWorkspaceDir = FileUtils.getFilePath("$workspaceDir/cf").getRemote()
+        String projectDir = FileUtils.getFilePath("$env.WORKSPACE/$srcDir").getRemote()
+        String configurationRoot = FileUtils.getFilePath("$env.WORKSPACE/$CONFIGURATION_DIR").getRemote()
+
+
+        String extensionRoot = FileUtils.getFilePath("$env.WORKSPACE/$EXTENSION_DIR").getRemote()
         def edtVersionForRing = EDT.ringModule(config)
 
         steps.deleteDir(workspaceDir.getRemote())
         steps.deleteDir(configurationRoot.getRemote())
 
-        Logger.println("Конвертация исходников из формата EDT в формат Конфигуратора")
+        transformConfiguration(steps, projectDir, projectWorkspaceDir, configurationRoot, edtVersionForRing)
+        transformExtensions(steps, workspaceDir, extensionRoot, edtVersionForRing)
+    }
+
+    private void transformConfiguration(IStepExecutor steps, String projectDir, String projectWorkspaceDir, String configurationRoot, String edtVersionForRing) {
+
+        Logger.println("Конвертация исходников конфигурации из формата EDT в формат Конфигуратора")
+        steps.deleteDir(configurationRoot)
 
-        def ringCommand = "ring $edtVersionForRing workspace export --workspace-location \"$workspaceDir\" --project \"$projectDir\" --configuration-files \"$configurationRoot\""
+        def ringCommand = "ring $edtVersionForRing workspace export --workspace-location \"$projectWorkspaceDir\" --project \"$projectDir\" --configuration-files \"$configurationRoot\""
 
         def ringOpts = [Constants.DEFAULT_RING_OPTS]
         steps.withEnv(ringOpts) {
@@ -57,4 +73,30 @@ class EdtToDesignerFormatTransformation implements Serializable {
         steps.stash(CONFIGURATION_ZIP_STASH, CONFIGURATION_ZIP)
     }
 
+    private void transformExtensions(IStepExecutor steps, String workspaceDir, String extensionRoot, String edtVersionForRing) {
+        steps.deleteDir(extensionRoot)
+
+        config.initInfoBaseOptions.extensions.each {
+
+            if (it.initMethod != InitExtensionMethod.SOURCE) {
+                return
+            }
+
+            Logger.println("Конвертация исходников расширения ${it.name} из формата EDT в формат Конфигуратора")
+
+            def env = steps.env();
+            def projectDir = FileUtils.getFilePath("$env.WORKSPACE/${it.path}")
+            def currentExtensionWorkspaceDir = FileUtils.getFilePath("$workspaceDir/cfe/${it.name}")
+
+            def ringCommand = "ring $edtVersionForRing workspace export --workspace-location \"$currentExtensionWorkspaceDir\" --project \"$projectDir\" --configuration-files \"$extensionRoot/${it.name}\""
+
+            def ringOpts = [Constants.DEFAULT_RING_OPTS]
+            steps.withEnv(ringOpts) {
+                steps.cmd(ringCommand)
+            }
+        }
+        steps.zip(EXTENSION_DIR, EXTENSION_ZIP)
+        steps.stash(EXTENSION_ZIP_STASH, EXTENSION_ZIP)
+    }
+
 }

src/ru/pulsar/jenkins/library/steps/GetExtensions.groovy

@@ -0,0 +1,96 @@
+package ru.pulsar.jenkins.library.steps
+
+import ru.pulsar.jenkins.library.IStepExecutor
+import ru.pulsar.jenkins.library.configuration.JobConfiguration
+import ru.pulsar.jenkins.library.configuration.SourceFormat
+import ru.pulsar.jenkins.library.configuration.InitExtensionMethod
+import ru.pulsar.jenkins.library.configuration.InitInfoBaseOptions.Extension
+import ru.pulsar.jenkins.library.ioc.ContextRegistry
+import ru.pulsar.jenkins.library.utils.Logger
+import ru.pulsar.jenkins.library.utils.VRunner
+import hudson.FilePath
+import ru.pulsar.jenkins.library.utils.FileUtils
+
+class GetExtensions implements Serializable {
+
+    public static final String EXTENSIONS_OUT_DIR = 'build/out/cfe'
+
+    private final JobConfiguration config;
+
+    GetExtensions(JobConfiguration config) {
+        this.config = config
+    }
+
+    def run() {
+        IStepExecutor steps = ContextRegistry.getContext().getStepExecutor()
+
+        Logger.printLocation()
+
+        def env = steps.env()
+
+        steps.installLocalDependencies();
+
+        String vrunnerPath = initVRunnerPath();
+
+        Logger.println("Сборка расширений")
+
+        String sourceDirName = ""
+        if (config.sourceFormat == SourceFormat.EDT) {
+            sourceDirName = "$env.WORKSPACE/$EdtToDesignerFormatTransformation.EXTENSION_DIR"
+        }
+        else {
+            sourceDirName = "$env.WORKSPACE"
+        }
+        extractConvertedExtensions(sourceDirName, steps)
+
+        config.initInfoBaseOptions.extensions.each {
+            if (it.initMethod == InitExtensionMethod.SOURCE) {
+                Logger.println("Сборка расширения ${it.name} из исходников")
+                String srcDir = getSrcDir(it, sourceDirName)
+                buildExtension(it, srcDir, vrunnerPath, steps)
+            } else {
+                Logger.println("Загрузка расширения ${it.name} из интернета по ссылке ${it.path}")
+                loadExtension(it, env)
+            }
+        }
+    }
+
+    private void buildExtension(Extension extension, String srcDir, String vrunnerPath, IStepExecutor steps) {
+        // ТУТ ГРЯЗНЫЙ ХАК
+        VRunner.exec("mkdir -p $EXTENSIONS_OUT_DIR")
+        // ТУТ КОНЕЦ ГРЯЗНОГО ХАКА
+
+        def compileExtCommand = "$vrunnerPath compileexttocfe --src ${srcDir} --out $EXTENSIONS_OUT_DIR/${extension.name}.cfe"
+        List<String> logosConfig = ["LOGOS_CONFIG=$config.logosConfig"]
+        steps.withEnv(logosConfig) {
+            VRunner.exec(compileExtCommand)
+        }
+    }
+
+    private void loadExtension(Extension extension, def env) {
+        String pathToExtension = "$env.WORKSPACE/${EXTENSIONS_OUT_DIR}/${extension.name}.cfe"
+        FilePath localPathToExtension = FileUtils.getFilePath(pathToExtension)
+        localPathToExtension.copyFrom(new URL(extension.path))
+    }
+
+
+    private String initVRunnerPath() {
+        return VRunner.getVRunnerPath()
+    }
+
+    private String getSrcDir(Extension extension, String sourceDirName) {
+        if (config.sourceFormat == SourceFormat.EDT) {
+            return "${sourceDirName}/${extension.name}"
+        } else {
+            return "${sourceDirName}/${extension.path}"
+        }
+    }
+
+    private void extractConvertedExtensions(String sourceDirName, IStepExecutor steps) {
+        if (config.sourceFormat == SourceFormat.EDT) {
+            // распакуем расширения
+            steps.unstash(EdtToDesignerFormatTransformation.EXTENSION_ZIP_STASH)
+            steps.unzip(sourceDirName, EdtToDesignerFormatTransformation.EXTENSION_ZIP)
+        }
+    }
+}