Поддержка edt-ripper для подготовки файла с замечаниями для SonarQube в формате bsl-ls, поддержка SQ>=10.3 при использовании stebi

README.md

@@ -21,7 +21,7 @@
 
 1. Для шага подготовки требуется любой агент с меткой `agent`.
 1. Для запуска шага анализа SonarQube требуется агент с меткой `sonar`.
-1. Для запуска шагов, работающих с EDT (валидация, трансформация формата исходников) требуется агент с меткой `edt` (если используется несколько версий EDT необходимо к метке добавить версию, например `[email protected]:x86_64`) и агент с меткой `oscript`, на котором глобально установлена библиотека [stebi](https://github.com/Stepa86/stebi) версии 1.9.1 или новее.
+1. Для запуска шагов, работающих с EDT (валидация, трансформация формата исходников) требуется агент с меткой `edt` (если используется несколько версий EDT необходимо к метке добавить версию, например `[email protected]:x86_64`) и агент с меткой `oscript`, на котором глобально установлена библиотека [stebi](https://github.com/Stepa86/stebi) версии 1.11.1 и выше или [edt-ripper](https://github.com/bia-technologies/edt_ripper).
 1. Для запуска шагов, работающих с 1С (подготовка, синтаксический контроль и т.д.) требуется агент с меткой, совпадающей со значением в поле `v8version` файла конфигурации.
 1. В качестве ИБ используется файловая база, создаваемая в каталоге `./build/ib`. При необходимости вы можете создать пользователей на фазе инициализации ИБ.
 
@@ -38,7 +38,8 @@
 1. Запуск BDD сценариев с сохранением результатов в формате Allure.
 1. Запуск юнит-тестов с помощью фреймворка YAXUnit с сохранением результатов в формате jUnit и Allure.
 1. Запуск синтаксического контроля средствами конфигуратора и сохранение результатов в виде отчета jUnit.
-1. Запуск валидации проекта средствами EDT и конвертация отчета в формате generic issues.
+1. Запуск валидации проекта средствами EDT и конвертация отчета в форматах BSL LS или Generic Issue.
+
 1. Запуск статического анализа для SonarQube.
 1. Публикация результатов junit и Allure в интерфейс Jenkins.
 1. Рассылка результатов сборки на почту и в Telegram.
@@ -148,15 +149,15 @@ pipeline1C()
   * Если в репозитории существует файл `./tools/syntax-check-exception-file.txt`, то команде запуска синтаксического контроля конфигурации данный файл будет передаваться как файл с исключениями сообщений об ошибках (параметр `--exception-file`) (`syntaxCheck` -> `exceptionFile`).
   * Конфигурационный файл по умолчанию уже содержит ряд "режимов проверки" для синтаксического контроля конфигурации (`syntaxCheck` -> `checkModes`).
 * Трансформация результатов валидации EDT:
-  * По умолчанию из результатов анализа исключаются замечания, сработавшие на модулях с включенным запретом редактирования (желтый куб с замком) (параметры `resultsTransform` -> `removeSupport` и `resultsTransform` -> `supportLevel`).
+  * При использовании stebi по умолчанию из результатов анализа исключаются замечания, сработавшие на модулях с включенным запретом редактирования (желтый куб с замком) (параметры `resultsTransform` -> `removeSupport` и `resultsTransform` -> `supportLevel`).
 * Анализ SonarQube:
   * Предполагается наличие единственной настройки `SonarQube installation` (`sonarqube` -> `sonarQubeInstallation`).
   * Используется `sonar-scanner` из переменной окружения `PATH` (`sonarqube` -> `useSonarScannerFromPath`).
   * Если использование `sonar-scanner` из переменной окружения `PATH` выключено, предполагается наличие настроенного глобального инструмента `SonarQube Scanner` с идентификатором инструмента `sonar-scanner` (`sonarqube` -> `sonarScannerToolName`).
   * Применяется расчет аргументов командной строки для работы [`branch plugin`](https://github.com/mc1arke/sonarqube-community-branch-plugin) или коммерческих версий SonarQube (`sonarqube` -> `branchAnalysisConfiguration`).
   * Если разработка ведется с использованием подсистемы [БСП "Обновление версии ИБ"](https://its.1c.ru/db/bsp315doc#content:4:1:issogl1_обновление_версии_иб), то в значение параметра `sonar.projectVersion=$configurationVersion` утилиты `sonar-scanner` можно передавать версию из созданного общего модуля. Для этого необходимо заполнить параметр (`sonarqube` -> `infoBaseUpdateModuleName`). Если параметр не заполнен, версия передается из корня конфигурации.
   * По умолчанию шаг анализа не дожидается окончания фонового задания на сервере SonarQube и не анализирует результат прохождения Порога качества (`sonarqube` -> `waitForQualityGate`).
-  * Если выполнялась валидация EDT, результаты валидации в формате `generic issues` передаются утилите `sonar-scanner` как значение параметра `sonar.externalIssuesReportPaths`.
+  * Если валидация EDT выполнялась через stebi, путь к результирующему файлу в формате `generic issues` необходимо передать утилите `sonar-scanner` как значение параметра `sonar.externalIssuesReportPaths`. При использовании `edt-ripper` необходимо передать путь к файлу в качестве значения параметра `sonar.bsl.languageserver.reportPaths`
 * Рассылка уведомлений:
   * Электронная почта:
     * Для отправки используется плагин [`email-ext`](https://plugins.jenkins.io/email-ext). Шаблоны сообщений конфигурируются в настройках плагина. 

resources/globalConfiguration.json

@@ -89,6 +89,8 @@
     "publishToJUnitReport": true
   },
   "resultsTransform": {
+    "transformer": "stebi",
+    "genericIssueFormat": "Generic_Issue",
     "removeSupport": true,
     "supportLevel": 0
   },

resources/schema.json

@@ -332,13 +332,23 @@
       "id" : "urn:jsonschema:ru:pulsar:jenkins:library:configuration:ResultsTransformOptions",
       "description" : "Настройки трансформации результатов анализа",
       "properties" : {
+        "transformer" : {
+          "type" : "string",
+          "description" : "Способ преобразования замечаний.\n    Поддерживается stebi и edt-ripper\n    По умолчанию содержит значение \"stebi\".\n    ",
+          "enum" : [ "stebi", "edt-ripper" ]
+        },
         "removeSupport" : {
           "type" : "boolean",
-          "description" : "Фильтровать замечания по уровню поддержки модуля. По умолчанию включено."
+          "description" : "Фильтровать замечания по уровню поддержки модуля. Только для stebi. По умолчанию включено."
         },
         "supportLevel" : {
           "type" : "integer",
-          "description" : "Настройка фильтрации замечаний по уровню поддержки.\n        0 - удалить файлы на замке;\n        1 - удалить файлы на замке и на поддержке;\n        2 - удалить файлы на замке, на поддержке и снятые с поддержки.\n    "
+          "description" : "Настройка фильтрации замечаний по уровню поддержки. Только для stebi.\n        0 - удалить файлы на замке;\n        1 - удалить файлы на замке и на поддержке;\n        2 - удалить файлы на замке, на поддержке и снятые с поддержки.\n    "
+        },
+        "genericIssueFormat" : {
+          "type" : "string",
+          "description" : "Формат отчета generic issue. Только для stebi.\n    Для SonarQube 10.3+ необходимо использовать Generic_Issue_10_3.\n    По умолчанию Generic_Issue\n    ",
+          "enum" : [ "Generic_Issue", "Generic_Issue_10_3" ]
         }
       }
     },

src/ru/pulsar/jenkins/library/configuration/GenericIssueFormat.groovy

@@ -0,0 +1,12 @@
+package ru.pulsar.jenkins.library.configuration
+
+import com.fasterxml.jackson.annotation.JsonProperty
+
+enum GenericIssueFormat {
+    @JsonProperty("Generic_Issue")
+    GENERIC_ISSUE,
+
+    @JsonProperty("Generic_Issue_10_3")
+    GENERIC_ISSUE_10_3
+
+}

src/ru/pulsar/jenkins/library/configuration/ResultsTransformOptions.groovy

@@ -7,22 +7,36 @@ import com.fasterxml.jackson.annotation.JsonPropertyDescription
 @JsonIgnoreProperties(ignoreUnknown = true)
 class ResultsTransformOptions implements Serializable {
 
-    @JsonPropertyDescription("Фильтровать замечания по уровню поддержки модуля. По умолчанию включено.")
+    @JsonPropertyDescription("""Способ преобразования замечаний.
+    Поддерживается stebi и edt-ripper
+    По умолчанию содержит значение "stebi".
+    """)
+    ResultsTransformerType transformer = ResultsTransformerType.STEBI
+
+    @JsonPropertyDescription("Фильтровать замечания по уровню поддержки модуля. Только для stebi. По умолчанию включено.")
     Boolean removeSupport = true
 
-    @JsonPropertyDescription("""Настройка фильтрации замечаний по уровню поддержки.
+    @JsonPropertyDescription("""Настройка фильтрации замечаний по уровню поддержки. Только для stebi.
         0 - удалить файлы на замке;
         1 - удалить файлы на замке и на поддержке;
         2 - удалить файлы на замке, на поддержке и снятые с поддержки.
     """)
     Integer supportLevel
 
+    @JsonPropertyDescription("""Формат отчета generic issue. Только для stebi.
+    Для SonarQube 10.3+ необходимо использовать Generic_Issue_10_3.
+    По умолчанию Generic_Issue
+    """)
+    GenericIssueFormat genericIssueFormat = GenericIssueFormat.GENERIC_ISSUE
+
     @Override
     @NonCPS
     String toString() {
         return "ResultsTransformOptions{" +
+            "transformer=" + transformer +
             "removeSupport=" + removeSupport +
-            ", supportLevel=" + supportLevel +
-            '}';
+            "supportLevel=" + supportLevel +
+            "genericIssueFormat=" + genericIssueFormat +
+            '}'
     }
 }

src/ru/pulsar/jenkins/library/configuration/ResultsTransformerType.groovy

@@ -0,0 +1,12 @@
+package ru.pulsar.jenkins.library.configuration
+
+import com.fasterxml.jackson.annotation.JsonProperty
+
+enum ResultsTransformerType {
+    @JsonProperty("stebi")
+    STEBI,
+
+    @JsonProperty("edt-ripper")
+    EDT_RIPPER
+
+}

src/ru/pulsar/jenkins/library/steps/DesignerToEdtFormatTransformation.groovy

@@ -10,12 +10,11 @@ import ru.pulsar.jenkins.library.utils.Logger
 
 class DesignerToEdtFormatTransformation implements Serializable {
 
-    public static final String PROJECT_NAME = 'temp'
     public static final String WORKSPACE = 'build/edt-workspace'
     public static final String WORKSPACE_ZIP = 'build/edt-workspace.zip'
     public static final String WORKSPACE_ZIP_STASH = 'edt-workspace-zip'
 
-    private final JobConfiguration config;
+    private final JobConfiguration config
 
     DesignerToEdtFormatTransformation(JobConfiguration config) {
         this.config = config
@@ -31,18 +30,19 @@ class DesignerToEdtFormatTransformation implements Serializable {
             return
         }
 
-        def env = steps.env();
+        def env = steps.env()
 
         def workspaceDir = FileUtils.getFilePath("$env.WORKSPACE/$WORKSPACE")
         def srcDir = config.srcDir
         def configurationRoot = FileUtils.getFilePath("$env.WORKSPACE/$srcDir")
+        def projectName = config.srcDir.split(File.separator).last()
         def edtVersionForRing = EDT.ringModule(config)
 
         steps.deleteDir(workspaceDir)
 
         Logger.println("Конвертация исходников из формата конфигуратора в формат EDT")
 
-        def ringCommand = "ring $edtVersionForRing workspace import --configuration-files \"$configurationRoot\" --project-name $PROJECT_NAME --workspace-location \"$workspaceDir\""
+        def ringCommand = "ring $edtVersionForRing workspace import --configuration-files \"$configurationRoot\" --project-name $projectName --workspace-location \"$workspaceDir\""
 
         steps.ringCommand(ringCommand)
 

src/ru/pulsar/jenkins/library/steps/EdtValidate.groovy

@@ -13,7 +13,7 @@ class EdtValidate implements Serializable {
     public static final String RESULT_STASH = 'edt-validate'
     public static final String RESULT_FILE = 'build/out/edt-validate.out'
 
-    private final JobConfiguration config;
+    private final JobConfiguration config
 
     EdtValidate(JobConfiguration config) {
         this.config = config
@@ -29,16 +29,18 @@ class EdtValidate implements Serializable {
             return
         }
 
-        def env = steps.env();
+        def env = steps.env()
 
         String workspaceLocation = "$env.WORKSPACE/$DesignerToEdtFormatTransformation.WORKSPACE"
-        String projectList;
+        String projectList
 
         if (config.sourceFormat == SourceFormat.DESIGNER) {
             steps.unstash(DesignerToEdtFormatTransformation.WORKSPACE_ZIP_STASH)
             steps.unzip(DesignerToEdtFormatTransformation.WORKSPACE, DesignerToEdtFormatTransformation.WORKSPACE_ZIP)
 
-            projectList = "--project-name-list $DesignerToEdtFormatTransformation.PROJECT_NAME"
+            def projectName = config.srcDir.split(File.separator).last()
+
+            projectList = "--project-name-list $projectName"
         } else {
             def srcDir = config.srcDir
             def projectDir = FileUtils.getFilePath("$env.WORKSPACE/$srcDir")

src/ru/pulsar/jenkins/library/steps/ResultsTransformer.groovy

@@ -1,19 +1,22 @@
 package ru.pulsar.jenkins.library.steps
 
 import ru.pulsar.jenkins.library.IStepExecutor
+import ru.pulsar.jenkins.library.configuration.GenericIssueFormat
 import ru.pulsar.jenkins.library.configuration.JobConfiguration
+import ru.pulsar.jenkins.library.configuration.ResultsTransformerType
 import ru.pulsar.jenkins.library.configuration.SourceFormat
 import ru.pulsar.jenkins.library.ioc.ContextRegistry
+import ru.pulsar.jenkins.library.utils.FileUtils
 import ru.pulsar.jenkins.library.utils.Logger
 
 import java.nio.file.Paths
 
 class ResultsTransformer implements Serializable {
 
-    public static final String RESULT_STASH = 'edt-generic-issue'
-    public static final String RESULT_FILE = 'build/out/edt-generic-issue.json'
+    public static final String RESULT_STASH = 'edt-issues'
+    public static final String RESULT_FILE = 'build/out/edt-issues.json'
 
-    private final JobConfiguration config;
+    private final JobConfiguration config
 
     ResultsTransformer(JobConfiguration config) {
         this.config = config
@@ -24,7 +27,7 @@ class ResultsTransformer implements Serializable {
 
         Logger.printLocation()
 
-        def env = steps.env();
+        def env = steps.env()
 
         if (!config.stageFlags.edtValidate) {
             Logger.println("EDT validation is disabled. No transform is needed.")
@@ -33,20 +36,49 @@ class ResultsTransformer implements Serializable {
 
         steps.unstash(EdtValidate.RESULT_STASH)
 
-        Logger.println("Конвертация результата EDT в Generic Issue")
+        ResultsTransformerType transformerType = config.resultsTransformOptions.transformer
 
         def edtValidateFile = "$env.WORKSPACE/$EdtValidate.RESULT_FILE"
-        def genericIssueFile = "$env.WORKSPACE/$RESULT_FILE"
+        def srcDir = FileUtils.getFilePath("$env.WORKSPACE/$config.srcDir")
 
-        String srcDir = config.sourceFormat == SourceFormat.DESIGNER ? config.srcDir : Paths.get(config.srcDir, "src")
-        steps.cmd("stebi convert -r $edtValidateFile $genericIssueFile $srcDir")
+        if (transformerType == ResultsTransformerType.STEBI) {
+
+            Logger.println("Конвертация результата EDT в Generic Issue с помощью stebi")
+
+            def genericIssueFile = "$env.WORKSPACE/$RESULT_FILE"
+            def genericIssuesFormat = "Generic_Issue"
+            if (config.resultsTransformOptions.genericIssueFormat == GenericIssueFormat.GENERIC_ISSUE_10_3) {
+                genericIssuesFormat = "Generic_Issue_10_3"
+            }
+
+            steps.cmd("stebi convert --Format $genericIssuesFormat -r $edtValidateFile $genericIssueFile $srcDir")
+
+            if (config.resultsTransformOptions.removeSupport) {
+                def supportLevel = config.resultsTransformOptions.supportLevel
+                steps.cmd("stebi transform --Format $genericIssuesFormat --remove_support $supportLevel --src $srcDir $genericIssueFile")
+        }
+
+        } else {
+
+            Logger.println("Конвертация результата EDT в Issues с помощью edt-ripper")
+
+            if (config.sourceFormat == SourceFormat.DESIGNER) {
+
+                steps.unstash(DesignerToEdtFormatTransformation.WORKSPACE_ZIP_STASH)
+                steps.unzip(DesignerToEdtFormatTransformation.WORKSPACE, DesignerToEdtFormatTransformation.WORKSPACE_ZIP)
+
+            }
+
+            def splitDir = config.srcDir.split(File.separator)
+            def projectName = splitDir.last()
+            def srcDirExceptLast = splitDir.dropRight(1).join(File.separator)
+
+            steps.cmd("edt-ripper parse $edtValidateFile $srcDirExceptLast $projectName $env.WORKSPACE/$RESULT_FILE")
 
-        if (config.resultsTransformOptions.removeSupport) {
-            def supportLevel = config.resultsTransformOptions.supportLevel
-            steps.cmd("stebi transform --remove_support $supportLevel --src $srcDir $genericIssueFile")
         }
 
         steps.archiveArtifacts(RESULT_FILE)
         steps.stash(RESULT_STASH, RESULT_FILE)
+
     }
 }