Autotest api #754

agaltsoff · 2017-11-28T03:40:23Z

Реализация #753

Сделанные доработки

Реализован минимальный набор методов API автоматического тестирования и утверждений, позволяющий оценить синтаксис законченного теста.

Утверждения в УтвержденияBDD

ПодключениеКлиентаТестирования
ОтключениеКлиентаТестирования
ОткрытиеФормыСписка
ПоискВСписке
УстановкаОтбораВСписке
ОткрытиеВСписке
КоличествоСтрокВСписке
Проведение

Описание

Методы для работы с механизмом автоматизированого тестирования содержатся в ТестКлиенты.
УтвержденияBDD использует эти методы в утверждениях автоматизированого тестирования.

ТестКлиенты сохраняет значение окна и элемента, которые были получены при выполнении каждого метода. Последующие действия выполняются относительно этих значений. Эти значения можно получить с помощью соответствующих методов интерфейса ТестКлиенты.

Открытие окон в ТестКлиенты это процедуры, поиск значений - булевые функции

ТестКлиенты выполняет действия без проверок, все проверки выполняются в УтвержденияBDD.

Пример теста

    Ожидаем.ПодключениеКлиентаТестирования("Администратор", "");

    Ожидаем
        .ОткрытиеФормыСписка("Документ.Документ1", "Документ1")
        .ПоискВСписке(Новый Структура("Номер,Дата", "000000002", "26.11.2017 23:13:37"))
        .ОткрытиеВСписке("Документ1 000000002 от 26.11.2017 23:13:37")
        .Проведение()
    ;

    Ожидаем
        .ОткрытиеФормыСписка("РегистрСведений.РСПодчиненныйРегистратору", "РСПодчиненный регистратору")
        .УстановкаОтбораВСписке(Новый Структура("Регистратор", "Документ1 000000002 от 26.11.2017 23:13:37"))
        .КоличествоСтрокВСписке("Движения документа Документ1 000000002 от 26.11.2017 23:13:37").Равно(1);
    ;

    Ожидаем.ОтключениеКлиентаТестирования();

…естирования плюс тесты на это

…ержденияBDDForms

В тесте только подключается и отключается клиент, тест проходит но приложение клиента не закрывается, потому что отключение вызывается раньше чем откроется окно клиента.

…ты_УтвержденияBDDForms. Проходят тесты подключение, открытие списка, отключение.

… текущей строки, Отключение. Методы в ТестКлиенты и УтвержденияBDD плюс тесты в Тест_УтвержденияBDDForms. Более-менее устоялась идеология.

…зова уверждений через точку.

…Списке, Проведение C их помощью реализован тест проведения документа и проверки количества его движений по регистру в Тест_УтвержденияBDDForms. Тест выполняется на данных \Tests\1Cv8_xUnitFor1CForms.dt. Конфигурация там из тестовой базы, в один документ добавлена обработка проведения.

…без изменений. Тестовые данные создаются и удаляются в тестах. Добавил cf тесовой конфигурации из ветки master в \Tests. В модуль формы Тесты_УтвержденияBDDForms добавил процедуры для работы с таблицей параметров на форме. На сервере записываем, на клиенте читаем. Хотел использовать для передачи параметров между тестами но потом сделал передачу через контекст ядра.

artbear · 2017-11-28T08:33:04Z

Хорошее дополнение,

но мне не нравится, что смешаны 2-е функциональности - Утверждения и работа с тест-клиентом

Предлагаю разделить эту функциональность.
Например,

сделать отдельный плагин УправлениеТестКлиентом, в котором и реализовать нужное API
- если нравится другое название, предлагайте
пример кода

ТестКлиент.ПодключениеКлиентаТестирования("Администратор", "");

    ТестКлиент
        .ОткрытиеФормыСписка("Документ.Документ1", "Документ1")
        .ПоискВСписке(Новый Структура("Номер,Дата", "000000002", "26.11.2017 23:13:37"))
        .ОткрытиеВСписке("Документ1 000000002 от 26.11.2017 23:13:37")
        .Проведение()
    ;

    ТестКлиент
        .ОткрытиеФормыСписка("РегистрСведений.РСПодчиненныйРегистратору", "РСПодчиненный регистратору")
        .УстановкаОтбораВСписке(Новый Структура("Регистратор", "Документ1 000000002 от 26.11.2017 23:13:37"))
        .КоличествоСтрокВСписке("Движения документа Документ1 000000002 от 26.11.2017 23:13:37").Равно(1);
    ;

    Ожидаем.ОтключениеКлиентаТестирования();

или предложите другие варианты

@agaltsoff @VladFrost @nixel2007 @EvilBeaver что скажете?

VladFrost · 2017-11-28T08:53:16Z

src/Plugins/ТестКлиенты/Form/Форма/Форма.bsl

+
+	УбедитьсяЧтоЭтоСпискок();
+
+	ТестируемыйЭлемент.ВыделитьВсеСтроки();


Здесь опасность: если в списке больше 1000 строк, платформа выведет предупреждение и выполнение будет приостановлено, пока пользователь вручную не закроет предупреждение.

Вот да, надо придумать как количество строк в таблице получать.
Нормального метода не нашёл.

Тут похоже концептуальная проблема невозможности определения количества строк в динамическом списке разумными средствами.
Сделал проверку на пустой список потому что по сути нужна только она.

Все же странно в сценарных тестах увидеть такой объем данных в списках.
Про данную особенность помнить надо, но решать ее сейчас особого смысла нет.

@kuntashov как вариант, если тесты прогоняются на типовой демобазе: там вполне может быть несколько тысяч строк в списках.

VladFrost · 2017-11-28T08:54:24Z

src/Plugins/ТестКлиенты/Form/Форма/Форма.bsl

+&НаКлиенте
+Функция ЗабытьЗапущенныйКлиент(ИмяПользователя, Порт)


Про эту функцию я не понял, как она должна использоваться.

Удалять клиента из списка после отключения.

Это да. Но она не экспортная, и вызовов её в этом модуле нет.

Хотел использовать, но как-то обошлось без неё потом. Удалю.

Удалил.

VladFrost · 2017-11-28T08:57:49Z

src/Plugins/УтвержденияBDD/Form/Форма/Форма.bsl

+#Область ИнтерфейсАвтоматическогоТестирования
+
+&НаКлиенте
+Функция ПодключениеКлиентаТестирования(ИмяПользователя = "", Пароль = "", Порт = 1539) Экспорт


Почему номер порта стал 1539? По-умолчанию же 1538.

1538 менеджер тестирования использует по умолчанию.

И почему здесь нужен 1539?

У меня не получалось найти клиент запущенный на одном порту с менеджером. Возможно причина была в другом. Сейчас проверил, так работает.
Вернул 1538.

Вот такие ошибки теперь периодически появляются:

{Обработка.ТестКлиенты.Форма.Форма.Форма(106)}: Не смогли установить соединение с тестовым приложением для пользователя Администратор! {Обработка.ТестКлиенты.Форма.Форма.Форма(97)}: Ошибка при вызове метода контекста (УстановитьСоединение): Ошибка подключения к клиенту тестирования. Менеджер не может управлять сам собой.: Ошибка подключения к клиенту тестирования. Менеджер не может управлять сам собой.

Там ещё веселее всё. Конфигуратор при запуске Предприятия берёт параметры из строки Стартера даже те, которые были туда добавлены после запуска Конфигуратора.
Т.е. я запустил конфигуратор, потом добавил /TESTCLIENT чтобы запустить эту базу вручную в режиме тестирования и после этого уже запустил Предприятие как менеджер тестирования из Конфигуратора.

Для запуска из конфигуратора лучше здесь рулить:

Да я так и делаю. Просто после того как конфигуратор запустил понадобилось эту же базу запустить как тест клиент. В стартере поставил параметр в строке запуска, запустил, потом через какое-то время запустил предприятие из конфигуратора. И он взял этот параметр из стартера, хотя на момент запуска конфигуратора флага ещё не было.
И вообще, почему конфигуратор берёт параметры предприятия из списка баз из строки с которой он был запущен? Странно...
Сейчас просто сделал отдельную строку для запуска базы в режиме клиента тестирования чтобы не путаться.

А зачем его отдельно запускать? Плагин же сам его запускает: https://github.com/xDrivenDevelopment/xUnitFor1C/blob/develop/src/Plugins/%D0%A2%D0%B5%D1%81%D1%82%D0%9A%D0%BB%D0%B8%D0%B5%D0%BD%D1%82%D1%8B/Form/%D0%A4%D0%BE%D1%80%D0%BC%D0%B0/%D0%A4%D0%BE%D1%80%D0%BC%D0%B0.bsl#L77

Что-то нужно было проверить руками, разовый случай.

VladFrost · 2017-11-28T09:00:21Z

src/Plugins/ТестКлиенты/Form/Форма/Форма.bsl

+
+#КонецОбласти 
+


Пустые строки

Чтобы последнюю строку с текстом можно было поместить в середину монитора при редактировании.

VladFrost · 2017-11-28T09:01:41Z

src/Plugins/ТестКлиенты/Form/Форма/Форма.bsl

+
+		Если ИнформацияОбОшибке <> Неопределено Тогда
+			ОписаниеОшибки= 
+			    НСтр("ru='Описание=';en='Description='") + ИнформацияОбОшибке.Описание + "'" + Символы.ПС +


Здесь хочется видеть СтрШаблон()

Это из синтаксис-помощника))
Исправлю.

VladFrost · 2017-11-28T09:05:38Z

src/Plugins/ТестКлиенты/Form/Форма/Форма.bsl

+
+&НаКлиенте
+Процедура УбедитьсяЧтоЭтоСпискок()


Опечатка в имени процедуры

Исправлю))

VladFrost · 2017-11-28T09:08:52Z

src/Plugins/УтвержденияBDD/Form/Форма/Форма.bsl

+КонецФункции
+
+&НаКлиенте
+Функция ПоискВСписке(СтруктураПоиска) Экспорт


Чем "ПоискВСписке" отличается от "НайтиВСписке"?

УтвержденияBDD.ПоискВСписке вызывает ТестКлиенты.НайтиВСписке, анализирует результат и при возникновении ошибки вызывает ВызватьОшибкуПроверки.
ТестКлиенты.НайтиВСписке непосредственно выполняет поиск в списке через механизм автотестирования.
Т.е. ТестКлиенты это low level, УтвержденияBDD это high level.
Названия методов в утверждениях выбраны так чтобы они сочетались с Ожидаем.

VladFrost · 2017-11-28T09:10:05Z

src/Plugins/УтвержденияBDD/Form/Форма/Форма.bsl

+СтатусыРезультатаТестирования = Новый ФиксированнаяСтруктура(СтатусыРезультатаТестирования);
+
+#КонецОбласти 
+


Пустые строки

Чтобы последнюю строку с текстом можно было поместить в середину монитора при редактировании.

agaltsoff · 2017-11-28T12:17:43Z

@artbear

Внутри так всё и происходит. УтвержденияBDD при инициализации загружает ТестКлиенты и вся работа с механизмом автоматического тестирования идёт через него.

Например Ожидаем.ОткрытиеВСписке вызывает ТестКлиенты.ОткрытьВСписке, анализирует результат и в случае ошибки вызывает стандартное исключение которое потом красиво выводится.

Можно в модуле теста сделать глобальную переменную и при инициализации теста записать труда ссылку на ТестКлиенты загруженный в УтвержденияBDD. Тогда можно будет вызывать методы, больше относящиеся к механизму автотестирования чем к функционалу самого теста напрямую. Только нужно определится какие.

Например то же ОткрытиеВСписке вроде бы относится к автотестированию, но если мы проверяем настройки прав доступа, это уже и сам тест.

artbear · 2017-11-28T12:27:25Z

Внутри может быть все что угодно.
Мы же говорим об API, которое в дальнейшем будут юзать клиенты продукта.
Я хочу развязать API Утверждений и API ТестКлиента и не смешивать.

Пусть методы API ТестКлиента внутри себя вызывают необходимые утверждения и выбрасывают красивые ошибки.

Общая схема работы - проще и удобнее через ТестКлиент, а не через Ожидаем.
Пример кода вызова я приводил.

artbear · 2017-11-28T12:29:01Z

Методы API должны помочь клиенту продукта.
Например, в коде метода может быть инкапсулировано общее для разных тестов поведение.
Мы об этом в гиттере вроде бы уже говорили.

artbear · 2017-11-28T12:31:13Z

Я не хочу постоянно дорабатывать Утверждения.
Их цель - простые утверждения.

Более сложные утверждения д.б. реализованы в других плагинах.
Например, так уже сделано в ЗапросыБДД, Сериализатор и других.
ТестКлиент должен быть сделан по этой же схеме :)

Тем более, что самое сложное (методы) Вы уже реализовали.
Теперь их нужно просто перенести в новый плагин.

agaltsoff · 2017-11-28T14:35:46Z

Понятно. Так даже проще будет. Из Утверждений работу с автотестированием убираем в отдельный плагин для Утверждений автотестирования?

artbear · 2017-11-28T15:35:18Z

Только предлагаю новый плагин все-таки назвать "ТестКлиент", а не "Утверждения автотестирования" :)

agaltsoff · 2017-11-28T16:19:13Z

Так есть же уже один ТестКлиенты. Путаницы не будет?

agaltsoff · 2017-11-28T16:33:40Z

Ещё есть УтвержденияПроверкаТаблиц. Видимо утверждения для специальных случаев. На мой взгляд по аналогии будет УтвержденияBDDАвтотест. BDD потому что ОткрытиеВСписке сочетается с Ожидаем. Без BDD тогда Открыть...

Однако как скажете. Вы же здесь BDFL ))

artbear · 2017-11-28T16:38:56Z

Все-таки мне больше нравится

ТестКлиент - для работы с одним тест-клиентом
ТестКлиенты- управление тест-клиентами
- похоже, пока не выпустили релиз, лучше назвать МенеджерТестКлиентов

artbear · 2017-11-28T16:40:43Z

Честно, УтвержденияBDDАвтотест - жесть. Длинно, странно, невнятно

Потом все время по коду удивляться над
УтвержденияBDDАвтотест.ОткрытиеФормыСписка(....) :(

ПерейтиКСтроке на пустом списке вызывает ошибку. Добавил везде перед вызовом этой функции проверку количества строк в списке.

…н, когда они не проходят все предыдущие окна закрываются

…ого выбора типа данных

Обновил ИР до 4.37

…ошибке теста с новой строки.

…. Проверено. Отладка работает через раз.

… БСП в инициализацию.

…шибок при отсутствии БСП.

…а, ТестКлиенты переименовал в МенеджерТестКлиентов

В xddTestRunner инициализацию плагинов сделал после загрузки всех плагинов чтобы плагину в инициализации был доступен любой другой плагин.

agaltsoff · 2017-12-14T01:01:33Z

В результате

ТестКлиенты переименовать в МенеджерТестКлиентов

API автотестирования перенести из УтвержденияBDD в новый плагин ТестКлиент

@agaltsoff Ждем доработки

@artbear Сделал.

artbear · 2017-12-14T11:52:41Z

@agaltsoff Очень много изменений/коммитов.
Я несколько запутался :( - есть изменения в конфигурации, есть в файлах и т.п.

Можешь достаточно коротко описать финальное состояние ?

…лагиныНаСервере Поисправлял мелкие ошибки менеджере тест клиентов. Ошибки ещё остались. В ТестКлиент заменил старое название плагина ТестКлиенты на МенеджерТестКлиентов, как название файла плагина. Отладка по HTTP внешних обработок БСП заработала после перерегистрации библиотек ИР. Наимнование обработки в справочнике ДОЛЖНО СОВПАДАТЬ С ИМЕНЕМ ФАЙЛА обработки.

…ке через расширенный поиск. В поле даты при выборе открывалось окно календаря вместо окна выбора типа данных и текущее окно становилось неопределено. В поле строки окно выбора типа данных не открывалось, но проверка выдавала что оно открыто. Раньше вроде такого не было. Смена платформы повлияла? Отладка вызова методов управляемых форм без их открытия через внешние обработки БСП по HTTP пока работает.

Не работает установка отбора перед поиском в списке чтобы поиск выполнялся быстрее. Не работает вызов метода Утверждений BDD в тест клиенте потому что они неопределены хотя инициализация объекта плагина выполняется. Без этих двух ошибок тесты проходят.

При активизации Что искать для простого типа данных окно списка становится активным окном приложения и оно закрыввалось вместо окна списка выбора, которое открывается для ссылочного типа.

…оходит. Утверждения BDD вызывались у объекта обработки ТестКлиент, а он не был инициализирован. Пробовал инициализировать объекты форм плагинов при получении форм при тестировании на клиенте, но не до конца разобрался с типами. Сделал использование утверждений в тест клиенте BDD через форму плагина УтвержденияBDD как в-общем то и надо было сделать изначально. Вопрос, нужно ли инициализировать объекты форм плагинов при использовании плагинов в виде форм на клиенте и как это сделать.

agaltsoff · 2018-01-07T03:02:19Z

@artbear Да там вроде кроме

ТестКлиенты переименовать в МенеджерТестКлиентов
API автотестирования перенести из УтвержденияBDD в новый плагин ТестКлиент

должны быть только изменения для тестирования через внешние обработки БСП.

Я тогда посмотрю по diffview какие ещё bsl файлы менялись кроме ТестКлиент МенеджерТестКлиентов УтвержденияBDD из тех что остались и сделаю описание изменений.

artbear · 2018-01-09T15:34:32Z

@agaltsoff Ага, жду описания

agaltsoff · 2018-01-09T18:31:47Z

В итоге сделал branch с того места где мы договорились

ТестКлиенты переименовать в МенеджерТестКлиентов

API автотестирования перенести из УтвержденияBDD в новый плагин ТестКлиент

и скопировал туда конечный результат всех последующих изменений. Вроде получилось то что надо. Видны только результаты изменений без промежуточных шагов. Назвал autotest. Из него сделал pull request, описание там, а этот закрою.

Пробовал конечно join commit и merge, но не взлетело. Видимо не до конца разобрался с этим ещё.

agaltsoff added 14 commits November 24, 2017 12:50

Шаболн плагина УтвержденияBDDForms и тестов к нему

a80c9fb

УтвержденияBDDForms ПодключениеКлиентаТестирования ОтключениеКлиентаТ…

0ddc27a

…естирования плюс тесты на это

Перенёс всё из формы УтвержденияBDDForms в УтвержденияBDD, удалил Утв…

7f23b16

…ержденияBDDForms

Открытие формы списка. Функционал действует но форма не открывается))

cb4762d

Исправил запуск и завершение в ТестКлиенты, тест открытия формы в Тес…

3d5bffd

…ты_УтвержденияBDDForms. Проходят тесты подключение, открытие списка, отключение.

Поиск в списке и открытие в ТестКлиенты.

d5c3810

Выделил области с помощью #Область #КонецОбласти

9178dc0

Убрал сообщения перед запуском и после запуска теста, добавил тест вы…

ca5f883

…зова уверждений через точку.

Версия 4.2.0.3

f44c610

Отбор в списке по регистратору. Отладка.

2335341

artbear self-assigned this Nov 28, 2017

artbear added this to the 4.3.0.0 milestone Nov 28, 2017

artbear added Gui testing 8.3 plugin candidates labels Nov 28, 2017

VladFrost reviewed Nov 28, 2017

View reviewed changes

agaltsoff added 18 commits December 8, 2017 09:36

ТестКлиенты.КОписаниюСтроки добавил тип Строка и Неопределено

2adb10c

Тест для установки отбора в списке, не проходит.

baa989e

ЭтоПустойСписок без использования выделения всех строк.

026b209

УстановитьОтборВСпискеПоРегистратору добавил проверки на открытие око…

3c93e3b

…н, когда они не проходят все предыдущие окна закрываются

УстановитьОтборВСписке с помощью расширенного поиска с учётом возможн…

5fc9130

…ого выбора типа данных

Отладка через БСП и ИР. Работает.

9b5bcd5

Отладка через БСП и ИР работает в рабочей базе.

ee388d2

Обновил ИР до 4.37

minor ТестКлиенты скопировал сюда из сетевого каталога. Сообщение об …

8cc87f9

…ошибке теста с новой строки.

Плагины и тесты из дополнительных отчётов и обработки БСП загружаются…

eddaf38

…. Проверено. Отладка работает через раз.

В xddTestRunner перенёс загрузку плагинов из дополнительных обработок…

8620344

… БСП в инициализацию.

Сделал вызовы методов БСП через Выполнить/Вычислить для запуска без о…

8657cdd

…шибок при отсутствии БСП.

Добавил модуль ТестКлиент, работу с клиентом тестирования перенёс туд…

293c849

…а, ТестКлиенты переименовал в МенеджерТестКлиентов

Перенёс всё в конфигурацию.

c0c2b6d

Тесты ТестКлиент проходят.

f151cb9

Убрал неиспользуемое из Тест_ТестКлиент

00b53d8

Выгрузил тестовую конфигурацию с новыми плагинами

dbb78fe

agaltsoff added 6 commits January 3, 2018 00:43

Исправил мелкие ошибки. Переименовал области по стандартам 1С.

20fa1be

agaltsoff closed this Jan 9, 2018


		УбедитьсяЧтоЭтоСпискок();

		ТестируемыйЭлемент.ВыделитьВсеСтроки();

		&НаКлиенте
		Функция ЗабытьЗапущенныйКлиент(ИмяПользователя, Порт)


		&НаКлиенте
		Процедура УбедитьсяЧтоЭтоСпискок()

		СтатусыРезультатаТестирования = Новый ФиксированнаяСтруктура(СтатусыРезультатаТестирования);

		#КонецОбласти

Autotest api #754

Autotest api #754

Conversation

agaltsoff commented Nov 28, 2017 • edited Loading

artbear commented Nov 28, 2017

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

agaltsoff Nov 30, 2017 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

agaltsoff Dec 1, 2017 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

agaltsoff Nov 29, 2017 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

agaltsoff Nov 29, 2017 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

agaltsoff commented Nov 28, 2017 • edited Loading

artbear commented Nov 28, 2017

artbear commented Nov 28, 2017 • edited Loading

artbear commented Nov 28, 2017

agaltsoff commented Nov 28, 2017 • edited Loading

artbear commented Nov 28, 2017

agaltsoff commented Nov 28, 2017

agaltsoff commented Nov 28, 2017 • edited Loading

artbear commented Nov 28, 2017

artbear commented Nov 28, 2017

agaltsoff commented Dec 14, 2017

artbear commented Dec 14, 2017

agaltsoff commented Jan 7, 2018

artbear commented Jan 9, 2018

agaltsoff commented Jan 9, 2018 • edited Loading

agaltsoff commented Nov 28, 2017 •

edited

Loading

agaltsoff Nov 30, 2017 •

edited

Loading

agaltsoff Dec 1, 2017 •

edited

Loading

agaltsoff Nov 29, 2017 •

edited

Loading

agaltsoff Nov 29, 2017 •

edited

Loading

agaltsoff commented Nov 28, 2017 •

edited

Loading

artbear commented Nov 28, 2017 •

edited

Loading

agaltsoff commented Nov 28, 2017 •

edited

Loading

agaltsoff commented Nov 28, 2017 •

edited

Loading

agaltsoff commented Jan 9, 2018 •

edited

Loading