Skip to content

Latest commit

 

History

History
1026 lines (677 loc) · 45.5 KB

CHANGELOG.md

File metadata and controls

1026 lines (677 loc) · 45.5 KB

v3.3.4: Update project description

📚 Docs

  • updated project description.

👥 Contributors

@malakhovks

v3.3.3: Bug fixes of deployment process

🔴 Bug fixes

  • updated up to python:3.7.17-slim-bookworm base docker image;
  • fixes wine installation/setup on Debian 12 Bookworm.

👥 Contributors

@malakhovks

v3.3.2, 2021-05-01

🔴 Виправлення помилок

ENG🇬🇧

  • виправлено помилку nlp.max_length limit exceeded: Text of length 1195652 exceeds maximum of 1000000. The parser and NER models require roughly 1GB of temporary memory per 100,000 characters in the input. This means long texts may cause memory allocation errors. If you're not using the parser or NER, it's probably safe to increase the nlp.max_length limit. The limit is in number of characters, so you can check whether your inputs are too long by checking len(text). Встановлено ліміт NLP_EN.max_length = 5000000;

  • виправлено помилку ImportError: cannot import name 'escape' from 'jinja2': This happens because Jinja has removed those functions in a recent version — 3.1.0 — released on March 24th, 2022.

    Markup and escape should be imported from MarkupSafe.

    You have two options form here:

    1. either this error comes from one of your dependency. The first thing you should consider is to upgrade the said dependence(s). If this is not possible, what you can do, from here is to downgrade your Jinja version to a version that would still include escape, for example, adding it explicitly in your requirements.txt:
    jinja2<3.1.0
    
    1. or, your error is from code you wrote, so you can fix it by importing it from MarkupSafe, as suggested in the Jinja release notes.

    So, you should use

    from markupsafe import escape

    instead of

    from jinja2 import escape

    При використанні Flask==1.1.2 треба зафікмувати наступні залежності: jinja2<3.1.0; itsdangerous==2.0.1, Werkzeug<2.0.0;

  • дрібні виправлення коду.

⚠️ Зауваження

ENG🇬🇧

  • оновлено бібліотеку spaCy до версії 3.0.6;
  • встановлено keepalive_timeout 1050 для nginx;

v3.3.1, 2021-04-21

🔴 Виправлення помилок

  • ENG🇬🇧 виправлено шлях для отримання parce.xml на клієнтській частині;
  • UKR🇺🇦 ENG🇬🇧 дрібні виправлення.

v3.3.0, 2021-04-21

⚠️ Зауваження

  • ENG🇬🇧 Змінено URL кінцевої точки API для отримання XML-структуру parce.xml: було: host[:port]/ken/api/en/file/parcexml стало: host[:port]/ken/api/en/parcexml Відтепер для обробки/аналізу текстів у вигляді повідомлень та файлів діє одна й та сама кінцева точка API: host[:port]/ken/api/en/parcexml.

🏭 Нові можливості

  • ENG🇬🇧 Додано API для обробки/аналізу текстів (а саме, отримання parce.xml) у вигляді повідомлень. Приклад вхідних даних:

    {
      "message": "After the vision of the Semantic Web was broadcasted at the turn of the millennium, ontology became a synonym for the solution to many problems concerning the fact that computers do not understand human language: if there were an ontology and every document were marked up with it and we had agents that would understand the mark-up, then computers would finally be able to process our queries in a really sophisticated way. Some years later, the success of Google shows us that the vision has not come true, being hampered by the incredible amount of extra work required for the intellectual encoding of semantic mark-up – as compared to simply uploading an HTML page."
    }

    HTTP method: POST Кінцева точка: host[:port]/ken/api/en/parcexml

👍 Покращення

  • UKR🇺🇦 ENG🇬🇧 Оновлено опис API для обробки/аналізу текстів у вигляді повідомлень та файлів для Англійської та Української мов у файлі HELP.md.

🔴 Виправлення помилок

  • UKR🇺🇦 ENG🇬🇧 дрібні виправлення.

v3.2.0, 2021-04-16

⚠️ Зауваження

  • ENG🇬🇧 оновлено бібліотеку spaCy до версії 3.0.5;
  • ENG🇬🇧 оновлено модель бібліотеки spaCy для англійської мови en_core_web_sm до версії 3.0.0;
  • оновлено бібліотеку pdfminer.six до версії 20201018;
  • оновлено бібліотеку flask-cors до версії 3.0.10;
  • ENG🇬🇧 додано нові документи для тестування сервісів для Англійської мови;
  • ENG🇬🇧 Змінено URL кінцевої точки API для отримання XML-структуру allterms.xml: було: host[:port]/ken/api/en/file/allterm стало: host[:port]/ken/api/en/allterms Відтепер для обробки/аналізу текстів у вигляді повідомлень та файлів діє одна й та сама кінцева точка API: host[:port]/ken/api/en/allterms.

🏭 Нові можливості

  • ENG🇬🇧 Додано API для обробки/аналізу текстів (а саме, отримання allterms.xml) у вигляді повідомлень. Приклад вхідних даних:

    {
      "message": "After the vision of the Semantic Web was broadcasted at the turn of the millennium, ontology became a synonym for the solution to many problems concerning the fact that computers do not understand human language: if there were an ontology and every document were marked up with it and we had agents that would understand the mark-up, then computers would finally be able to process our queries in a really sophisticated way. Some years later, the success of Google shows us that the vision has not come true, being hampered by the incredible amount of extra work required for the intellectual encoding of semantic mark-up – as compared to simply uploading an HTML page."
    }

    HTTP method: POST Кінцева точка: host[:port]/ken/api/en/allterms

👍 Покращення

  • ENG🇬🇧 покращено обробку складних термінів, зокрема, з трьох слів;
  • UKR🇺🇦 ENG🇬🇧 Оновлено опис API для обробки/аналізу текстів у вигляді повідомлень та файлів для Англійської та Української мов у файлі HELP.md.

🔴 Виправлення помилок

  • UKR🇺🇦 ENG🇬🇧 виправлені помилки відображення/візуалізації залежностей для термінів в елементі #depparse_tab, а саме в #displacy;
  • UKR🇺🇦 ENG🇬🇧 дрібні виправлення.

v3.1.0, 2021-03-02

👍 Покращення

  • оновлено бібліотеку spaCy до версії 2.3.5;
  • оновлено модель бібліотеки spaCy en_core_web_sm до версії 2.3.1;
  • elementTree API оновлено до версії python 3.7.9;

🔴 Виправлення помилок

  • виправлено xml declaration (elementTree API оновлено до версії python 3.7.9);
  • дрібні виправлення.

v3.0.3, 2020-10-16

🔴 Виправлення помилок

  • Дрібні виправлення.

v3.0.2, 2020-10-16

👍 Покращення

  • Оновлено платформу Python до версії Python 3.7.9.

🔴 Виправлення помилок

  • Дрібні виправлення.

v3.0.1, 2020-10-16

🏭 Нові можливості

  • UKR🇺🇦 Додано функцию заповнення контекстів в онтологічному шаблоні (вхідні структури: allterms.xml та structure.xml).

🔴 Виправлення помилок

  • Дрібні виправлення.

v3.0.0-beta-6, 2020-08-21

📚 Документація

  • UKR🇺🇦 Створено окрему документацію по API та використанню API-ендпоентів - HELP.md.

🔴 Виправлення помилок

  • Дрібні виправлення.

v3.0.0-beta-5, 2020-08-20

🏭 Нові можливості

  • UKR🇺🇦 Додано API для обробки/аналізу текстів у вигляді повідомлень. Приклад вхідних даних:

    {
      "message": "Не зважаючи на стрімкий розвиток індустрії інформатики протягом останніх кількох десятків років, процес самовизначення інформатики як науки все ще не можна вважати завершеним."
    }

    Кінцева точка: http://IP:PORT/kua/api/task/message/queued

v3.0.0-beta-4, 2020-05-19

🏭 Нові можливості

  • UKR🇺🇦 ENG🇬🇧 Додано можливість завантаження таблиці з зовнішнього XLSX документу.

v3.0.0-beta-3, 2020-05-14

🔴 Виправлення помилок

  • UKR🇺🇦 ENG🇬🇧 Виправлено помилку при збереженні таблиці в формат EXCEL (встановлено формат файлу xlsx замість xls) з використанням FileSaver.js та xlsx.full.min.js.

v3.0.0-beta-2, 2020-05-14

🔴 Виправлення помилок

  • UKR🇺🇦 ENG🇬🇧 Виправлено помилку при збереженні таблиці в формат EXCEL (встановлено розширення файлу xls замість xlsx).

v3.0.0-beta-1, 2020-05-07

🏭 Нові можливості

  • UKR🇺🇦 ENG🇬🇧 Здійснено перехід проекту на актуальну версію Python 3 та відповідне оновлення початкового коду.

👍 Покращення

  • ENG🇬🇧 Здійснено перехід на актуальну версію бібліотеки spaCy та її моделей.

v2.0.0-beta-73, 2020-04-16

⚠️ Зауваження

  • UKR🇺🇦 ENG🇬🇧 Встановлені постійні залежності в requirements.txt (для підтримки Python 2.7.17).

v2.0.0-beta-72, 2020-04-16

🔴 Виправлення помилок

  • ENG🇬🇧 Виправлено помилку при збереженні локально файлів allterms.xml, parce.xml.

👍 Покращення

  • UKR🇺🇦 Прискорено аналіз документів розміром від 50000 до 100000 байт.

v2.0.0-beta-71, 2020-03-08

🔴 Виправлення помилок

  • UKR🇺🇦 Виправлено помилку інтерактивного підсвічування термінів (при виборі терміна в елементі #term-tree).

v2.0.0-beta-70, 2020-02-27

🔴 Виправлення помилок

  • UKR🇺🇦 Протестовано та виправлено роботу бібліотеки Konspekt.exe (для української мови версії від 03-11-2018) з файлами великого розміру.
  • UKR🇺🇦 Вимкнено режим налагодження wine (додано змінну середовища export WINEDEBUG=-all).
  • UKR🇺🇦 Виправлено помилку інтерактивного підсвічування термінів (якщо частота появи терміна в тексті перевищує 300 разів, в цьому випадку буде відключене інтерактивне підсвічування терміна задля коректного роботи інтерфейсу веб-застосунку).

v2.0.0-beta-67, 2020-02-24

👍 Покращення

  • UKR🇺🇦 ENG🇬🇧 На головну веб-сторінку додатка додано номер бета-версії.

v2.0.0-beta-66, 2020-02-22

🔴 Виправлення помилок

  • UKR🇺🇦 Виправлено список змін.

v2.0.0-beta-65, 2020-02-22

⚠️ Зауваження

  • UKR🇺🇦 Додано обмеження на розмір оброблюваного файлу, яке становить 2 мб.
  • UKR🇺🇦 Протестовано роботу бібліотеки Konspekt.exe (для української мови версії від 03-11-2018) з файлами великого розміру.
  • UKR🇺🇦 Змінено специфікацію JSON-файлу проекту (Konspekt.exe для української мови версії від 03-11-2018). Результати роботи Konspekt.exe (для української мови версії від 03-11-2018), а саме файли allterms.xml та parce.xml відтепер зберігаються як blob в IndexedDB, з використанням бібліотеки localforage; унікальні ідентифікатори на ці blob містяться у структурі JSON-файлу проекту, відповідно "alltermsxmlAlias": "" - аліас для allterms.xml та "parcexmlAlias": "" - аліас для parce.xml.
Специфікація `JSON`-файлу проекту (Konspekt.exe для української мови версії від 03-11-2018):

{
  "project": {
    "name": "",
    "notes": "",
    "content": {
      "documents": [
        {
          "names": {
            "original": "",
            "unique": ""
          },
          "results": {
            "alltermsxmlAlias": "",
            "parcexmlAlias": "",
            "alltermsjson": {},
            "parcejson": {}
          }
        },
        {
          "names": {
            "original": "",
            "unique": ""
          },
          "results": {
            "alltermsxmlAlias": "",
            "parcexmlAlias": "",
            "alltermsjson": {},
            "parcejson": {}
          }
        }
      ]
    }
  }
}

👍 Покращення

  • UKR🇺🇦 ENG🇬🇧 Додана стартова сторінка вибору мови Конспекту (для обробки документів української або англійською).
  • UKR🇺🇦 Зменшено час аналізу файлів бібліотекою Konspekt.exe (для української мови версії від 03-11-2018).
  • UKR🇺🇦 При виборі терміна в елементах <select> #uploadResultList (спиcок термінів) та <select> #term-tree (дерево термінів), якщо обчислення займає тривалий час, то інтерфейс відображає процес завантаження.

🔴 Виправлення помилок

  • UKR🇺🇦 Виправлені функції сортування в елементі <select> #uploadResultList.
  • UKR🇺🇦 Виправлені технологія та функції підсвічування термінів (function mark(text), function markTerms(term)) в елементі #text-content.

v2.0.0-beta-47, 2020-01-08

⚠️ Зауваження

  • UKR🇺🇦 Змінено специфікацію JSON-файлу проекту (Konspekt.exe для української мови версії від 03-11-2018):
Специфікація `JSON`-файлу проекту (Konspekt.exe для української мови версії від 03-11-2018):

{
  "project": {
    "name": "",
    "notes": "",
    "content": {
      "documents": [
        {
          "names": {
            "original": "",
            "unique": ""
          },
          "results": {
            "alltermsxmlCompressed": "",
            "parcexmlCompressed": "",
            "alltermsjson": {},
            "parcejson": {}
          }
        },
        {
          "names": {
            "original": "",
            "unique": ""
          },
          "results": {
            "alltermsxmlCompressed": "",
            "parcexmlCompressed": "",
            "alltermsjson": {},
            "parcejson": {}
          }
        }
      ]
    }
  }
}

🔴 Виправлення помилок

  • UKR🇺🇦 ENG🇬🇧 Видалено невикористовувані JavaScript-бібліотеки, зокрема, tippy.js.

v2.0.0-beta-41, 2019-12-25

🔴 Виправлення помилок

  • UKR🇺🇦 Виправлено проблему з попередньо визначеними об'єктами XML r'&|>|<|_|"|\.\.+|\s\s+' (Konspekt.exe для української мови версії від 03-11-2018).
  • UKR🇺🇦 Виправлені проблеми з кодиваннями utf-8/windows-1251.

👍 Покращення

  • UKR🇺🇦 Додана функція динамічного визначення часу на тривалість роботи Konspekt.exe для української мови версії від 03-11-2018:

    if len(args['body']) <= 50000:
      time_for_analyzing = 65
    elif len(args['body']) > 50000 and len(args['body']) <= 100000:
      time_for_analyzing = 125
    elif len(args['body']) > 100000 and len(args['body']) <= 200000:
      time_for_analyzing = 185
    elif len(args['body']) > 200000:
      time_for_analyzing = 300

v2.0.0-beta-15, 2019-12-21

🔴 Виправлення помилок

  • UKR🇺🇦 Виправлено помилки при decode()/encode().

v2.0.0-beta-12, 2019-12-20

👍 Покращення

  • UKR🇺🇦 Додана детекція кодування бібліотекою chardet.

v2.0.0-beta-11, 2019-12-20

🔴 Виправлення помилок

  • UKR🇺🇦 Виправлено помилку роботи утиліти Xvfb (Xvfb or X virtual framebuffer is a display server implementing the X11 display server protocol) та програми Konspekt.exe для української мови (версії від 03-11-2018).
  • UKR🇺🇦 Виправлено помилки при кодуванні: decode the file as CP1251 ignoring any errors.

v2.0.0-beta-5, 2019-12-19

👍 Покращення

  • UKR🇺🇦 Оновлено Konspekt.exe для української мови до версії від 03-11-2018.
  • UKR🇺🇦 Оновлено документацію та список змін.

v2.0.0-beta-4, 2019-12-18

🔴 Виправлення помилок

  • ENG🇬🇧 Виправлені помилки англійської локалізації інтерфейсу користувача англомовної частини.
  • ENG🇬🇧 Дрібні виправлення JavaScript на клієнті.

v2.0.0-beta-3, 2019-12-18

👍 Покращення

  • ENG🇬🇧 Додана англійська локалізація інтерфейсу користувача англомовної частини.

🔴 Виправлення помилок

  • Дрібні виправлення на серверній частині.

v2.0.0-beta-2, 2019-12-17

🔴 Виправлення помилок

  • Дрібні виправлення на серверній частині.

v2.0.0-beta-1, 2019-12-17

🏭 Нові можливості

🌟 Багатомовна версія ENG🇬🇧, UKR🇺🇦

🌟 Initial commit for multilingual version ENG🇬🇧, UKR🇺🇦


v1.0.5, 2019-12-11

🔴 Виправлення помилок

  • Виправлено помилку при нумерації в тегах <relup>/<reldown> файлу allterms.xml. Нумерація в тегах <relup>/<reldown> файлу allterms.xml починається з 0.
  • Виправлення JavaScript на клієнті згідно нової нумерації в тегах <relup>/<reldown>, <sentpos> файлу allterms.xml.

v1.0.4, 2019-12-10

🔴 Виправлення помилок

  • Виправлено помилку при нумерації речень в тегу <sentpos> файлу allterms.xml. Нумерація речень в тегу <sentpos> файлу allterms.xml починається з 0. Для індексації речень з використанням spaCy (в цій бібліотеці відсутня індексація речень) за основу використано приклад:

    for sent_i, sent in enumerate(doc.sents):
        for token in sent:
            print(sent_i, token.i, token.text)
  • Розширення файлу при збереженні таблиці #table-main в формат Office Open XML Workbook виправлено на xlsx.

  • Дублюючий символ крапка . при обробці тексту з PDF файлів. В функцию def text_normalization_default(raw_text) додано можливість видалення дублюючого символу крапка . (а саме заміна на один символ крапка .) при нормалізації тексту.

👍 Покращення

  • Змінено елемент <title> головної сторінки index.html (додано мовний код EN додатку ken згідно стандарту представлення назв мов ISO 639-1):

    <title>Конспект (EN) - v1.0.4</title>

v1.0.3, 2019-10-31

⚠️ Зауваження

  • Для коректної роботи клієнтської частини веб-застосунка KEn, необхідно використовувати актуальну версію браузера Google Chrome (70 та вище).
  • При оновленні KEn з версії v1.0.2 (або більш ранньої) до v.1.0.3 дані проаналізованих раніше документів будуть втрачені.
  • Змінено специфікацію JSON-файлу проекту:
Специфікація `JSON`-файлу проекту:

{
  "project": {
    "name": "",
    "notes": "",
    "content": {
      "documents": [
        {
          "names": {
            "original": "",
            "unique": ""
          },
          "results": {
            "alltermsxmlCompressed": "",
            "parcexmlCompressed": "",
            "alltermsjson": {},
            "parcejson": {},
            "nerhtmlCompressed": ""
          }
        },
        {
          "names": {
            "original": "",
            "unique": ""
          },
          "results": {
            "alltermsxmlCompressed": "",
            "parcexmlCompressed": "",
            "alltermsjson": {},
            "parcejson": {},
            "nerhtmlCompressed": ""
          }
        }
      ]
    }
  }
}

👍 Покращення

  • Реалізовано функцію визначення браузера клієнта (Для коректної роботи клієнтської частини веб-застосунка KEn, необхідно використовувати актуальну версію браузера Google Chrome).

🔴 Виправлення помилок

  • Дрібні виправлення JavaScript на клієнті.
  • Виправлено роботу елемента #notes (Блокнот), а саме додано функцію автоматичного збереження вмісту елемента #notes до головного JSON-файлу проекту в поле notes, та відповідно змінено його специфікацію.

v1.0.2, 2019-09-27

⚠️ Зауваження

  • Значення параметра конфігурації app.config['MAX_CONTENT_LENGTH'] об'єкту Flask відновлено за замовчуванням (За замовчуванням об'єкт Flask прийме завантаження файлів на необмежену кількість пам'яті).

👍 Покращення

  • Змінено елемент <title> головної сторінки index.html (видалено рік):

    <title>Конспект - v1.0.2</title>

v1.0.1, 2019-08-24

⚠️ Зауваження

  • При оновленні KEn з версії v1.0.0 (або більш ранньої) до v.1.0.1 дані проаналізованих раніше документів будуть втрачені.

  • Змінено специфікацію JSON-файлу проекту:

Специфікація `JSON`-файлу проекту:

{
  "project": {
    "name": "",
    "content": {
      "documents": [
        {
          "names": {
            "original": "",
            "unique": ""
          },
          "results": {
            "alltermsxmlCompressed": "",
            "parcexmlCompressed": "",
            "alltermsjson": {},
            "parcejson": {},
            "nerhtmlCompressed": ""
          }
        },
        {
          "names": {
            "original": "",
            "unique": ""
          },
          "results": {
            "alltermsxmlCompressed": "",
            "parcexmlCompressed": "",
            "alltermsjson": {},
            "parcejson": {},
            "nerhtmlCompressed": ""
          }
        }
      ]
    }
  }
}

👍 Покращення

  • Реалізовано функції зжимання та відновлення строк з використанням програмної бібліотеки LZ-based compression algorithm for JavaScript, а саме поцедур compressToBase64/decompressFromBase64 (що зберігають allterms.xml в alltermsxmlCompressed, та parce.xml в parcexmlCompressedJSON-файлі проекту)).

🔴 Виправлення помилок

  • Виправлено помилку графічного інтерфейсу розташування елементу #notes відносно #displacy, #displacy-ner, #displacy-label.

v1.0.0, 2019-08-20

⚠️ Зауваження

  • При оновленні KEn з версії v0.7.1 (або більш ранньої) до v.1.0.0 дані проаналізованих раніше документів будуть втрачені.

👍 Покращення

  • Збільшено розмір nginx client_max_body_size до 500 mb (що дозволяє проводити обробку файлів розміром до 500 мб).
  • Оновлено функції та процедури роботи клієнтської частини програми з використанням IndexedDB API та програмної бібліотеки localForage, що відповідають за збереження та ініціалізацію результатів лінгвістичного аналізу документів та основного файлу проекту:
    • додавання розбору (РІС, allterms, parce) кожного нового документу до головного JSON-файл проекту;
    • збереження проекту в локальний JSON-файл, що міститеме розбори всіх документів (РІС, allterms, parce) та налаштування;
    • відкриття проекту з локального JSON-файлу.

🔴 Виправлення помилок

  • Виправлено роботу елемента #termTree, а саме додано функцію "візуалізації залежностей термінів" з елементу #termTree в елементі #depparse_tab, а саме в #displacy.
  • Виправлено помилку DOMException QuotaExceededError / QUOTA_EXCEEDED_ERR: DOM Exception 22 (Перевищено розмір квоти для localStorage, що становить 5 Мб. Тобто є ліміт на кількість файлів, що можуть бути збережені в проекті). Збереження файлів проекту відтепер здійснюється з використанням IndexedDB API та програмної бібліотеки localForage. Довідка:
    • про розмір квот для localStorage та скрипт localStorageDB (використовує IndexedDB як key-value сховище, квота може перевищувати 5Мб) - localStorageDB скрипт;
    • максимальна квота для IndexedDB - Maximum item size in IndexedDB;
    • поліпшене керування сховищем в браузері: бібліотека localForage;

⚠️ Застаріле

  • Функції та процедури роботи клієнтської частини програми на основі localStorage (що відповідають за збереження та ініціалізацію результатів лінгвістичного аналізу файлів проекту), окрім таблиці.

v0.7.1, 2019-08-14

👍 Покращення

  • Додано функцію "копіювання по кліку" термінів з елементу #termTree (дерево термінів) в елемент #table-body (таблиця).
  • Оновлено меню "Допомога" (елемент #button-dropdown-help): додано "Журнал змін" (елемент #button-changelog) - Журнал змін проекту CHANGELOG.md.

🔴 Виправлення помилок

  • Виправлено імена, що надаються за замовчуванням при збереженні в файл списків "Терміни" (#uploadResultList), РІС (#uploadUnknownTerms).

v0.7.0, 2019-08-10

⚠️ Зауваження

  • При оновленні KEn з версії v0.6.0 до v.0.7.0 дані проаналізованих раніше файлів будуть втрачені або працюватимуть некоректно.

👍 Покращення

  • Оновлено функції та процедури роботи з localStorage, що відповідають за збереження та ініціалізацію результатів лінгвістичного аналізу файлів проекту.
  • Вимкнено запис логів при доступі до файлів, що знаходяться в папці static.

🔴 Виправлення помилок

  • Виправлено оновлення деяких елементів при перемиканні/вибору файлів в елементі #projectFileList ("Файли"). Оновлються елементи:
    • #displacy-ner ("Візуалізація")
    • #uploadUnknownTerms ("РІС") відповідно до обраного файлу в елементі #projectFileList ("Файли").
  • Виправлено очищення відповідних розборів документів (-parsexml, -alltermsxml та JSON-розборів), що зберігаються в localStorage при видаленні файлів проекту зі списку Файли #projectFileList.
  • Дрібні виправлення JavaScript на клієнті (зокрема, елементів контейнеру class="col-md-6").

v0.6.0, 2019-08-07

🏭 Нові можливості

  • Реалізовано можливість локального збереження файлів разбору allterms.xml та parce.xml через графічний інтерфейс користувача, зокрема, через взаємодію з елементом #button-save відповідно:
    • #button-save-allterms-xml для збереження allterms.xml;
    • #button-save-parce-xml для збереження parce.xml.

🔴 Виправлення помилок

  • Дрібні виправлення JavaScript на клієнті.

v0.5.5, 2019-08-03

🔴 Виправлення помилок

  • Виправлено id елементу #text-content-panel-body.

v0.5.4, 2019-07-30

🔴 Виправлення помилок

  • Виправлено поведінку елементу #notes (відключено можливість змінення розміру).

v0.5.3, 2019-07-28

🔴 Виправлення помилок

  • Виправлено випадкове виконання функцій events при взаємодії з елементами:
    • #uploadResultList
    • #projectFileList
    • #uploadUnknownTerms

v0.5.2, 2019-07-27

🔴 Виправлення помилок

  • Виправлено помилку роботи з файлами, що мають однакові імена але різний зміст (Реалізовано генерування унікальних імен файлів для localStorage).
  • Дрібні виправлення JavaScript на клієнті.

v0.5.1, 2019-07-25

🔴 Виправлення помилок

  • Виправлено дерево термінів: Реалізовано активне дерево термінів, тобто - перехід до вибраного терміну в дереві термінів (відповідне відображення речень з терміном в елементі #term-tree та виділення речень з терміном в sents_from_text).
  • Дрібні виправлення інтерфейсу.
  • Видалено невикористовувані JavaScript-бібліотеки.

v0.5.0, 2019-07-25

🏭 Нові можливості

  • Реалізовано підсвічування речень з вибраним терміном в елементі #sents_from_text та вибраних термінів в #text-content з використанням бібліотеки mark.js

🔴 Виправлення помилок

  • Дрібні виправлення інтерфейсу.
  • Дрібні виправлення серверної частини: змінено роботу нормалізації тексту (відключено line = re.sub(r'\W', ' ', line, flags=re.I)).

v0.4.2, 2019-07-23

🔴 Виправлення помилок

  • Виправлено номер версії в елементі title.

v0.4.1, 2019-07-23

👍 Покращення

  • Додано номер поточної версії KEn до елементу title.

v0.4.0, 2019-07-23

🏭 Нові можливості

  • Реалізовано відображення показників частоти термінів за допомоги спливаючої підказки title для кожного терміну елементу #uploadResultList. Реалізовано можливість сортування термінів в елементі #uploadResultList згідно:
    • частоти (за збільшенням);
    • частоти (за зменшенням);
    • за алфавітом;
    • за черговою появою в тексті;
  • Реалізовано елемент #sort-select для обрання відповідного типу сортування.

👍 Покращення

  • Рефакторинг програмного коду.

🔴 Виправлення помилок

  • Дрібні виправлення.

📚 Документація

  • Оновлено розділи Системні вимоги згідно нових мінімальних системних вимог, україномовної частини README.md.

v0.3.0, 2019-07-22

🔴 Виправлення помилок

  • Виправлено помилку UnicodeDecodeError: 'utf8' codec can't decode byte. Декодовано файл як UTF-8, ігноруючи будь-які символи які закодовані в неправильному кодуванні:

    # decode the file as UTF-8 ignoring any errors
    raw_text = file.read().decode('utf-8', errors='replace')
  • Включено збереження макета документа, включаючи пробіли, які є лише візуальними, а не символами. Виправлено згідно python pdfminer converts pdf file into one chunk of string with no spaces between words:

    # save document layout including spaces that are only visual not a character
    """
    some pdfs mark the entire text as figure and by default PDFMiner doesn't try to perform layout analysis for figure text.
    To override this behavior the all_texts parameter needs to be set to True
    in function def get_text_from_pdf_pdfminer(pdf_path)
    """
    laparams = LAParams()
    setattr(laparams, 'all_texts', True)
  • Виправлено роботу елементу iziToast (нотифікації про процес обробки документів).

v0.2.8, 2019-07-20

🔴 Виправлення помилок

  • Реалізовано видалення символу ° на етапі нормалізації тексту.
  • Реалізовано видалення всіх не словникових символів (\W non-alphanumeric characters) на етапі нормалізації тексту.
  • Реалізовано видалення всіх слів, що містять числа при нормалізації тексту.

v0.2.7, 2019-07-19

🔴 Виправлення помилок

  • Вимкнено появу стандартного контекстного меню на елементі #projectFileList при евенті видалення файлів проекту за кліком правої кнопки миші.
  • Збільшено максимально допустимий розмір тіла запиту клієнта до 50 мегабайт: client_max_body_size 50M.

📚 Документація

  • Додано файл CHANGELOG.md, що містить список версій програми та список відповідних змін програмного коду, виправлень та покращень.

v0.2.6, 2019-07-18

🔴 Виправлення помилок

  • Виправлено скролінг в елементах класу .col-md-6.

👍 Покращення

  • Додано вкладку "Блокнот" з елементом textarea до .col-md-6.

v0.2.5, 2019-07-18

🔴 Виправлення помилок

  • Дрібні виправлення.

👍 Покращення

  • Видалено тег версій з кінцевих точок API: було: host[:port]/ken/api/**v1.0**/en/file/allterms стало: host[:port]/ken/api/en/file/allterms.
  • Додано горизонтальный скролл до елементів id="uploadResultList"; #term-tree.
  • Додано можливість видалення файлів зі списку "Файли" id="projectFileList" по кліку правої кнопки миші.
  • Оновлено структуру проекту.
  • Рефакторинг програмного коду.

📚 Документація

  • Додана настанова користувача Як зберегти Docker image в файл (резервне копіювання) для подальшого використання на іншому сервері.
  • Виправлено виділення термінів на виокремлення термінів.
  • Оновлення україномовної частини README.md.

v0.2.4, 2019-07-08

🔴 Bug fixes

  • Fix sentence duplication in id="text-content".
  • Fix id="sents_from_text" area to update for a new text.
  • Fix add text from last file to id="sents_from_text" area.
  • Fix add text to id="sents_from_text" area when selecting files from id="projectFileList" select list.

👍 Improvements

  • Update project structure.
  • Clean up source code.

📚 Tutorial and doc improvements

  • Update UA part of README.md.

🔴 Виправлення помилок

  • Виправлено дублювання речення в елементі id =" text-content ".
  • Виправлено оновлення елементу id="sents_from_text" згідно нового тексту.
  • Виправлено додавання тексту з останнього опрацьованого файлу в область `id =" sents_from_text ".
  • Виправлено додавання тексту в елемент id="sents_from_text" при виборі відповідного файлу зі списку елементу id="projectFileList".
  • Дрібні виправлення.

👍 Покращення

  • Оновлено структуру проекту.
  • Рефакторинг програмного коду.

📚 Документація

  • Оновлення україномовної частини README.md.

v0.2.3, 2019-06-25

👍 Improvements

  • Remove (comment) dependencies for language_check.
  • Clean up source code.

📚 Tutorial and doc improvements

  • Update UA part of README.md.

👍 Покращення

  • Видалено залежності для language_check.
  • Рефакторинг програмного коду.

📚 Документація

  • Оновлення україномовної частини README.md.

v0.2.2, 2019-06-23

👍 Improvements

  • Fix Highlighting terms in text area id="text-content".
  • Fix loader colour.

👍 Покращення

  • Виправлено підсвічування виокремлених термінів у id="text-content".
  • Змінено колір елементу loader.

v0.2.1, 2019-06-23

👍 Improvements

  • Add save to csv.
  • Add save of all lists (terms, NER, files).
  • Add new notifications.
  • Fix titles.

🔴 Bug fixes

  • Various bug fixes.

📚 Tutorial and doc improvements

  • Update UA part of README.md.

👍 Покращення

  • Додано збереження в формат csv.
  • Додано можливість збереження списків (terms, NER, files).
  • Додні нотифікації про виконання процесів.
  • Виправлені елементи title.

🔴 Виправлення помилок

  • Дрібні виправлення.

📚 Документація

  • Оновлення україномовної частини README.md.

v0.2.0, 2019-06-21

👍 Improvements

  • All new table.
  • All new table controls.
  • Added saving table in Excel .xls format.

⚠️ Deprecations

  • Removed saving in .csv.

🔴 Bug fixes

  • Various bug fixes.

📚 Tutorial and doc improvements

  • Update UA part of README.md.

👍 Покращення

  • Нова таблиця.
  • Нові елементи управління таблицею.
  • Додана можливість збереження таблиці в формат Excel .xls.

⚠️ Застаріле

  • Видалено збереження в формат .csv.

🔴 Виправлення помилок

  • Різні дрібні виправлення.

📚 Документація

  • Оновлення україномовної частини README.md.

v0.1.1, 2019-06-02

🌟 Початковий попередній реліз


🌟 Initial pre-release