Кушнір Д. О. Методи та засоби пошуку та розпізнавання об’єктів у відеозображеннях на мобільній платформі в реальному часі

Дисертація присвячена вирішенню актуальної науково-технічної задачі розроблення методів та засобів пошуку та розпізнавання об’єктів у відеозображеннях на мобільній платформі у реальному часі. У вступі обґрунтовано актуальність теми дисертаційних досліджень, сформульовано мету дослідження та науково-технічні завдання, необхідні для її досягнення, показано зв’язок дослідження з науковими програмами та темами, наведено наукову новизну отриманих результатів, їх практичну цінність та особистий внесок здобувача. Подано відомості про апробацію результатів роботи та особистий внесок автора та його публікації. У першому розділі проведено аналіз існуючих підходів до інтеграції систем пошуку та розпізнавання об’єктів, а саме різновиди та архітектурні особливості моделей розпізнавання, та алгоритмів відстежування довільного класу об’єктів. Результати аналізу показали що інтеграція таких систем вимагає застосуванню певного набору фільтрів, спеціалізованих функцій активації, та алгоритмів відстеження об’єктів. У ході аналізу, як базову нейронну мережу обрано сімейство моделей згорткових нейронних мереж Yolo, як найбільш перспективну у галузі розпізнавання об’єктів. Додатково проведено аналіз існуючих мобільних систем для пошуку та розпізнавання об’єктів у реальному часі. Визначено, що великою проблематикою таких систем є відсутність ефективної платформи автоматичного тренування та інтеграції моделей у мобільну платформу. Також однією з проблем є підвищення ефективності роботи таких систем, оскільки вони переважно мають обмежені апаратні можливості. Як висновок до першого розділу, сформовано набір методів та засобів для вирішення проблеми пошуку та розпізнавання у відеозображеннях на мобільній платформі у реальному часі та сформульовано завдання дисертаційного дослідження. У другому розділі запропоновано метрики оцінювання результатів розпізнавання та відстеження об’єктів. Сформовано та описано загальну структуру моделі згорткової нейронної мережі Yolov4 для мобільної платформи. Використано модифікований метод кластеризації об’єктів розпізнавання на базі k-середніх++ для формування якорів розпізнавання. Розроблено методи фільтрації результатів розпізнавання. Розроблено 3 алгоритма відстеження об’єктів: алгоритмічний, алгоритмічний з навчанням з підкріпленням та алгоритм оперативного відстеження на базі мінімізаційного фільтру IOU, з використанням Угорського алгоритму як функції збіжності. Розроблено методи мемоїзації об’єктів відстеження. Запропоновано метод квантизації вихідних вагових коефіцієнтів згорткової нейронної мережі методом афінних перетворень. У третьому розділі, згідно з запропонованими методами та засобами, розроблено алгоритми тренування моделі згорткової нейронної мережі, автоматичного анотування вхідних зображень та конвертування моделі у CoreML формат для мобільної платформи. Згідно обраних засобів масштабування та контейнеризації Docker, побудована структура системи автономого анотування, тренування та конвертації такої моделі. З даної структури можна виділити Docker контейнери для кожного модуля/сервіса, які використовують масштабовані апаратні можливості операційної системи. Описано взаємозалежності між кожним елементом такої системи. Запропоновано засіб інтеграції вбудованого модуля для відстеження рухомих об’єктів на мобільній платформі iOS. Інтеграція полягає у використанні бібліотеки JavaScriptCore для передачі даних між системою та модулем. У четвертому розділі представлено розроблену архітектуру систем на мобільній операційній системі iOS та операційній системі Ubuntu та обґрунтовано вибір компонент таких систем. Представлено результати аналізу та апробації системи. Отримані результати дослідження підтвердили ефективність алгоритмів пошуку та розпізнавання у реальному часі. Ключові слова: розпізнавання об’єктів, алгоритм відстеження об’єктів, фільтрація результатів розпізнавання, масштабоване середовище, функції активації, відеозображення, мобільна платформа, згорткова нейронна мережа, реальний маcштаб часу, час пошуку об’єктів, час розпізнавання об’єктів, масштабована система Docker, сімейство моделей згорткових нейронних мереж Yolo, алгоритми кластеризації, Угорський алгоритм, афінні перетворення.