Яловега В. А. Методи обробки мультиспектральних зображень в комп’ютеризованій системі на основі нейронних мереж глибокого навчання

English version

Дисертація на здобуття ступеня доктора філософії

Державний реєстраційний номер

0824U001465

Здобувач

Спеціальність

  • 123 - Комп’ютерна інженерія

24-05-2024

Спеціалізована вчена рада

ДФ 64.050.133-5263

Національний технічний університет "Харківський політехнічний інститут"

Анотація

Дисертаційна робота присвячена вирішенню актуальної науково-технічної задачі обробки мультиспектральних супутникових зображень на основі нейронних мереж глибокого навчання у комп’ютеризованій системі з метою підвищення ефективності та якості роботи рішень, що матимуть можливість отримання оперативної інформації про об’єкти земної поверхні під час проведення дистанційного зондування земної поверхні. Метою дисертаційної роботи є підвищення якості класифікації оперативної інформації про об’єкти земної поверхні при проведенні дистанційного зондування за рахунок розробки нових та удосконалення існуючих методів класифікації мультиспектральних супутникових зображень на основі методів глибокого навчання. Об’єкт дослідження – процес класифікації мультиспектральних супутникових зображень дистанційного зондування земної поверхні в комп’ютеризованій системі. Предмет дослідження – методи та засоби багатокласової класифікації на основі методів глибокого навчання. За результатами дисертаційного дослідження отримано такі наукові результати: 1. Вперше запропоновано метод багатокласової класифікації мультиспектральних супутникових зображень земного покриву, який відрізняється від відомих процедурою пошуку оптимального набору спектральних індексів на основі вперше запропонованої архітектури згорткової нейронної мережі в комп’ютеризованій системі, що дозволило підвищити точність класифікації об’єктів земної поверхні. 2. Отримав подальший розвиток метод оптимізації згорткових нейронних мереж для задачі багатокласової класифікації супутникових зображень земного покриву за рахунок запропонованої процедури проведення оптимізації етапами структурного та параметричного налаштування при заданих бюджетних обмеженнях, що з одного боку дозволило підвищити результуючі метрики оцінки якості класифікації супутникових зображень згортковою нейронною мережею, а з іншого – врахувати наявні ресурсні обмеження. 3. Удосконалено метод багатокласової класифікації мультиспектральних супутникових зображень земного покриву високої розрізнювальної здатності, який відрізняється від відомих трансферним навчанням згорткових нейронних мереж на основі запропонованого набору даних EuroPlanet високої роздільної здатності та пошуком оптимальної конфігурації спектральних індексів, що дозволило підвищити точність класифікації даних дистанційного зондування земної поверхні та ефективність роботи моделі нейронної мережі й на території України. Розроблені та удосконалені методи є науково-методичною основою розробки алгоритмів та програмного забезпечення, практичне значення яких полягає в таких аспектах: - розроблено метод та програмне забезпечення побудови згорткової нейронної мережі для задачі багатокласової класифікації мультиспектральних супутникових зображень із оптимальним набором спектральних індексів, що дозволяє підвищити точність класифікації до 84,19% та метрику F1 до 84,05%; - отримав подальший розвиток метод та розроблено програмне забезпечення для оптимізації згорткових нейронних мереж задачі класифікації супутникових зображень земної поверхні, що покращило точність класифікації та метрику оцінки якості нейронних моделей F1 до 97.04% та до 97.05% відповідно, а для класів Herbaceous Vegetation, Permanent Crop, та Highway метрика F1 на тестовому наборі даних зросла до 20%. До того ж, використання сучасного фреймворку Ray Tune дозволило ефективно використати наявні ресурси з огляду визначених бюджетних обмежень; - розроблено процедуру фільтрації якісних супутникових зображень високої роздільної здатності, що пришвидшило й автоматизувало формування набору даних EuroPlanet у комп’ютеризованій системі; - удосконалено метод та розроблене програмне забезпечення багатокласової класифікації зображень земного покриву набору даних EuroPlanet високої роздільної здатності та з оптимальною конфігурацією спектральних індексів. Точність класифікації на тестових даних склала 93,83%, а метрика F1 зросла до 93,56%. Показано можливість практичного застосування удосконаленого метода. За результатами дослідження підтверджено теоретичну та практичну цінність розроблених методів та процедур, надано практичні рекомендації щодо їх застосування в умовах повномасштабного російського вторгнення в Україну та розглянуто перспективи подальшого розвитку запропонованих методів.

Публікації

1. V. Yaloveha, A. Podorozhniak, H. Kuchuk, and N. Garashchuk, "Performance comparison of CNNs on high-resolution multispectral dataset applied to land cover classification problem", Radioelectronic and Computer Systems, 2023, no. 2, pp. 107-118. (А)

2. V. Yaloveha, A. Podorozhniak, and H. Kuchuk, "Convolutional neural network hyperparameter optimization applied to land cover classification", Radioelectronic and Computer Systems, 2022, no. 1, pp. 115-128. (А)

3. V. Yaloveha, D. Hlavcheva, and A. Podorozhniak, "Spectral Indexes Evaluation for Satellite Images Classification using CNN", Journal of Information and Organizational Sciences, 2021, vol. 46, no. 2, pp. 95-113. (Scopus, Хорватія)

4. H. Kuchuk, D. Hlavcheva, A. Podorozhnіak, and V. Yaloveha, "Application of Deep Learning in the Processing of the Aerospace System’s Multispectral Images", Handbook of Research on Artificial Intelligence Applications in the Aviation and Aerospace Industries, IGI Global, 2020, pp. 134-147. (Монографія. Розділ 5.)

5. D. Hlavcheva, V. Yaloveha, A. Podorozhniak, and N. Lukova-Chuiko, "A comparison of classifiers applied to the problem of biopsy images analysis", Advanced Information Systems, Kharkiv, 2020, vol. 4, no. 2, pp. 12-16. (Б)

6. V. Yaloveha, D. Hlavcheva, and A. Podorozhniak, "Usage of convolutional neural network for multispectral image processing applied to the problem of detecting fire hazardous forest areas", Advanced Information Systems, Kharkiv, 2019, vol. 3, no. 1, pp. 116-120. (Б)

7. D. Hlavcheva, V. Yaloveha, and A. Podorozhniak, "Application of convolutional neural network for histopathological analysis", Advanced Information Systems, Kharkiv, 2019, vol. 3, no. 4, pp. 69-73. (Б)

8. Д. М. Главчева та В. А. Яловега, "Капсульні нейронні мережі", Системи управління, навігації та зв’язку, Полтава, 2018, Т. 5, № 51, с. 132-135. (Б)

9. V. Yaloveha, A. Podorozhniak, H. Kuchuk, T. Orlova, V. Noskov, and V. Gorbulik, "Modern Applications of High-Resolution Multispectral EuroPlanet Dataset", 2023 IEEE 4th KhPI Week on Advanced Technology (KhPIWeek), Kharkiv, Ukraine, 2023, pp. 166-170. (Scopus)

10. В. А. Яловега та А. О. Подорожняк, "Сучасні методи отримання мультиспектральних зображень високої роздільної здатності", Матеріали XХХІ Міжнар. науково-практ. конф. (MicroCAD-2023) Інформаційні технології: наука, техніка, технологія, освіта, здоров’я, Харків, 2023, c. 1218.

11. V. Yaloveha, А. Podorozhniak, "Transfer Learning Technique Applied to Multispectral Images Classification Problem", Матеріали XIII Міжнар. науково-техн. конф. Сучасні напрями розвитку інформаційно-комунікаційних технологій та засобів управління, Баку-Харків-Жиліна, 2023, с. 27.

12. А. О. Подорожняк та В. А. Яловега, "Сучасні алгоритми оптимізації згорткових штучних нейронних мереж", Матеріали IX Міжнар. науково-техн. конф. (ІУШІ-2022) Інформатика, управління та штучний інтелект, Харків, 2022, с. 109.

13. D. Hlavcheva, V. Yaloveha, A. Podorozhniak, and H. Kuchuk, "Comparison of CNNs for Lung Biopsy Images Classification", 2021 IEEE 2nd Ukraine Conference on Electrical and Computer Engineering (UKRCON), Lviv, Ukraine, 2021, pp. 1-5. (Scopus)

14. V. Yaloveha, D. Hlavcheva, and A. Podorozhniak, "Modern hyperparameter optimization approaches in Deep Learning", Матеріали XI Міжнар. науково-техн. конф. Сучасні напрями розвитку інформаційно-комунікаційних технологій та засобів управління, Харків, 2021, с. 13.

15. V. Yaloveha, D. Hlavcheva, and A. Podorozhniak, "CNN Hyperparameters Optimization Applied to EuroSAT Dataset", Матеріали VIII Міжнар. науково-техн. конф. (ІУШІ-2021) Інформатика, управління та штучний інтелект, Харків, 2021, с. 113.

16. D. Hlavcheva, V. Yaloveha, and A. Podorozhniak, "Using of Deep Learning Neural Networks for Biopsy Images Classification", Матеріали ХV Міжнар. науково-практ. конф. магістрантів та аспірантів «Теоретичні та практичні дослідження молодих науковців», Харків, 2021, с. 12.

17. D. Hlavcheva, V. Yaloveha, A. Podorozhniak, and H. Kuchuk, "Tumor Nuclei Detection in Histopathology Images Using R-CNN", Proceedings of the 16th International Conference on ICT in Education, Research and Industrial Applications (ICTERI 2020), Kharkiv, Ukraine, 2020, vol. 2740, pp. 63-74. (Scopus)

18. V. Yaloveha, D. Hlavcheva, and A. Podorozhniak, "Modern high-resolution satellite image processing overview", Матеріали Матеріали VІ Міжнар. науково-техн. конф. Проблеми інформатизації, Черкаси, 2020, с. 20.

19. V. Yaloveha, D. Hlavcheva, A. Podorozhniak, and H. Kuchuk, "Fire hazard research of forest areas based on the use of convolutional and capsule neural networks", 2019 IEEE 2nd Ukraine Conference on Electrical and Computer Engineering (UKRCON), Lviv, Ukraine, 2019, pp. 828-832. (Scopus)

20. Я. Р. Широкорад, Д. М. Главчева та В. А. Яловега, "Перенавчання нейронних мереж", Матеріали ІХ Міжнар. науково-техн. конф. Сучасні напрями розвитку інформаційно-комунікаційних технологій та засобів управління, Харків, 2019, с. 75.

21. Д. М. Главчева, В. А. Яловега та Я. Р. Широкорад, "Створення індексних зображень", Матеріали ІХ Міжнар. науково-техн. конф. Сучасні напрями розвитку інформаційно-комунікаційних технологій та засобів управління, Харків, с. 28, 2019.

22. Д. М. Главчева, В. А. Яловега та А. О. Подорожняк, "Дослідження пожежонебезпечності лісових територій на основі використання капсульних та згорткових нейронних мереж", Матеріали Всеукраїнської науково-практ. конф. молодих науковців і студентів «Інтелектуальний потенціал – 2019», Хмельницький, 2019, с. 14-17.

23. D. M. Hlavcheva, and V. A. Yaloveha, "CapsNet versus ConvNet", Матеріали V Міжнар. науково-техн. конф. (ІУШІ-2018) Інформатика, управління та штучний інтелект, Харків, 2018, с. 22-23.

24. В. А. Яловега, Д. М. Главчева, А. О. Подорожняк та Г. А. Кучук, "Комп’ютерна програма для обробки мультиспектральних зображень та навчання згорткової та капсульної нейронних мереж", Авторське право на твір № 87363, 2019, заявл. 01.04.2019, опубл. 26.07.2019, Бюл. № 53.

Файли

Схожі дисертації