Storozhyk D. Improvement of the automated road surface diagnostics system using artificial intelligence

Українська версія

Thesis for the degree of Doctor of Philosophy (PhD)

State registration number

0825U000477

Applicant for

Specialization

  • 151 - Автоматизація та комп’ютерно-інтегровані технології

Specialized Academic Board

PhD 7660

National Technical University of Ukraine «Igor Sikorsky Kyiv Polytechnic Institute»

Essay

Dissertation for the degree of Doctor of Philosophy in Specialty 151 “Automation and Computer-Integrated Technologies.” - National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute," Ministry of Education and Science of Ukraine, Kyiv, 2024. The dissertation presents the following new scientific results: 1. The automated road surface diagnostics system based on a multimodal approach with image integration was improved through the implementation of an image processing subsystem, the use of a thermal image augmentation method, and the developed subsystem for classifying road surface defects. 2. A method for multispectral image fusion with adaptive determination of weighting coefficients based on wavelet transformation was proposed and developed for the first time. The method involves decomposing initial images into wavelet coefficients and determining the weighting coefficients using a convolutional neural network. These coefficients define the contribution of the initial image to the resulting image and allow for an increase in the informativeness of the resulting image during road surface diagnostics. 3. A thermal image augmentation method based on image fusion for classification tasks was developed for the first time. This method combines wavelet coefficients obtained from initial images of the same object and applies inverse transformation to generate augmented images, which increases the probability of correct defect classification during road surface diagnostics. The practical value of the dissertation lies in the following developments: algorithmic and software tools for implementing an image processing subsystem in automated road defect diagnostics; algorithmic and software tools for implementing the augmentation method based on thermal image fusion; algorithmic and software tools for implementing the subsystem for classifying road surface defects; a labeled dataset of paired visible and infrared spectrum images of road surface defects for classification tasks; a structural scheme of the automated road surface diagnostics system using image fusion.

Research papers

Сторожик Д. В., Муравйов О.В., Протасов А.Г., Баженов В.Г., Богдан Г.А. (2020). Комплексування мультиспектральних зображень, як метод підвищення їх інформативності при бінарній сегментації. Наукові вісті КПІ. - 2020. - № 2. - С. 82–87.

Сторожик Д. В., Протасов А.Г., Муравйов О.В., Петрік В. Ф., Петренко Д.В. (2022). Автоматизація процесу теплового неруйнівного контролю шляхом застосування методу комплексування термограм. Технічна діагностика і неруйнівний контроль. - 2022. - № 2. - С. 20–23.

Сторожик Д. В., Протасов А. Г. (2022). Технології опрацювання зображень на основі комплексування даних (Огляд) Технічна діагностика і неруйнівний контроль. - 2022. - № 4. - С. 17–26.

Сторожик Д., Протасов А. (2023). Технології автоматизації діагностики дорожнього покриття. Вчені записки ТНУ імені В.І. Вернадського. Серія: технічні науки. - 2023. - Том 34 (73) № 2. - С. 219-227

Сторожик Д., Протасов А. (2024). Автоматизована система діагностики дорожнього покриття з комплексуванням зображень. Технічна діагностика та неруйнівний контроль. - 2024. - № 3. - С. 39-44.

Denys Storozhyk, Anatolii Protasov, Yurii Kuts, Oleksandr Muraviov, Iuliia Lysenko, Yordan Mirchev (2024). Enhancing neural network efficiency in automated image analysis for thermal nondestructive testing. Journal of Theoretical and Applied Mechanics, Sofia. - 2024. - Vol. 54. - Pp. 242-252.

Сторожик Д., Муравйов О. Комплексування зображень, як спосіб покращення якості бінарної сегментації // XV Всеукраїнська науково-практична конференція студентів, аспірантів та молодих вчених «Ефективність інженерних рішень у приладобудуванні» : зб. пр. конф., м. Київ, 10–11 грудня 2019. - C. 290–293.

Сторожик Д., Муравйов О. Застосування мультиспектрального комплексування зображень у неруйнівному контролі // ХIII Науково-практична конференція студентів, аспірантів та молодих вчених «Погляд у майбутнє приладобудування», м. Київ, 13–14 травня 2020. - С. 323–326.

Сторожик Д. Комплексування зображень ультразвукової та комп’ютерної томографії // ХIII Науково-практична конференція студентів, аспірантів та молодих вчених «Погляд у майбутнє приладобудування», м. Київ, 13–14 травня 2020. - С. 327–329.

Storozhyk D. An overview of solutions for the use of image fusion in nondestructive testing // Збірник праць XV Всеукраїнської науково-практичної конференції студентів, аспірантів та молодих вчених “Погляд у майбутнє приладобудування”, Київ. - 4-15 червня 2022. - С. 184–187.

Сторожик, Д. В. Комплексування зображень, як спосіб покращення точності класифікації при тепловому неруйнівному контролі // XХII Міжнародна науково-технічна конференція "Приладобудування: стан і перспективи", Київ. - 16–17 травня 2023. - С. 258.

Storozhyk D., Protasov A., Lysenko I. Image fusion as an augmentation method to improv the classification efficiency of thermal image //2024 IEEE 42th International Conference on Electronics and Nanotechnology IEEE ELNANO – 2024. Kyiv, Ukraine, May 13-15, 2024.

Similar theses