Рикмас Р. В. Інформаційна технологія підвищення ефективності згорткових нейронних мереж з використанням перетворення Хартлі

English version

Дисертація на здобуття ступеня доктора філософії

Державний реєстраційний номер

0826U004139

Облікова картка дисертації

0826U004139.pdf

Здобувач

Спеціальність

  • 122 - Комп’ютерні науки

12-08-2026

Спеціалізована вчена рада

PhD 15221

Національний університет "Львівська політехніка"

Анотація

Об’єктом дослідження є процес навчання та інференсу згорткових нейронних мереж (ЗНМ). Мета роботи - розроблення інформаційної технології підвищення їх обчислювальної ефективності шляхом оптимізації згорткових операцій на основі дискретного перетворення Хартлі (ДПХ). Актуальність дослідження зумовлена зростанням складності сучасних ЗНМ, поширенням архітектур із великими ядрами та відсутністю стандартизованих високопродуктивних засобів обчислення ДПХ у середовищах глибокого навчання. Використано методи аналізу й систематизації наукових джерел, системного аналізу, дискретної математики та цифрового оброблення сигналів, паралельних обчислень, автоматичного диференціювання й обчислювального експерименту. У вступі сформульовано завдання дослідження, визначено наукову новизну і практичне значення результатів, наведено відомості про зв’язок із науковими темами, апробацію, публікації та особистий внесок здобувача. У першому розділі систематизовано підходи до застосування дискретних ортогональних перетворень класу Фур’є у ЗНМ та виокремлено обчислювальну, спектрально-адаптивну й архітектурну парадигми. Порівняно методи на основі дискретного перетворення Фур’є, дискретного косинусного перетворення та ДПХ. Обґрунтовано перспективність ДПХ завдяки дійсному спектру, самооберненості, теоремі про згортку та швидким алгоритмам зі складністю O(N log N). Виявлено відсутність оптимізованих CPU- і GPU-реалізацій, підтримки зворотного проходу й автоматичного диференціювання, механізмів вибору способу обчислення згорткових шарів і систематичної експериментальної валідації. За результатами аналізу сформульовано наукову задачу дослідження. У другому розділі розроблено методи обчислення згорткових операцій на основі ДПХ. Удосконалено метод синтезу обчислювальних ядер з автоматичним вибором алгоритмічної схеми залежно від факторизації довжини перетворення; побудовано оптимізовані ядра для N = 2, …, 32 для CPU з підтримкою AVX2, AVX-512 і NEON та для GPU з використанням CUDA. Проаналізовано канонічну й роздільну форми двовимірного ДПХ та обґрунтовано використання роздільної форми. Удосконалено метод двовимірної взаємної кореляції завдяки попередньому обчисленню й кешуванню спектральних коефіцієнтів ваг. Уперше розроблено метод інтеграції ДПХ в обчислювальний граф ЗНМ з автоматичним диференціюванням. Його реалізовано як сумісний із PyTorch модуль HartleyConv2d, придатний для заміни стандартного шару Conv2d. У третьому розділі набув подальшого розвитку метод автоматизованого вибору між просторовим і спектральним способами обчислення згорткових шарів з урахуванням розміру ядра й тензорів, кроку згортки, режиму роботи мережі, кешування ваг і частки навантаження ДПХ-шарів. Експериментально підтверджено числову коректність перетворень, взаємної кореляції та градієнтів на CPU і GPU. Одновимірні ядра забезпечили прискорення приблизно у 2,1 раза порівняно з FFTW на x86-64, а двовимірне ДПХ на GPU – у 2,66 раза порівняно з cuFFT. Для взаємної кореляції отримано прискорення від 1,32 раза для ядра 5×5 до 48,92 раза для ядра 31×31 порівняно з cuDNN. Наукова новизна полягає у вперше розробленому методі інтеграції ДПХ в обчислювальний граф ЗНМ, удосконаленні методів синтезу ядер ДПХ і двовимірної взаємної кореляції та подальшому розвитку методу автоматизованого вибору способу обчислення згорткових шарів. У четвертому розділі побудовано наскрізну інформаційну технологію підвищення ефективності навчання та інференсу ЗНМ відповідно до методології DSRM. Її реалізовано як програмний стек, що охоплює швидкі одновимірні ядра, двовимірне ДПХ, спектральну взаємну кореляцію з кешуванням ваг, модуль HartleyConv2d та засоби гібридної інтеграції. Експерименти на CIFAR-10 з ядрами 13×13–17×17 показали скорочення часу навчання у 2,2–3,6 раза зі збереженням точності. Апробація ResNet-18 на CIFAR-100 продемонструвала підвищення пропускної здатності інференсу на 8,6–22,1 % за локальної заміни великоядерного блока. Під час навчання така заміна збільшувала час на 38–80 % через повторне обчислення спектрів ваг, тому технологія є доцільною для навчання ДПХ-домінантних мереж, а для інференсу – навіть за локальної інтеграції. Розроблені засоби можуть застосовуватися в системах комп’ютерного зору та опрацювання сигналів на десктопних і вбудованих платформах.

Читати повністю

Публікації

R. Rykmas, I. Prots’ko. Features of computing short-lengths FHT on modern computer platforms. IEEE Signal Processing Letters, 2025. doi: 10.1109/LSP.2025.3614496

Ihor Prots’ko, Roman Rykmas. The Runtime Benchmarking of DCT-II based on Cyclic Convolutions. International Journal of Condition Monitoring and Diagnostic Engineering Management., Volume 21 Number 2, April 2018, pp. 11-16

Ihor Prots’ko, Roman Rykmas. Becoming of Discrete Harmonic Transform Using Cyclic Convolutions. American Journal of Circuits, Systems and Signal Processing. – 2015. – Vol. 1, No. 3. – P. 114–119

Prots’ko I., Rykmas R. Analysis of the use of multithreaded computing technologies to factorize of numbers by a binary algorithm. Радіоелектроніка, інформатика, управління. 2021. № 4 (59). С. 122– 128

Процько І. О., Рикмас Р. В. Автоматичне генерування ефективних алгоритмів ДКП-II на основі циклічних згорток. Вісник Національного університету “Львівська політехніка”. Серія: Комп’ютерні системи та мережі. 2018. № 881. С. 120–125

Процько І. О., Рикмас Р. В. Розвиток алгоритму Вінограда перетворення Фур'є на базі твірного масиву. Вісник Національного університету “Львівська політехніка”. Серія: Комп’ютерні науки та інформаційні технології. 2017. № 864. С. 291–299

Рикмас Р.В. Порівняння ефективності реалізацій ШПФ в програмних бібліотеках. Комп’ютерні системи проектування. Теорія і практика. 2011. №711. C. 26-30

Процько І.О., Рикмас Р.В. Аналіз циклічних підматриць в структурі базису дискретних гармонічних перетворень. Вісник НУ "ЛП". Комп’ютерні науки та інформаційні технології. 2011. № 710. C.209-214

R. Rykmas, I. Prots’ko. The synthesis of fast DCT-II algorithms using the cyclic substitutions technique. Розділ в монографії: Обробка інформації в системах управління та прийняття рішень. Проблеми та рішення. Монографія, Одеса: НУ «ОМА», 2023. с. 333-357

Патент 137759 Україна, G06F7/04(2006.01). Процько І.О., Рикмас Р. В., Грищук О. В. Пристрій обчислення цілочисельного степеня числа за модулем Заявл. 01.04.2019; Опубл. 11.11.2019, Бюл. № 21

Патент 127772 Україна, G06F 7/04 (2006.01), G06F 17/10 (2006.01), G06F 7/38 (2006.01), Пристрій канонічного розкладу числа на множники. /Процько І.О., Рикмас Р. В., Грищук О. В., Теслюк В.М., (Україна) /Заявл. 22.06.2021; Рег. номер а 2021 03526; Опубл. 27.12.2023, Бюл. № 52

Патент 129987, Україна, Пристрій обчислення цілочисельного степеня числа за модулем. / Процько І.О., Рикмас Р. В., Грищук О. В. (Україна) / Заявл. 01.11.2023; Бюл. № 44, Опубл. 01.10.2025, Бюл. № 40

Ihor Prots’ko, Roman Rykmas. Analysis of DHT basis structure formation for synthesis fast computational algorithms. CEUR Workshop, Proceedings of the Computational Intelligence Application Workshop (CIAW 2025), Lviv, Ukraine, September 25-27, 2025

R. Rykmas, I. Prots’ko. Implementation of fast 2D-DHT based on short fast algorithms. Proceedings 2nd International Scientific and Practical Conference “Сomputational Intelligence and Smart Systems” (CISS- 2025), September 25-27, 2025. – Lviv Polytechnic National University

Ihor Prots’ko, Oleksander Gryshchuk, Roman Rykmas. Highperformance computing of modular exponentiation over large integer numbers. Proceedings 2nd International Scientific and Practical Conference “Сomputational Intelligence and Smart Systems” (CISS- 2025), September 25-27, 2025. – Lviv Polytechnic National University

Roman Rykmas, Ihor Prots’ko. Use of discrete transforms in convolutional neural networks. Proceedings 1st International Scientific and Practical Conference “Сomputational Intelligence and Smart Systems” (CISS-2024), October 10-12, 2024. pp. 93-95

I. Prots’ko, R. Rykmas. The analysis of models of the block-cyclic structures of the DCT-II core for the synthesis of fast algorithms. Proceedings ХI International Scientific Conference «InformationManagement Systems and Technologies» 21– 23 September, 2023, Odesa, pp.190-193

Prots’ko I., Rykmas R. The analysis of models of the block-cyclic structures of the DCT-II core for the synthesis of fast algorithms. CEUR Workshop Proceedings. 2023. Vol. 3513. P. 447–458

Ihor Prots’ko, Roman Rykmas, Vasyl Teslyuk. The efficient computation of integer DCT based on cyclic convolutions. Proceeding of the International Scientific and Technical Conference on Computer Sciences and Information Technologies (IEEE SIT’2018), Lviv, 11-14 September, 2018, -P.245-248

Ihor Prots’ko, Roman Rikmas, Marta Mashevska. Performance evaluation of the program of DCT-II using cyclic convolutions. Proceeding of the International Scientific and Technical Conference (CSIT’2017), Lviv, 5- 8 September 2017. -P.116-118

I. Prots’ko, R. Rykmas, V. Teslyuk. Repeatability the block cyclic structures the basis matrices of DCT for sizes pn. Proceeding of the IXth International Conference MEMSTECH’2015, Lviv, 2-4 September, 2015. -p. 107-109

Ihor Prots’ko, Roman Rikmas, Vasyl Teslyuk. The program implementation of the synthesis the efficient algorithms for computation of DCT-II via cyclic convolutions. Proceedings of the IXth International Scientific and Technical Conference (CSIT’2014). – Lviv, 18-22 November, 2014. – P. 116–118

Ihor Prots’ko, Roman Rikmas. Analysys parallel processing DHT using convolution on SIMT model. Proceedings of the VIIth International Scientific and Technical Conference (CSIT’2012). – Lviv, 20-24 November, 2012. – P. 136–137

Ihor Prots’ko, Roman Rikmas. Analysis cyclic submatrices in structure of basis discrete harmonic transform. Proceedings of the VIIth International Conference (MEMSTECH’2011). – Polyana, 12-14 May, 2011. – P. 64– 66

Читати повністю

Файли

autoreferat-anotaciya_rikmas.pdf

disertaciya_rikmas.pdf

Схожі дисертації

0826U005194

Іванов Дмитро Вячеславович

Інтелектуальний аналіз даних B2B-клієнтів для персоналізації контенту систем електронної комерції.

0826U005199

Сухарський Сергій Сергійович

Алгоритми та методи пришвидшення сингулярного розкладу за рахунок використання графічних процесорів

0826U005186

Гребенюк Микита Олександрович

Дослідження та розробка методів рекомендаційної системи з використанням алгоритмів нечіткої логіки та генетичного алгоритму

0826U005209

Пучко Тарас Вікторович

Методи, алгоритми та програмні засоби паралельного моделювання електроенергетичних систем в задачах прогнозування розвитку генеруючих потужностей

0826U005196

Кривий Ярослав Вячеславович

Подієво-орієнтована мікросервісна архітектура масштабованої платформи скінченно-елементного аналізу