Дудар В. В. Оптимiзацiйнi алгоритми навчання та iнварiантнiсть до геометричних перетворень нейронних мереж

Дисертація присвячена розробці та теоретичному обгрунтуванню нових алгоритмів навчання та регуляризації згоркових нейронних мереж. В роботі побудовано двокроковий метод довірчої області в підпросторі для навчання нейронних мереж з двічі диференційовною функцією активації. Запропонований метод використовує інформацію другого порядку (другі похідні функції похибки) для автоматичного підбору довжини і напрямків кроків. Експерименти показують, що розроблений метод працює швидше ніж існуючі методи другого порядку та першого порядку у випадку мережа, що тренується, достатньо глибока. Розроблено новий метод регуляризації нейронних мереж Column Drop, який можна одночасно інтерпретувати в термінах розширення навчальної вибірки та представлення згорткової нейронної мережі як ансамблю менших нейронних мереж. Даний метод накладає певні умови на архітектуру мережі, при виконанні яких метод показує кращі результати ніж дропаут та метод розширення навчальної вибірки за допомогою вибору підзображень. Розроблено метод побудови архітектури згорткових нейронних мереж з заданою поведінкою щодо деяких геометричних перетворень входу. Розроблено підхід для аналізу згорткових шарів відповідно до лінійних перетворень вхідного зображення та знаходження базових типів перетворень виходу згорткового шару. За допомогою розроблених інструментів проаналізовано оператори симетричного відображення та повороту, а також їх комбінацію.