Дисертація присвячена розробленню математичних методів криптоаналізу нових асиметричних шифрів зі спеціальними властивостями, а також створенню математичних методів підвищення продуктивності складових зазначених шифрів. В даній роботі таким шифрами називаються асиметричні схеми шифрування, що мають корисні властивості, які в цілому не притаманні цьому класу шифрів, і, відповідно, ширші сфери застосування у порівнянні з тими, що випливають з визначення асиметричної схеми шифрування. Прикладами цих властивостей є гомоморфність, постквантовість і завадостійкість. Метою дослідження є визначення властивостей і криптостійкості ранцевого шифру на основі матриць, а також підвищення продуктивності складових частин фонтанного QC-MDPC шифру Мак-Еліса. Досягнення цієї мети було здійснено шляхом вирішення таких задач: визначити кількісні властивості ранцевого шифру на основі матриць, які включають часові складності зашифрування, розшифрування і генерації пари ключів, розміри відкритого та секретного ключів, а також коефіцієнт розширення шифротексту і рівень безпеки проти атак повного перебору; визначити наявність властивості адитивної гомоморфності для ранцевого шифру на основі матриць; розробити метод криптоаналізу ранцевого шифру на основі матриць, ефективніший за атаку повного перебору, та визначити його обчислювальну складність; розробити метод генерації робастного розподілу солітона, продуктивніший за стандартний; впровадити результати досліджень. Ці задачі були вирішені з використанням методів абстрактної алгебри (теорії кінцевих полів, теорії груп), лінійної алгебри, теорії ймовірностей, математичної статистики і теорії складності обчислень. Дисертаційне дослідження має такі наукові результати. Вперше для ранцевого шифру на основі матриць були визначені кількісні властивості, які включають часові складності зашифрування, розшифрування та генерації пари ключів, розміри відкритого і секретного ключів, а також коефіцієнт розширення шифротексту і рівень безпеки проти атак повного перебору. Цей результат необхідний для обґрунтовування рішень про доцільність використання даного шифру. Вперше для ранцевого шифру на основі матриць була доведена властивість адитивної гомоморфності. Даний результат вказує на можливість використання цього шифру для побудови протоколу таємного електронного голосування. Вперше були запропоновані поліноміально-складні методи криптоаналізу ранцевого шифру на основі матриць. Дані атаки роблять можливим відновлення відкритого тексту з шифротексту даної криптосистеми за відсутності секретного ключа. Вказаний результат обґрунтовує висновок про недоцільність використання цього шифру в якості інструменту забезпечення конфіденційності і таким чином дозволяє виключити ризики інформаційної безпеки, обумовлені застосуванням даної криптосхеми. Перелік цих ризиків можна скласти за допомогою перших двох результатів. Вперше був запропонований мажорантно-суперпозиційний метод генерації робастного розподілу солітона. Вказаний метод відрізняється від стандартного середньою часовою складністю, яка становить O(1) за умови невикористання довгої арифметики. Застосування пропонованого методу дозволяє підвищити в декілька разів продуктивність генерації робастного розподілу солітона кодером завадостійких кодів LT, які використовуються фонтанним QC-MDPC шифром Мак-Еліса. Насамперед зазначений результат має практичну цінність для сфери імітаційного моделювання. Ранцевий шифр на основі матриць і запропонована атака на нього були програмно реалізовані у вигляді динамічно приєднуваної бібліотеки MBKCLib та додатків, які надають можливість використовувати та хронометрувати її засоби. Запропонований та стандартний методи генерації робастного розподілу солітона були програмно реалізовані у вигляді динамічно приєднуваної бібліотеки RSDLib та додатку RSDTest, призначеного для перевірки коректності вказаних методів за допомогою критерію узгодженості Пірсона та дослідження їхньої продуктивності. Отримані результати було впроваджено в міжнародному проекті «TEMPUS SEREIN: Modernization of Postgraduate Studies on Security and Resilience for Human and Industry Related Domains», двох державних НДР, а також у навчальному процесі кафедри комп'ютерних систем, мереж і кібербезпеки Національного аерокосмічного університету ім. М. Є. Жуковського «Харківський авіаційний інститут». Матеріали дисертації увійшли в якості складових частин у три звіти з НДР та розділ підручника, розробленого в рамках зазначеного проекту. Матеріали дисертації були опубліковані в періодичних наукових виданнях у вигляді 6 статей, три з яких індексуються в Scopus, та збірниках праць наукових конференцій у формі 2 індексованих в Scopus статей.