Dzhurynskyi Y. Information technology of tactile graphics synthesis based on artificial intelligence for people with visual impairments

Українська версія

Thesis for the degree of Doctor of Philosophy (PhD)

State registration number

0824U002395

Applicant for

Specialization

  • 126 - Інформаційні системи та технології

07-08-2024

Specialized Academic Board

ДФ 35.101.01

Ukrainian Academy of Printing

Essay

The thesis solves the scientific and applied task of developing information technology for the synthesis of tactile graphics based on artificial intelligence for people with visual impairments. On the basis of the theoretical and experimental research carried out as part of the dissertation work, the following most significant results were obtained: For the first time:  a structural and functional model of information technology for the synthesis of tactile graphics based on a text prompt was created, which enables the automated creation of graphics with appropriate quality characteristics in publications for people with visual impairments;  developed a complex model of synthesis of tactile graphics based on a text prompt, using language and image synthesis models; the model uses a modified organization of the built-in space, divided into two independent components: textual and graphic. Improved:  a method of creating tactile graphics in publications for people with visual impairments, which increases the variability, controllability and quality of reproduction of synthesized tactile graphics and improves the technical and economic indicators of the production process. Received further development:  the process of language modeling and image synthesis using machine learning methods based on own data and parameters, which became the basis for creating a tactile graphics synthesis model based on a text prompt. The results of the work were tested in the conditions of the educational and rehabilitation center "Levenya" and the publishing house of the Lviv Polytechnic. The results of the dissertation work were used in lecture courses and laboratory classes for students of the faculty of publishing, printing and information technologies of the Ukrainian Academy of Printing. Implementation data is confirmed by relevant documents. Keywords: information, technology, braille, tactile graphics, digital image, model, transformation, verbal-visual form, artificial intelligence, neural network, software, website, factors, optimization, data encoding.

Research papers

Джуринський Є. А., Маїк В. З. Підготовка ілюстрацій для інклюзивної літератури за допомогою моделей штучного інтелекту синтезу зображення з тексту // Наукові записки. – Львів, 2023. – № 1 (66). – С.155-163

Джуринський Є. А., Маїк В. З. Токенізація векторної графіки у контексті синтезу тактильної графіки // Наукові записки. – Львів, 2023. – № 2 (67). – С.11-20

Джуринський Є. А., Маїк В. З. Автоматичний синтез тактильної графіки за текстовою підказкою // Поліграфія і видавнича справа. – Львів, 2023. – № 2 (86). – С.28-39.

Джуринський Є. А., Маїк В. З. Технічні задачі інформаційної технології формування сторінок книжкових видань українською абеткою Брайля // Квалілогія книги. – Львів: УАД, 2021. – №2 (40). – С. 7-15

Джуринський Є.А., Маїк В.З. Аналіз процесу підготовки ілюстрацій для інклюзивної літератури // Квалілогія книги. – Львів: УАД, 2022. – №1 (41). – С. 7-15.

Джуринський Є. А., Маїк В. З. Технічні вимоги до процесу підготовки ілюстрації для інклюзивної літератури. Розмірні параметри // Квалілогія книги. – Львів: УАД, 2023. – № 1 (43). – С.16-23

Джуринський Є. А. Ілюстрації в інклюзивній літературі. Обмеження // «Міжгалузеві диспути: динаміка та розвиток сучасних наукових досліджень»: матеріали II Міжнародної наукової конференції, м. Рівне, 9 вересня, 2022р. / Міжнародний центр наукових досліджень. — Вінниця: Європейська наукова платформа, 2022. — С. 70-71. doi: 10.36074/mcnd-09.09.2022

Dzhurynskyi Y. Generation of illustrations for inclusive literature using Midjourney artificial intelligence model // «Scientific method: reality and future trends of researching»: collection of scientific papers «SCIENTIA» with Proceedings of the II International Scientific and Theoretical Conference, August 25, 2023. Zagreb, Republic of Croatia: European Scientific Platform. – pp. 130–132. doi: 10.36074/scientia-25.08.2023

Dzhurynskyi Y. Adaptation of illustration for inclusive literature // «Sectoral research XXI: characteristics and features»: collection of scientific papers «SCIENTIA» with Proceedings of the VI International Scientific and Theoretical Conference, September 8, 2023. Chicago, USA: European Scientific Platform. – pp. 104-106. doi: 10.36074/scientia-08.09.2023

Джуринський Є. А., Маїк В. З. Алгоритм моделювання сторінок книжкових видань з шрифтом Брайля // Тези науково-технічної конференції професорсько-викладацького складу, наукових працівників і аспірантів УАД.- Львів.-2023. - С. 41

Dzhurynskyi Y. Analysis of modern digital means of displaying tactile graphics // «An integrated approach to science modernization: methods, models and multidisciplinarity»: collection of scientific papers «Grail of science» with the proceedings of the: VII Correspondence International Scientific and Practical Conference, February 16, 2024. Vinnytsia, Ukraine: European Scientific Platform. - №36. – pp. 253-255. doi: 10.36074/grail-of-science.16.02.2024

Dzhurynskyi Y. Peculiarities of evaluating tactile graphics using the CLIP Score metric // Scientific method: reality and future trends of researching: collection of scientific papers «SCIENTIA» with Proceedings of the III International Scientific and Theoretical Conference, March 8, 2024. Zagreb, Republic of Croatia: International Center of Scientific Research. – pp. 52-53. doi: 10.36074/scientia-08.03.2024

Files

Similar theses