Roik P. Method for improving consistency of expert estimations in decisionmaking support

Українська версія

Thesis for the degree of Candidate of Sciences (CSc)

State registration number

0424U000035

Thesis Registration Form

0424U000035.pdf

Applicant for

Specialization

  • 05.13.06 - Інформаційні технології

07-03-2024

Specialized Academic Board

Д 26.861.05

State University of information and communication technologies

Essay

The dissertation is devoted to the development of a method for increasing the consistency of expert assessments, which is used in the course of examinations to improve the adequacy of models of complex systems on the basis of which decision-making support is provided in poorly structured subject areas. The solution to the important scientific and technical task of creating a method involves determining and achieving the level of consistency of both individual and group assessments required for aggregation, which can be set in continuous or discrete scales. The goal is to obtain reliable aggregated ratings without distorting the assessments received from experts and without causing pressure in case of possible repeated appeals to them, which contributes to the creation of more adequate models of subject areas and, thereby, improves the quality of recommendations provided by decision support systems. The first step in solving the problem is to determine the requirements that the consistency index should meet in order to be used for practical purposes, namely to apply (conduct) the consistency improvement procedure. Since this procedure involves feedback from an expert and the possibility of changing the previously provided assessment, the properties of the index “not to react” to the shift of assessments, to the scaling of their distribution and the property of index change monotonicity when changing a particular assessment to a neighboring value on the assessment scale are of particular importance. The author analyzes a number of existing consistency indices used in expert evaluations and rating surveys and identifies certain shortcomings of these indices that do not contribute to their use in decision support. Particular attention is paid to the properties necessary for organizing feedback, i.e. asking an expert to change his or her preliminary assessment in order to increase the consistency index. Given the presence of certain shortcomings in all the studied indices and the fact that none of them satisfies all the conditions set forth, it is concluded that there is an urgent need to develop a new consistency index that would not have the identified shortcomings and would meet the requirements. It is proposed to present the consistency index as a complement to the unit normalized sum of the distances between the ratings for all possible pairs of expert ratings. The maximum of the function corresponds to the complete/highest consistency of the ratings and is achieved if and only if all the ratings are equal. In addition, the minimum of the index is achieved when a half of the ratings are at one end of the scale and the other half are at the other end. If the number of scores is odd, the “extra” score can be at either end of the interval. The definition of this minimum in a certain sense contradicts the approaches of those authors who believe that the minimum should be achieved when all the scores are evenly distributed across the scale. In practice, however, it does not really matter where the function reaches the minimum, since all the cases of high inconsistency described above (and others) cannot be used for further aggregation of expert assessments. The consistency in these cases should be improved; it is only important that the function meet the basic requirements. For the developed consistency index, we analyzed it and determined the threshold value below which the data is considered inconsistent. For this purpose, arbitrary sets of expert assessments are considered, consistency indices are calculated, and the threshold value is found for which 5% of the percentages are above this consistency index. A more general case is considered when experts have different competence (awareness, information) in the issue under consideration and therefore the assessment of one expert may be weightier than the assessment of another expert. In this case, the index is calculated taking into account the relative weights of the experts. The methods proposed in this dissertation are implemented and used both in the group expert assessment of the impact of system components in the subject area model and in the mode of individual work of experts when they use the method of pairwise comparisons. In addition, these methods are used in the group selection of the best formulation from a set of formulations of the same content, as well as in all the implemented methods that provide for the aggregation of expert assessments to substantiate the possibility and feasibility of its implementation.

Read more

Research papers

Циганок В. В., Каденко С. В., Качанов П. Т., Андрійчук О. В., Роїк П. Д. Інструментарій підтримки прийняття рішень як засіб стратегічного планування. Озброєння та військова техніка. 2015. 3(7). С. 59–66.

Tsyganok V., Kadenko S., Andriychuk O., Roik P. Usage of multicriteria decisionmaking support arsenal for strategic planning in environmental protection sphere. Journal of Multi-Criteria Decision Analysis. 2017. Vol. 24. P. 227–238.

Роїк П. Д., Циганок В. В. Метод поліпшення узгодженості оцінок експертів у ході діалогу. Реєстрація, зберігання і обробка даних. 2018. т. 20. № 2. С. 85–95.

Циганок В. В., Роїк П. Д. Метод визначення та підвищення узгодженості експертних оцінок при підтримці прийняття групових рішень. Системні дослідження та інформаційні технології. 2018. № 3. С. 110–121.

Роїк П. Д. Визначення індексу узгодженості оцінок експертів з урахуванням їх компетентності при підтримці прийняття групових рішень. Реєстрація, зберігання і обробка даних. 2018. т. 20. № 3. С. 90–97.

Свідоцтво про реєстрацію авторського права на твір №75023. Комп’ютерна програма «Система розподіленого збору та обробки експертної інформації для систем підтримки прийняття рішень – „Консенсус-2“» / Циганок В. В., Роїк П. Д., Андрійчук О. В., Каденко С. В. // від 27/11/2017.

Циганок В. В., Роїк П. Д. Технологія підтримки прийняття рішень при стратегічному плануванні. «Теорія прийняття рішень» : праці VIII міжнародної школи-семінару 26 вересня – 1 жовтня 2016 р. – Ужгород, УжНУ. 2016. С. 262– 265.

Циганок В. В., Роїк П. Д. Про визначення узгодженості експертних оцінок шляхом подвійного застосування формули ентропії. Реєстрація, зберігання і обробка даних : зб. наук. праць за матеріалами Щорічної підсумкової наукової конференції / НАН України. Інститут проблем реєстрації інформації. (м. Київ, 16-17 травня 2016 р.) Київ, 2016. С. 128–130.

Tsyganok V. V., Borokhvostov I. V., Roik P. D. Problem-oriented knowledge transfer platform for decision making support in socio-technical systems (reprint) CEUR Workshop Proceedings, 2017. Vol. 2067 Selected Papers of the XVII International Scientific and Practical Conference on Information Technologies and Security (ITS 2017) Kyiv, November 30, 2017. P. 112–117.

Роїк П. Д. Задача визначення узгодженості суджень групи експертів у системах підтримки прийняття рішень. Реєстрація, зберігання і обробка даних : зб. наук. праць за матеріалами Щорічної підсумкової наукової конференції 16-17 травня 2017 року / НАН України. Інститут проблем реєстрації інформації. К: ІПРІ НАН України, 2017. С. 77–79.

Роїк П. Д. Про метод визначення узгодженості суджень групи експертів у системах підтримки прийняття рішень. Реєстрація, зберігання і обробка даних : зб. наук. праць за матеріалами Щорічної підсумкової наукової конференції 17-18 травня 2018 року / НАН України. Інститут проблем реєстрації інформації. К: ІПРІ НАН України, 2018. С. 67–68.

Циганок В. В., Роїк П. Д. Визначення узгодженості оцінок експертів при підтримці прийняття групових рішень. 20-th International conference on System Analysis and Information Technology SAIT 2018, May 21–23, 2018 Institute for Applied System Analysis of National Technical University of Ukraine “Igor Sikorsky Kyiv Polytechnic Institute”, Kyiv, Ukraine SAIT 2018. С. 96–97.

Tsyganok Vitalii, Kadenko Sergii, Andriichuk Oleh, Roik Pavlo Combinatorial Method for Aggregation of Incomplete Group Judgments. Proceedings of 2018 IEEE First International Conference on System Analysis & Intelligent Computing (SAIC). “Igor Sikorsky Kyiv Polytechnic Institute”, Kyiv, Ukraine. 08-12 October, 2018. P. 25–30.

Циганок В. В., Роїк П. Д. Вибір способу для оцінювання модифікацій комбінаторного методу агрегації попарних порівнянь. Реєстрація, зберігання і обробка даних : зб. наук. праць за матеріалами Щорічної підсумкової наукової конференції 15-16 травня 2019 року / НАН України. Інститут проблем реєстрації інформації. К: ІПРІ НАН України, 2019. С. 121–123.

Циганок В. В., Роїк П. Д. Технологія генерування сценаріїв в умовах невизначеності. Реєстрація, зберігання і обробка даних : зб. наук. праць за матеріалами Щорічної підсумкової наукової конференції 28 вересня 2020 року / НАН України. Інститут проблем реєстрації інформації. К: ІПРІ НАН України, 2020. С. 119-121.

Роїк П.Д., Циганок В.В. Застосування апарату когнітивних карт для визначення адекватності моделей слабко структурованих предметних областей. Реєстрація, зберігання і обробка даних : зб. наук. праць за матеріалами Щорічної підсумкової наукової конференції 18-19 травня 2021 року / НАН України. Інститут проблем реєстрації інформації. К: ІПРІ НАН України, 2021. С. 124–125.

Циганок В.В., Роїк П.Д. Дослідження збіжності методу цільового динамічного оцінювання альтернатив / Реєстрація, зберігання і обробка даних: зб. наук. праць за матеріалами Щорічної підсумкової наукової конференції 27-28 вересня 2022 року / НАН України. Інститут проблем реєстрації інформації. – К: ІПРІ НАН України, 2022. с.77–78.

Read more

Files

autoreferat-Автореферат_Роїк2 (1).pdf

Дисертація_Роїк (1).pdf

Similar theses

0524U000074

Andrii Shyshatskyi

Intelligent methods of managing interference protection of radio communication systems under conditions of destabilizing influences

0524U000069

Gnatchuk Elizaveta Gennadievna

Theoretical and applied principles of information technology for supporting medical decision-making considering the civil law grounds

0424U000041

Andrii V. Shokarev

Information and hardware support for eliminating tilting of multistory buildings

0424U000036

Oleksandr Yarovyi

Models, methods and information technology for managing mobile agents based on a network-centric approach using a differential game

0524U000026

Volodymyr I. Sabat

Methodological foundations of information technologies for document management protection in hierarchical automated control systems