Informacionnye TehnologiiInformacionnye TehnologiiИнформационные технологии1684-6400New Technologies Publishing House70733310.17587/it.32.263-272Application information systemsПрикладные информационные системыResearch ArticleA method for analyzing the trustworthiness of automated assessmentsМетод анализа достоверности автоматизированных оценокDavtyanA. G.ДавтянА. Г.
Russian Federation

Cand. of Phys. And Math. Sc., Associate Professor

канд. физ.-мат. наук, доц.

agvs@mail.ruShabalinaO. A.ШабалинаО. А.
Russian Federation

Cand. of Tech. Sc., Associate Professor

канд. техн. наук, доц.

O.A.Shabalina@gmail.comVoroninaA. A.ВоронинаА. А.
Russian Federation

Postgraduate Student

аспирант

angelina.vaa@gmail.comMolodtsovaI. A.МолодцоваИ. А.
Russian Federation

Cand. of Med. Sc., Associate Professor

канд. мед. наук, доц.

irina.molodtsova@gmail.comKhvastunovaE. P.ХвастуноваЕ. П.
Russian Federation

Cand. of Soc. Sc., Associate Professor

канд. социол. наук, доц.

elena_volga68@mail.ruMoscow Institute of Physics and TechnologyМосковский физико-технический институтVolgograd State Technical UniversityВолгоградский государственный технический университетVolgograd State Medical UniversityВолгоградский государственный медицинский университетMoscow University named after S. Yu. WitteМосковский университет имени С. Ю. Витте090520263252632720905202609052026Copyright ©; 2026, Informacionnye TehnologiiCopyright ©; 2026, Информационные технологии2026Informacionnye TehnologiiИнформационные технологииhttps://journals.eco-vector.com/1684-6400/article/view/707333

The study addresses the issues related to the evaluation of trustworthiness of assessments used in decision-making tasks. The relevance of evaluating the trustworthiness of assessment results within automated systems is demonstrated. А method for assessing the trustworthiness of automated assessments is proposed, based on the principle of trust transitivity. The validation of this method is described in the context of an automated system for assessing the functional state of software users. The applicability of the designed method for analysing the trustworthiness of assessments obtained in software systems that automate various aspects of human activity, requiring the assessment of objects and/or processes, also demonstrated.

Рассмотрены способы определения достоверности экспертных оценок, применяемых в задачах принятия решений. Предложен метод определения достоверности автоматизированных оценок, основанный на принципе транзитивности доверия. Проведена апробация метода на системе автоматизированной оценки функционального состояния пользователей программного обеспечения. Показана применимость метода для анализа достоверности оценок, получаемых в автоматизированных системах.

assessmentexpert assessmentautomated assessmenttrustworthiness of assessmenttrusttransitivity of trustоцениваниеэкспертная оценкаавтоматизированная оценкадостоверность оценкидовериетранзитивность доверияStojanovic A., Marič M. Decision-Making in Private and Professional Life, Proceedings of the 42nd International Conference on Organizational Science Development: Interdisciplinarity Counts, 2023, pp. 791—801, DOI: 10.18690/um.fov.3.2023.59.Stojanovic А., Marič M. Decision-Making in Private and Professional Life // Proceedings of the 42nd International Conference on Organizational Science Development: Interdisciplinarity Counts. 2023, P. 791—801. DOI: 10.18690/um.fov.3.2023.59.Momdzhyan K. Kh. The decision-making process and its place in human activity, Elektronnoe nauchnoe izdanie "Al’manakh Prostranstvo i Vremya", 2015, no. 2 (in Russian).Момджян К. Х. Процесс принятия решений и его место в деятельности людей // Электронное научное издание "Альманах Пространство и Время", 2015. № 2. URL: https://cyberleninka.ru/article/n/protsess-prinyatiya-resheniy-i-ego-mesto-v-deyatelnosti-lyudey (дата обращения: 21.05.2025).Kozioł-Nadolna K., Beyer K. Determinants of the decision-making process in organizations, Procedia Computer Science, 2021, vol. 92, pp. 2375—2384, DOI: 10.1016/j.procs.2021.09.006.Kozioł-Nadolna K., Beyer K. Determinants of the decision-making process in organizations // Procedia Computer Science. 2021. № 192. P. 2375—2384. DOI:10.1016/j.procs.2021.09.006.Diev V. S. The problem of choice and decision-making in an interdisciplinary context, Vestnik Tomskogo Gosudarstvennogo Universiteta. Filosofiya. Sotsiologiya. Politologiya, 2013, no. 2 (22) (in Russian).Диев В. С. Проблема выбора и принятия решений в междисциплинарном контексте // Вестник Томского государственного университета. Философия, социология, политология. 2013. Т. 2, № 22. URL: https://cyberleninka.ru/article/n/problema-vybora-i-prinyatiya-resheniy-v-mezhdistsiplinarnom-kontekste (дата обращения: 21.05.2025).Serebryakova E. A., Barkalov S. A., Moiseev S. I. Evaluation of alternatives: new approaches to decision-making under certainty, Vestnik YuUrGU. Seriya: Komp’yuternye Tekhnologii, Upravlenie, Radioelektronika, 2024, no. 3 (in Russian).Серебрякова Е. А., Баркалов С. А., Моисеев С. И. Оценка альтернатив: новые подходы принятия решений в условиях определенности // Вестник ЮУрГУ. Серия: Компьютерные технологии, управление, радиоэлектроника. 2024. № 3.Suntsova Ya. S., Meshkov I. Yu. Phenomena of choice and decision-making in psychological science, Vestnik Udmurtskogo Universiteta, Seriya "Filosofiya. Psikhologiya. Pedagogika", 2022, no. 4 (in Russian).Сунцова Я. С., Мешков И. Ю. Феномены выбора и принятия решения в психологической науке // Вестник Удмуртского университета. Серия "Философия. Психология. Педагогика". 2022. № 4.Sutuzhko V. V. Structure, principles and classification of the concept "Evaluation", Epistemology & Philosophy of Science, 2008, no. 4 (in Russian).Сутужко В. В. Структура, принципы и классификация понятия "Оценка" // Epistemology & Philosophy of Science. 2008. № 4.Kotelnikov R. V., Martynyuk А. A. Mathematical assessment of the reliability of information about forest fires, Izvestiya Vysshikh Uchebnykh Zavedeniy. Lesnoy Zhurnal, 2023, no. 3 (393), pp. 21—34 (in Russian).Котельников Р. В., Мартынюк А. А. Математическая оценка достоверности информации о лесных пожарах // Известия высших учебных заведений. Лесной журнал. 2023. № 3 (393). С. 21—34.Korosteleva O. N., Savinov G. V. Statistical analysis of expert assessments, Izvestiya Sankt-Peterburgskogo gosudarstvennogo ekonomicheskogo universiteta, 2023, no. 3-2 (141) (in Russian).Коростелева О. Н., Савинов Г. В. Статистический анализ экспертных оценок // Известия СПбГЭУ. 2023. № 3-2 (141). С. 109—114.Zatsarinnyy A. A., Ionenkov Yu. S. On the use of expert methods in assessing the efficiency and quality of information systems, Sistemy i sredstva inform., 2022, vol. 32, no. 2, pp. 47—57 (in Russian).Зацаринный А. А., Ионенков Ю. С. О применении экспертных методов при оценке эффективности и качества информационных систем // Системы и средства информатики. 2022. Т. 32, № 2. С. 47—57.Brown G. T. L. Editorial: Insights in assessment, testing, and applied measurement: 2022, Frontiers in Education, 2024, vol. 9, DOI: 10.3389/feduc.2024.1488012.Brown G. T. L. Editorial: Insights in assessment, testing, and applied measurement: 2022 // Frontiers in Education. 2024. Vol. 9. DOI: 10.3389/feduc.2024.1488012.Mach K. J., Mastrandrea M. D., Freeman P. T., Field C. B. Unleashing expert judgment in assessment, Global Environmental Change, 2017, vol. 44, pp. 1—14.Mach K. J., Mastrandrea M. D., Freeman P. T., Field C. B. Unleashing expert judgment in assessment // Global Environmental Change. 2017. № 44. P. 1—14.Serenkov P. S. Analysis of methods for researching the level of trust in expert assessments, Proceedings of the 8th International Scientific and Technical Conference, 2015, vol. 1, pp. 192—193 (in Russian).Серенков П. С. Анализ способов исследования уровня доверия к экспертным оценкам // Приборостроение-2015. Матер. 8-й междунар. науч.-техн. конф. Минск. 2015. Т. 1. С. 192—193.Volkov V. Yu., Volkova V. V. Improving the reliability of group assessment of expert opinions in the formation of an expert opinion, Izvestiya Tul’skogo Gosudarstvennogo Universiteta. Tekhnicheskie nauki, 2021, no. 9 (in Russian).Волков В. Ю., Волкова В. В. Повышение достоверности групповой оценки мнений экспертов при формировании экспертного заключения // Известия ТулГУ. Технические науки. 2021. № 9. URL: https://cyberleninka.ru/article/n/povyshenie-dostovernosti-gruppovoy-otsenki-mneniy-ekspertov-pri-formirovanii-ekspertnogo-zaklyucheniya (дата обращения: 25.07.2025).Volkov V. Yu., Maslova N. V., Tsyganov N. N. Formulation of the problem of increasing the reliability of expert assessments in an intellectual control system, Izvestiya Tul’skogo gosudarstvennogo universiteta. Tekhnicheskie nauki, 2014, no. 2 (in Russian).Волков В. Ю., Маслова Н. В., Цыганов Н. Н. Постановка задачи повышения достоверности экспертных оценок в интеллектуальной системе управления // Известия ТулГУ. Технические науки. 2014. № 2.Gostyunina V. A., Davidyuk N. V., Davidyuk V. V., Baitumenov А. Z. Procedure for assessing the degree of trust in an expert using the example of the task of age categorization of web content, Vestnik AGTU. Seriya: Upravlenie, vychislitel’naya tekhnika i informatika, 2019, no. 2 (in Russian).Гостюнина В. А., Давидюк Н. В., Давидюк В. В., Байтуменов А. З. Процедура оценки степени доверия эксперту на примере задачи возрастного категорирования веб-контента // Вестник АГТУ. Серия: Управление, вычислительная техника и информатика. 2019. № 2.Mel’nik P. B., Ilyushchenko R. R. Reliability of expert assessments in the examination of scientific, technical and innovative projects in the information system of the federal register of experts, Innovatika i ekspertiza: nauchnye trudy, 2020, no. 1 (29), pp. 46—58 (in Russian).Мельник П. Б., Илющенко Р. Р. Достоверность экспертных оценок при проведении экспертизы научно-технических и инновационных проектов в информационной системе федерального реестра экспертов // Инноватика и экспертиза: научные труды. 2020. № 1 (29). C. 46—58.Sadchikov P. N., Soboleva V. V. Automated system for assessing the effectiveness of educational technologies, Inzhenerno-stroitel’nyy vestnik Prikaspiya, 2021, no. 4 (38) (in Russian).Садчиков П. Н., Соболева В. В. Автоматизированная система оценки эффективности образовательных технологий // Инженерно-строительный вестник Прикаспия. 2021. № 4 (38).Lavrov E., Paderno P., Burkov E., Volosiuk A., Vu L. Expert assessment systems to support decision-making for sustainable development of complex technological and socioeconomic facilities, E3S Web of Conferences, 2020, vol. 166, art. 11002, DOI: 10.1051/e3sconf/202016611002.Lavrov E., Paderno P., Burkov E., Volosiuk A., Vu L. Expert assessment systems to support decision-making for sustainable development of complex technological and socioeconomic facilities // E3S Web of Conferences. 2020. Vol. 166. DOI: 10.1051/e3sconf/202016611002.Korytnev A. V., Semenov S. S. On the issue of the quality and reliability of expert assessments in determining the technical level of complex systems, Nadezhnost’, 2013, no. 4, pp. 90—109 (in Russian).Крянев А. В., Семенов С. С. К вопросу о качестве и надежности экспертных оценок при определении технического уровня сложных систем // Надежность. 2013. № 4. C. 90—109.Kachaykin E. I., Ivanov A. I., Bezyaev A. V., Perfilov K. A. Assessing the reliability of neural network automated examination of handwritten authorship, Voprosy kiberbezopasnosti, 2015, no. 2 (10) (in Russian).Качайкин Е. И., Иванов А. И., Безяев А. В., Перфилов К. А. Оценка достоверности нейросетевой автоматизированной экспертизы авторства рукописного почерка // Вопросы кибербезопасности. 2015. № 2 (10).Rybakov А. Improving the quality and reliability of computer assessment of knowledge in automated learning control systems, Pedagogicheskie izmereniya, 2014, no. 2 (in Russian).Рыбанов А. Повышение качества и достоверности компьютерной оценки знаний в автоматизированных системах контроля обучения // Педагогические измерения. 2014. № 2.Kohn S. C., de Visser E., Wiese E., Lee Y.-C., Shaw T. H. Measurement of Trust in Automation: А Narrative Review and Reference Guide, Frontiers in Psychology, 2021, vol. 12, DOI:10.3389/fpsyg.2021.604977.Kohn S. C., de Visser E., Wiese E., Lee Y.-C., Shaw T. H. Measurement of Trust in Automation: А Narrative Review and Reference Guide // Frontiers in Psychology. 2021. N. 12. DOI: 10.3389/fpsyg.2021.604977.Voronina A. A., Shabalina O. A., Sadovnikova N. P., Gur’ev V. V. Models and methods for automated person’s functional status assessment, Matematicheskie metody v tekhnologiyah i tekhnike, 2025, no. 3, pp. 23—26 (in Russian).Воронина А. А., Шабалина О. А., Садовникова Н. П., Гурьев В. В. Модели и методы автоматизированной оценки функционального состояния человека // Математические методы в технологиях и технике. 2025. № 3. С. 23—26.Davtyan A. G., Shabalina O. A., Berestneva O. G. Analysis of reliability of assessment based on the principle of trust transitivity, Matematicheskie metody v tekhnologiyah i tekhnike, 2025, no. 4, pp. 39—43 (in Russian).Давтян А. Г., Шабалина О. А., Берестнева О. Г. Анализ достоверности оценок на основе принципа транзитивности доверия // Математические методы в технологиях и технике. 2025. № 4. С. 39—43.Voronina А., Guriev V., Moffat D. С., Molodtsova I. Models and Methods for Processing Heterogeneous Data for Assessing the State of a Human, Creativity in Intelligent Technologies and Data Science: 5th International Conference CIT&DS 2023, 2023, p. 488—499, DOI:10.1007/978-3-031-44615-3_34.Ris inaVoronina А., Guriev V., Moffat D. С., Molodtsova I. Models and Methods for Processing Heterogeneous Data for Assessing the State of a Human // Creativity in Intelligent Technologies and Data Science: 5th International Conference CIT&DS 2023. P. 488—499. DOI:10.1007/978-3-031-44615-3_34.