Informacionnye TehnologiiInformacionnye TehnologiiИнформационные технологии1684-6400New Technologies Publishing House70232610.17587/it.30.579-584ArticlesСтатьиConference Report, Theses of ReportArchitecture independent test templates for virtual machines and microprocessorsАрхитектурно независимые тестовые шаблоны для виртуальных машин и микропроцессоровProtsenkoA. S.ПроценкоА. С.
Russian Federation

науч. сотр.

protsenko@ispras.ruIvannikov Institute for System Programming of the Russian Academy of SciencesИнститут системного программирования им. В. П. Иванникова РАН151120243011Информационные технологии5795830702202607022026Copyright ©; 2024, Informacionnye TehnologiiCopyright ©; 2024, Информационные технологии2024Informacionnye TehnologiiИнформационные технологииhttps://journals.eco-vector.com/1684-6400/article/view/702326

To ensure the quality of compilers, virtual machines and microprocessors, testing with the use of test programs is applied. Test templates, i.e. parameterized descriptions of test programs, are used to reduce the resources spent on test creation. For verification of test objects with different architectures, test templates testing the same functional properties can be used. A task of describing templates in an architecture-independent form and its customization for a target architecture arises. The paper proposes a method for creating and using architecture independent test templates. The method is as follows. Architecture dependent constructs that are needed to describe a test template are defined. Based on these constructs, an architecture independent test template is created. Then the template is customized to the architecture of the object under test by describing implementations of the architecture dependent constructs. Realizations of the constructs can be described by different sets of architecturally dependent operations, differing both by the type of data used and by the operations used. Different strategies for selecting the implementations to be used, such as full brute force, random selection, and others, can be applied in the test templates. Providing an interface as the architecture dependent constructs allows the use of third-party generators to create the architecturally independent templates. Rewriting the implementations of the constructs allows the test programs to be derived from the given templates for new architectures. This method was successfully applied to check optimizations in a virtual machine compiler.

Для обеспечения качества компиляторов, виртуальных машин, микропроцессоров применяют тестирование с использованием тестовых программ. Тестовые шаблоны, т. е. параметризованные описания тестовых программ, используются для уменьшения затрачиваемых на создание тестов ресурсов. Для верификации тестируемых объектов с разной архитектурой могут применяться тестовые шаблоны, проверяющие одинаковые функциональные свойства. Возникает задача описания шаблона в архитектурно независимой форме и его настройки на целевую архитектуру.

Предлагается метод создания и использования архитектурно независимых тестовых шаблонов, который заключается в следующем. Определяются архитектурно зависимые конструкции, необходимые для описания тестового шаблона. На основе этих конструкций создается архитектурно независимый тестовый шаблон. Затем осуществляется настройка шаблона на архитектуру тестируемого объекта путем описания реализаций архитектурно зависимых конструкций. Реализации конструкций могут быть описаны разными наборами архитектурно зависимых операций, отличающихся как типом используемых данных, так и используемыми операциями. В тестовых шаблонах могут быть применены различные стратегии выбора используемых реализаций, такие как полный перебор, случайный выбор и другие.

Предоставление интерфейса в виде архитектурно зависимых конструкций позволяет использовать сторонние генераторы для создания архитектурно независимых шаблонов. Описание архитектурно зависимых конструкций с помощью определенных систем команд позволяет получать тестовые программы по заданным шаблонам для соответствующих архитектур. Данный метод был успешно применен для проверки корректности оптимизирующих преобразований в компиляторе виртуальной машины.

test templatestestinginstruction set architecturevirtual machinestest program generatorтестовые шаблонытестированиесистема командвиртуальные машиныгенераторы тестовых программBehm M., Ludden J., Lichtenstein Y., Rimon M., Vinov M. Industrial experience with test generation languages for processor verification, Proceedings of the 41th Design Automation Conference, DAC, 2004, pp. 36—40.Behm M., Ludden J., Lichtenstein Y., Rimon M., Vinov M. Industrial experience with test generation languages for processor verification // Proceedings of the 41th Design Automation Conference, DAC. 2004. P. 36—40.Tatarnikov A. D. Combinatorial Test Program Generation for Microprocessors Based on Formal Specifications of Instruction Set Architecture, Problemy razrabotki perspektivnyh mikro- i nanoelektronnyh sistem (MES), 2016, no. 2, pp. 38—45.Татарников А. Д. Комбинаторная генерация тестовых программ для микропроцессоров на основе формальных спецификаций системы команд // Проблемы разработки перспективных микро- и наноэлектронных систем (МЭС). 2016. № 2. С. 38—45.Stocks P., Carrington D. A. Test templates: a specification-based testing framework, Proceedings — International Conference on Software Engineering, 1993, pp. 405—414, doi: 10.1109/ ICSE.1993.346025.Stocks P., Carrington D. A. Test templates: a specification-based testing framework // Proceedings — International Conference on Software Engineering. 1993. P. 405—414. DOI: 10.1109/ICSE.1993.346025. 1. Behm M., Ludden J., Lichtenstein Y., Rimon M., Vinov M. Industrial experience with test generation languages for processor verification // Proceedings of the 41th DesignZang Zh., Wiatrek N., Gligoric M., Shi A. Compiler Testing using Template Java Programs, Proceedings of the 37th IEEE/ ACM International Conference on Automated Software Engineering, ASE, 2022.Zang Zh., Wiatrek N., Gligoric M., Shi A. Compiler Testing using Template Java Programs //Proceedings of the 37th IEEE/ACM International Conference on Automated Software Engineering, ASE. 2022.Kamkin A. S. Generation of test programs for microprocessors (in Russian), Trudy ISP RAN, 2008, vol. 14, no. 2, pp. 23—64.Камкин А. С. Генерация тестовых программ для микропроцессоров // Труды ИСП РАН. 2008. Т. 14, № 2. С. 23—64.Adir A., Almog E., Fournier L., Marcus E., Rimon M., Vinov M., Ziv A. Genesys-Pro: Innovations in Test Program Generation for Functional Processor Verification, IEEE Design & Test of Computers, 2004, vol. 21, no. 2, pp. 84—93.Adir A., Almog E., Fournier L., Marcus E., Rimon M., Vinov M., Ziv A. Genesys-Pro: Innovations in Test Program Generation for Functional Processor Verification // IEEE Design & Test of Computers. 2004. Vol. 21, N. 2. P. 84—93.Mahapatra R. N., Bhojwani P., Lee J., Kim Y. Microprocessor Evaluations for Safety-Critical, Real-Time Applications: Authority for Expenditure. Phase 3 Report. NTIS, Springfield, Virginia 22161, 2009, no. 43. 43 p.Mahapatra R. N., Bhojwani P., Lee J., Kim Y. Microprocessor Evaluations for Safety-Critical, Real-Time Applications: Authority for Expenditure. Phase 3 Report. NTIS, Springfield, Virginia 22161. 2009. N. 43. 43 p.Archive of presentation slides "Introducing Obsidian Software and RAVEN-GCS for PowerPC" [Online], available at: https://www.slideshare.net/DVClub/introducing-obsidian-software-and-ravengcs-for-powerpc.Архив слайдов презентации "Introducing Obsidian Software and RAVEN-GCS for PowerPC". URL: https://www. slideshare.net/DVClub/introducing-obsidian-software-andravengcs-for-powerpc.Gribkov I. V., Zakharov A. V., Koltsov P. P. et al. Development of the INTEG microprocessor stochastic testing system, Programmnyye produkty i sistemy, 2010, no. 2, pp. 14—23 (in Russian).Грибков И. В., Захаров А. В., Кольцов П. П. и др. Развитие системы стохастического тестирования микропроцессоров INTEG // Программные продукты и системы. 2010. № 2. С. 14—23.Tatarnikov A. D. Language for Describing Templates for Test Program Generation for Microprocessors, Proceedings of the Institute for System Programming of the RAS (Proceedings of ISP RAS), 2016, vol. 28, no. 4, pp. 77—98, doi: 10.15514/ISPRAS-2016-28(4)-5.10.1109/ICSE.1993.346025.Ruby language [Online], available at: http://www.rubylang.org.Язык Ruby. URL: http://www.ruby-lang.org.Seonghun J., Youngchul Cho, Daeyong S., Changyeon J., Yenjo H., Soojung R., Jeongwook K., Bernhard E. Random Test Program Generation for Reconfigurable Architectures, 13th International Workshop on Microprocessor Test and Verification (MTV), 2012, 6 p.Seonghun J., Youngchul Cho, Daeyong S., Changyeon J., Yenjo H., Soojung R., Jeongwook K., Bernhard E. Random Test Program Generation for Reconfigurable Architectures // 13th International Workshop on Microprocessor Test and Verification (MTV). 2012. 6 p.Egger B., Song E., Lee H., Shin D. Random Test Program Generation for Verification and Validation of the Samsung Reconfigurable Processor, Journal of Systems Architecture, 2019, vol. 97, doi: 10.1016/j.sysarc.2019.05.007.Egger B., Song E., Lee H., Shin D. Random Test Program Generation for Verification and Validation of the Samsung Reconfigurable Processor // Journal of Systems Architecture. 2019. Vol. 97. DOI: 10.1016/j.sysarc.2019.05.007.Chen J., Wang G., Hao D., Xiong Y., Zhang H., Zhang L. History-Guided Configuration Diversification for Compiler TestProgram Generation, 2019 34th IEEE/ACM International Conference on Automated Software Engineering (ASE), San Diego, CA, USA, 2019, pp. 305—316, doi: 10.1109/ASE.2019.00037.Chen J., Wang G., Hao D., Xiong Y., Zhang H., Zhang L. History-Guided Configuration Diversification for Compiler TestProgram Generation // 2019 34th IEEE/ACM International Conference on Automated Software Engineering (ASE). San Diego, CA, USA. 2019. P. 305—316. DOI: 10.1109/ASE.2019.00037.Rabin Md R. I., Alipour M. Configuring Test Generators Using Bug Reports: A Case Study of GCC Compiler and Csmith, The 36th ACM/SIGAPP Symposium on Applied Computing, SAC, 2021, pp. 1750—1758, doi: 10.1145/3412841.3442047.Rabin Md R. I., Alipour M. Configuring Test Generators Using Bug Reports: A Case Study of GCC Compiler and Csmith // The 36th ACM/SIGAPP Symposium on Applied Computing, SAC. 2021. P. 1750—1758. DOI: 10.1145/3412841.3442047.Loop-Invariant Code Motion (LICM) [Online], available at: https://en.wikipedia.org/wiki/Loop-invariant_code_motion.Loop-Invariant Code Motion (LICM). URL: https:// en.wikipedia.org/wiki/Loop-invariant_code_motion.Zelenov S. V., Zelenova S. A. Model-Based Testing of Optimizing Compilers, TestCom/FATES 2007, LNCCN, vol. 4581, pp. 365—377.Zelenov S. V., Zelenova S. A. Model-Based Testing of Optimizing Compilers // TestCom/FATES. 2007. LNCCN. Vol. 4581. P. 365—377.MicroTESK test program generator [Online], available at: https://forge.ispras.ru/projects/microtesk.Генератор тестовых программ MicroTESK. URL: https://forge.ispras.ru/projects/microtesk.