inppdИнновационная наука: Психология. Педагогика. ДефектологияInnovative science: psychology, pedagogy, defectology2658-7165Don State Technical University - DSTU, Rostov-on-Don, Russia10.23947/2658-7165-2023-6-1-81-93inppd-11Research ArticleОБЩАЯ ПЕДАГОГИКАGENERAL PEDAGOGYСтратегии обеспечения справедливости в дизайне оценивания компетенций студентовEquity Strategies in the Design of Student Competency AssessmentЕфремоваН. Ф.EfremovaN. F.

Ефремова Надежда Федоровна, доктор педагогических наук, профессор, заведующий кафедрой «Педагогические измерения»

344003, г. Ростов-на-Дону, пл. Гагарина, 1

Efremova Nadezhda F., Dr. Sci. (Pedagogy), Professor, Head of the Department of Pedagogical Measurements 

344003, г. Ростов-на-Дону, пл. Гагарина, 1

efremova61@donstu.ruДонской государственный технический университетРоссияDon State Technical UniversityRussian Federation202327032023618193Copyright © Ефремова Н.Ф., 20232023Ефремова Н.Ф.Efremova N.F.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.inov-ppd.ru/jour/article/view/11Введение

Введение. В статье представлено текущее положение рассматриваемой проблемы в работах отечественных и зарубежных авторов. Рассмотрены трудности оценивания компетенций как сложных, глубоко латентных и междисциплинарных по своей природе результатов обучения. Актуальность исследования обусловлена потребностью обеспечения надежности оценок. Новизна исследования заключается в представлении алгоритма разработки оценки компетенций на основе моделирования конструкта и условий для проявления компетенций в процессе деятельности студентов при выполнении комплексного задания.

Цель

Цель. Системное представление современных подходов к аутентичному оцениванию компетенций с опорой на теорию и практику педагогических измерений, опыт конструирования и применение средств по моделям доказательной аргументации, обеспечивающих справедливость оценочного процесса и аутентичность результатов оценки.

Материалы и методы

Материалы и методы. В качестве теоретических методов были использованы работа с источниками, сбор, обобщение, структурирование и анализ информации о существующих подходах к оцениванию компетенций обучающихся в России и за рубежом. В практической части был использован опыт организации и проведения различных форм оценки результатов обучения в условиях компетентностного обучения студентов.

Результаты исследования

Результаты исследования. Предложены современные подходы и механизмы проектирования оценочных средств по моделям аргументированного доказательства результатов оценки с опорой на теорию и практику педагогических измерений. Созданы расширенные паттерн-дизайны для преподавателей разработчиков средств и процедур оценки, обеспечивающее аутентичность результатов за счет анализа и интерпретации данных с учетом контекстной информации о деятельности испытуемых в ситуации оценки.

Обсуждение и заключения

Обсуждение и заключения. Проанализирована взаимосвязь проблематики оценивания компетенций с их сложностью и междисциплинарностью, предложено в процессе разработки оценочного инструментария обращение к моделям С. Тулмина и Р. Мислеви. Показаны тенденции развития контрольно-оценочной деятельности для диагностики качества обучения.

Introduction. The article presents the current situation of the problem under consideration in the works of Russian and foreign authors. The diffi  of assessing competencies as complex, deeply latent and interdisciplinary in nature learning outcomes are considered. The study is relevant due to the need to ensure the reliability of estimates. Its novelty lies in the presentation of an algorithm for the development of competence assessment based on the modelling of the construct and conditions for the manifestation of competencies in the process of students’ activities when performing a complex task.Purpose. A systematic presentation of modern approaches to the authentic assessment of competencies based on the theory and practice of pedagogical measurements and experience in designing and using tools based on models of evidencebased argumentation that ensure the fairness of the evaluation process and the authenticity of the evaluation results.Materials and Methods. As theoretical methods, work with sources, collection, generalization, structuring and analysis of information on existing approaches to assessing the students’ competencies in Russia and abroad were used. In the practical part, the experience of organizing and conducting various forms of evaluation of learning outcomes in the context of competence-based learning of students was used.Results. Modern approaches and mechanisms for designing evaluation tools based on models of reasoned proof of evaluation results based on the theory and practice of pedagogical measurements are proposed. Extended pattern designs have been created for teachers, and developers of assessment tools and procedures, ensuring the authenticity of the results through the analysis and interpretation of data, considering contextual information about the activities of the subjects in the assessment situation.Discussion and Conclusion. The interrelation of the problems of competence assessment with their complexity and interdisciplinarity is analyzed, and an appeal to the models of S. Tulmin and R. Mislevi is proposed in the process of developing evaluation tools. The trends in control development and evaluation activities for the measurement of training quality are shown.

компетенцииоценкадоказательствапаттерн-дизайнмодели аргументацииразработчики оценочных средствcompetencymeasurementevidencepattern-designargument modelassessment tools developersReferencesАвдеева, С. М., Руднев, М. Г., Васин, Г. М. и др. (2017). Оценка информационно-коммуникационной компетентности учащихся: подходы, инструмент, валидность и надежность результатов. Вопросы образования, 4, 104−132. https://doi.org/10.17323/1814-9545-2017-4-104-132Almond, R. G., Mislevy, R. J., Steinberg, L. et al. (2019). Bayesian networks in educational assessment. New York: Springer.Ефремова, Н. Ф. (2018а). Проектирование оценочных средств по модели доказательной аргументации. Педагогические измерения, 3, 8−15.Avdeeva, S. M., Rudnev, M. G., Vasin, G. M. et al. (2017). Assessment of information and communication competence of students: approaches, tool, validity and reliability of results. Educational Studies, 4, 104−132. https://doi.org/10.17323/1814-9545-2017-4-104-132 (In Russ.).Ефремова, Н. Ф. (2018б). Аргументации и доказательства надежности оценок компетенций студентов. Известия Дагестанского государственного педагогического университета. Психолого-педагогические науки, 12(2), 43−50.Care, E., Griffin, P., Wilson, M. (2018). Assessment and Teaching of 21st Century Skills. Research and Applications. New York: Springer. http://dx.doi.org/10.1007/978-3-319-65368-6Ефремова, Н. Ф. (2019). Концептуальная модель оценки компетенций студентов. Современные наукоемкие технологии, 7, 169−174. https://doi.org/10.17513/snt.37607Chandra, M. Yu., Baikina, E. A. (2018). Strategies for assessing students’ competencies in the process of mastering the educational program of the university. Bulletin of Volgograd State Pedagogical University, 7(130), 10–15. (In Russ.).Нефедов, С. Н. (2017). Модель доказывания Тулмина и количественные показатели достоверности вывода. Вопросы криминологии, криминалистики и судебной экспертизы, 1(41), 87−93.Efremova, N. F. (2018b). Arguments and Evidence of Reliability Assessment of Students’ Competencies. DSPU Journal, Psychological and pedagogical sciences, 12(2), 43−50. (In Russ.).Угланова, И. Л., Брун, И. В., Васин, Г. М. (2018). Методология Evidence-Centered Design для измерения комплексных психологических конструктов. Современная зарубежная психология, 7(3), 18–27. https://www.doi.org/10.17759/jmfp.2018070302Efremova, N. F. (2019). Conceptual model for assessing students’ competencies. Modern science-intensive technologies, 7, 169−174. https://doi.org/10.17513/snt.37607 (In Russ.).Чандра, М. Ю., Байкина, Е. А. (2018). Стратегии оценивания компетенций студентов в процессе освоения образовательной программы вуза. Известия Волгоградского государственного педагогического университета, 7(130), 10–15.Griffin, P., Care, E., McGaw, B. (2012). The Changing Role of Education and Schools. In P. Griffin, B. McGaw, E. Care (eds): Assessment and Teaching of 21st Century Skills. Research in Science Teaching (pp. 1–15). New York: Springer. https://www.doi.org/10.1007/978-94-007-2324-5_1Almond, R. G., Mislevy, R. J., Steinberg, L. et al. (2019). Bayesian networks in educational assessment. New York: Springer.Jumariati, Febriyanti, E. R., Rizki, M. (2021). Argumentation Skills: An Analysis on EFL Students’ Essays Based on Toulmin’s Model of Argument. In: Advances in Social Science, Education and Humanities Research, Proceedings of the 2nd International Conference on Education, Language, Literature, and Arts (ICELLA 2021), 587 (pp 86–95). https://www.doi.org/10.2991/assehr.k.211021.013Care, E., Griffin, P., Wilson, M. (2018). Assessment and Teaching of 21st Century Skills. Research and Applications. New York: Springer. http://dx.doi.org/10.1007/978-3-319-65368-6Messick, S. (1994). The interplay of evidence and consequences in the validation of performance assessments. Education Researcher, 23(2), 13–23. https://www.doi.org/10.3102/0013189x023002013Griffin, P., Care, E., McGaw, B. (2012). The Changing Role of Education and Schools. In P. Griffin, B. McGaw, E. Care (eds): Assessment and Teaching of 21st Century Skills. Research in Science Teaching (pp. 1–15). New York: Springer. https://www.doi.org/10.1007/978-94-007-2324-5_1Mislevy, R. J., Almond, R. G., Lukas, J. F. (2003). A Brief Introduction to Evidence-centered Design. Educational Testing Service, 2003(1), i–29. https://www.doi.org/10.1002/J.2333-8504.2003.TB01908.XJumariati, Febriyanti, E. R., Rizki, M. (2021). Argumentation Skills: An Analysis on EFL Students’ Essays Based on Toulmin’s Model of Argument. In: Advances in Social Science, Education and Humanities Research, Proceedings of the 2nd International Conference on Education, Language, Literature, and Arts (ICELLA 2021), 587 (pp 86–95). https://www.doi.org/10.2991/assehr.k.211021.013Mislevy, R. J., Haertel, G., Riconscente, M. et al. (2017). Assessing Model-Based Reasoning using Evidence-Centered Design: A Suite of Research-Based Design Patterns. New York: Springer. https://www.doi.org/10.1007/978-3-319-52246-3Messick, S. (1994). The interplay of evidence and consequences in the validation of performance assessments. Education Researcher, 23(2), 13–23. https://www.doi.org/10.3102/0013189x023002013Mislevy, R. J., Levy, R. (2007). Bayesian psychometric modeling from an evidence-centered design perspective. Handbook of statistics, 26, 839–865. https://doi.org/10.1016/S0169-7161(06)26026-7Mislevy, R. J., Almond, R. G., Lukas, J. F. (2003). A Brief Introduction to Evidence-centered Design. Educational Testing Service, 2003(1), i–29. https://www.doi.org/10.1002/J.2333-8504.2003.TB01908.XNefedov, S. N. (2017). Toulmin’s proof model and quantitative indicators of the reliability of the conclusion. Issues of criminalistics and forensics, 1(41), 87−93. (In Russ.).Mislevy, R. J., Haertel, G., Riconscente, M. et al. (2017). Assessing Model-Based Reasoning using Evidence-Centered Design: A Suite of Research-Based Design Patterns. New York: Springer. https://www.doi.org/10.1007/978-3-319-52246-3Oliveri, M. E., Mislevy, R. J. (2019). Introduction to “Challenges and Opportunities in the Design of ‘NextGeneration Assessments of 21st Century Skills’ Special Issue. International Journal of Testing, 19(2), 97–102. https://www.doi.org/10.1080/15305058.2019.1608551Mislevy, R. J., Levy, R. (2007). Bayesian psychometric modeling from an evidence-centered design perspective. Handbook of statistics, 26, 839–865. https://doi.org/10.1016/S0169-7161(06)26026-7Toulmin, S. E. (2003). The Uses of Argument. Cambridge: Cambridge University Press.Oliveri, M. E., Mislevy, R. J. (2019). Introduction to “Challenges and Opportunities in the Design of ‘NextGeneration Assessments of 21st Century Skills’ Special Issue. International Journal of Testing, 19(2), 97–102. https://www.doi.org/10.1080/15305058.2019.1608551Uglanova, I. L., Brun, I. V., Vasin, G. M. (2018). Evidence-Centered Design methodology for measuring complex psychological constructs. Modern foreign psychology, 7(3), 18–27. https://www.doi.org/10.17759/jmfp.2018070302 (In Russ.).Toulmin, S. E. (2003). The Uses of Argument. Cambridge: Cambridge University Press.Weideman, A. (2012). Validation and Validity Beyond Messick. Per Linguam, 28(2), 1–14. https://doi.org/10.5785/28-2-526Weideman, A. (2012). Validation and Validity Beyond Messick. Per Linguam, 28(2), 1–14. https://doi.org/10.5785/28-2-526Yefremova, N. F. (2018a). Evidence centred design model in the design of measuring instruments. Pedagogical dimensions, 3, 8−15. (In Russ.).

The authors declare that there are no conflicts of interest present.