سیاست‌ها و معیارهای ارزیابی بروندادهای علمی علوم انسانی از دیدگاه متخصصان: مطالعه موردی رشته‌های زبان و ادبیات

نوع مقاله : مقاله پژوهشی

نویسندگان

1 گروه علم اطلاعات و دانش‌شناسی؛ دانشگاه اصفهان؛ اصفهان، ایران

2 گروه زبان و ادبیات فارسی؛ دانشگاه اصفهان؛ اصفهان، ایران

چکیده

با توجه ‌به کارکرد علوم انسانی و تفاوت آن‌ با علوم دیگر، این پژوهش به‌دنبال بررسی بروندادهای علمی و وزن هر کدام، معیارها و شاخص‌های ارزیابی، و رابطه هر برونداد و معیار در ارزیابی این علوم و به‌طور خاص در حوزه زبان و ادبیات است. پژوهش از نظر هدف، کاربردی و از نظر فرایند اجرای پژوهش، از نوع ترکیبی متوالی اکتشافی طی سه مرحله است: 1. شناسایی و وزن‌دهی بروندادهای علمی با روش کتابخانه‌ای، انجام مصاحبه، و فرایند سلسله‌مراتب تحلیلی (AHP)، 2. شناسایی معیارهای ارزیابی بروندادهای علمی با روش کتابخانه‌ای، و 3. تعیین اولویت‌های ارزیابی بروندادهای علمی از طریق استقرار عملکرد همزمان (CFD). بر اساس یافته‌ها، بروندادهای علمی به دو دسته تقسیم شد: 1. قالب‌ها: مقاله نشریه علمی، مقاله همایش، کتاب، طرح پژوهشی، و پایان‌نامه/ رساله، 2. فعالیت: در عرصه‌های سیاست‌گذاری، اجتماعی (علمی-ترویجی)، اجتماعی (رسانه‌ای)، و اقتصادی. معیارهای ارزیابی نیز به 8 دسته بستر ایجاد، ارائه و نشر؛ ساختار نگارشی؛ محتوا؛ اثرگذاری در فضای مجازی؛ اثرگذاری علمی؛ اثرگذاری اجتماعی؛ اثرگذاری اقتصادی؛ و اثرگذاری فرهنگی بروندادهای علمی تقسیم شد که هر کدام شامل شاخص‌هایی است. سرانجام، بروندادها و معیارها با توجه به سه رویکرد و هدف تولید علم و ارتقای بنیادهای دانش، کاربردی ‌بودن و پاسخگویی به مسائل جامعه، و آفرینش ادبی/ ادبیات خلاق اولویت‌بندی شده است. نظر به اهمیت و ضرورت ارزیابی متفاوت هر حوزه و رشته بنا بر ماهیت هر کدام به‌عنوان عاملی مؤثر بر کاربرد و اثرگذاری بروندادهای علمی آن‌ها، سیاست‌گذاران پژوهشی می‌توانند با توجه ‌به نتایج، رویکردی تازه در تصمیم‌گیری و وضع سیاست‌های ارزیابی بروندادهای علمی رشته‌های زبان و ادبیات و حوزه علوم انسانی به‌‌کار گیرند. 

کلیدواژه‌ها

موضوعات

عنوان مقاله [English]

Evaluation Policies and Criteria of Humanities Scientific Outputs from Experts' Point of View: a Case Study of Language and Literature Fields

نویسندگان [English]

  • Elahe Ebrahimi Dorcheh 1
  • Ali Mansouri 1
  • Mitra Pashootanizadeh 1
  • Ali Asghar Mirbagheri fard 2
  • Ahmad Shabani 1
1 Department of Knowledge and Information Science; University of Isfahan; Isfahan, Iran
2 Department of Persian Literature; University of Isfahan; Isfahan, Iran
چکیده [English]

Considering the function of humanities and its comparison with other sciences, this research seeks to examine the scientific outputs and the weight of each evaluation criteria and indicators, and the relationship between each output and criteria in the evaluation of these sciences especially in language and literature. In terms of purpose, the research is applied, and in terms of the research implementation process it is of a sequential and exploratory type. The steps of the work are as follows: 1. Identification and weighting of scientific outputs through the three steps of the library method, conducting interviews, and the Analytical Hierarchy Process (AHP); 2. Identifying the evaluation criteria of scientific outputs with the library method; and 3. determining priorities for evaluating scientific outputs through concurrent function deployment (CFD). Based on the findings, scientific outputs were divided into two categories: 1. Formats: scientific journal article, conference article, book, research project, and dissertation/thesis; 2. Activity: in policy-making, social (scientific-promotional), social (media), and economic contexts. Evaluation criteria are also divided into 8 categories: platform for creation, presentation and publication; writing structure; content; impact in online environment; scientific impact; social impact; economic impact; and cultural impact, each of which includes indicators. Finally, outputs and criteria have been prioritized according to three approaches and goals: production of science and promotion of knowledge foundations, applicability and responsiveness to society’s problems, literary creation/creative literature. Considering the importance and necessity of different evaluation of each field and discipline according to the nature of each one as an effective factor on the application and effectiveness of their scientific outputs, research policy makers can use a new approach in decision-making and establishing policies for evaluating the scientific outputs of the language and literature fields and humanities according to the results.

کلیدواژه‌ها [English]

  • Evaluation Policies
  • Scientific Outputs
  • Evaluation Criteria
  • Humanities
  • Language and Literature

مراجع

ابراهیمی درچه، الهه، علی منصوری، میترا پشوتنی‌زاده، علی‌اصغر میرباقری فرد، و احمد شعبانی. 1401. آسیب‌ها و راهکارهای ارزیابی بروندادهای پژوهشی علوم انسانی: مطالعه موردی رشته‌های زبان و ادبیات. پژوهشنامه علم‌سنجی (زودآیند).
اصغری، حرمت، کرم‌الله دانش‌فرد، و ناصر میرسپاسی. 1395. ارائه الگوی ارزیابی عملکرد پارک‌‌های علم و فناوری. مدیریت منابع نیروی انتظامی 4 (1): 11-34.
باب‌الحوائجی، فهیمه، اورانوس تاج‌الدینی، فاطمه نوشین‌فرد، و نجلا حریری. 1392. تدوین ابزار خودارزیابی ترجمان دانش مربوط به پژوهشگران علوم‌ انسانی. تحقیقات کتابداری و اطلاع‌رسانی دانشگاهی 47 (1): 49-64.
حسینی، حسین، و روح‌الله شهابی. 1397. علوم انسانی در ایران؛ وضعیت کنونی و راهکارهای ارتقای آن با بهره‌گیری از الگوی تحلیل درونی/ محیطی. پژوهشنامه انتقادی متون و برنامه‌های علوم انسانی 18 (1): 101-126.
خسروی، مریم، و رؤیا پورنقی. 1398. ابعاد اثرگذاری پژوهش: مطالعه مرور سیستماتیک. پژوهشنامه علم‌سنجی 5 (1): 203-224.
خوشنویسان، فاطمه، عباس عباس‌پور، نعمت‌الله فاضلی، و محمدرضا نیستانی. 1399. علوم انسانی در سپهر نسل سوم دانشگاه تحلیلی پدیدارشناسانه بر موانع علوم انسانی کارآفرین. پژوهشنامه انتقادی متون و برنامه‌های علوم انسانی 20 (10): 79-102.
دهقانی، مریم، مسلم علوی، محمدحسن آسمانی، محمدمهدی عارفی، پیمان ستوده، و علی‌اکبر صفوی. 1395. تحلیلی بر لزوم ارائه دروس مکمل از علوم اجتماعی و انسانی برای دانشجویان و دانش‌آموختگان رشته مهندسی برق. آموزش مهندسی ایران 18 (71): 41-46.
ذوالفقاری، حسن. 1388. موقعیت کنونی رشته زبان و ادبیات فارسی و راهکارهای تقویت آن. مطالعات ملی 10 (2): 47-73.
رسولی، بهروز، و پرویز شهریاری. 1399. چاله‌ها و چالش‌های پژوهش در علوم انسانی در ایران؛ پنجره‌ای به روی سیاست‌گذاری علم. پردازش و مدیریت اطلاعات 37 (2): 331-361.
رضایی، مینا، و عبدالرضا نوروزی چاکلی. 1393. شناسایی و اعتبارسنجی شاخص‌های ارزیابی بهره‌وری پژوهشی پژوهشگران ایران. پردازش و مدیریت اطلاعات 30 (1): 3-39.
شمشیری، بابک، قاسم سلیمی، و فروغ سنگی. 1397. معیارهای ارتقای اعضای هیئت علمی در حوزه علوم انسانی از منظر تجارب دانشگاه‌‌های معتبر دنیا و تجارب اعضای هیئت علمی دانشگاه شیراز پژوهشی ترکیبی. مجله آموزش عالی ایران 10 (1): 99-131.
شیخ‌‌‌زاده، حسین. 1394. علوم انسانی تحول و ارتقای در راستای منافع ملی ایران. ‌کنفرانس بین‌المللی رویکردهای نوین در علوم انسانی. مالزی.
صفرپور، اسحاق، جواد عباس‌‌پور، و قاسم سلیمی. 1400. کاوش تجربیات و دیدگاه‌های اعضای هیئت علمی حوزه علوم انسانی و هنر در مورد آئین‌نامه ارتقا. مطالعات دانش‌پژوهی 1 (1): 29-54.
طایفه ‌باقر، دلبر، زهرا اباذری، شیما مرادی، و فهیمه باب‌الحوائجی. 1401. مدل ارزیابی اثربخشی پژوهش‌های علوم انسانی در ایران. پژوهشنامه علم‌سنجی 8 (15): 1-34.
عصاره، فریده، فرزانه عفیفیان، و حمزه‌علی نورمحمدی. 1398. طراحی مدل مفهومی و عملیاتی ارزیابی و رتبه‌بندی علمی گروه‌های آموزشی حوزه علوم انسانی دانشگاه‌ها و مؤسسات آموزش عالی ایران. پژوهشنامه علم‌سنجی 5 (1): 23-46.
غلامی، زهرا، حمیدرضا آراسته، عبدالرحیم نوه ابراهیم، و حسن‌رضا زین‌آبادی. 1397. طراحی الگوی کارکرد پژوهشی دانشگاه‌ها با رویکرد صنعت‌یاری. مطالعات راهبردی سیاست‌گذاری عمومی 8 (27): 231-253.
قاضی نوری، سپهر، و مهدیه فرازکیش. 1397. الگوی ارزیابی ملی علم، فناوری و نوآوری بر اساس شاخص‌های کارایی، اثربخشی و سودمندی. مطالعات راهبردی سیاست‌گذار‌ی عمومی 8 (27): 205-229.
قانعی‌راد، محمدامین، مریم محمودی، و حسین ابراهیم‌آبادی. 1396. تدوین الگوی چندوجهی ارزیابی توسعه علوم انسانی. سیاست علم و فناوری 9 (1): 85-103.
قنادی‌نژاد، فرزانه، و غلامرضا حیدری. 1399. روش‌ها و شاخص‌های ارزیابی تولیدات علمی در علوم انسانی و اجتماعی: مرور نظام‌مند. پژوهشنامه علم‌سنجی 6 (12): 203-230.
کورس، سارا. 1383. ادبیات و جامعه. ترجمه غلامرضا ارجمندی. پیک نور 2 (2): 13-25.
کیوان‌آرا، محمود، رضوان اجاقی، مظفر چشمه‌سهرابی، و احمد پاپی. 1392. گونه‌شناسی تقلب‌ها و سرقت‌های علمی با استفاده از شناخت تجربیات صاحب‌نظران در دانشگاه علوم پزشکی اصفهان. مدیریت اطلاعات سلامت 10 (3): 449-460.
مطلبی، داریوش، نگین الهیاری، و نجلا حریری. 1399. ارزیابی مقایسه‌ای کارکرد شاخص‌های ضریب تأثیر (IF)، SNIP، SJR، IPP در معرفی مجلات معتبر حوزه‌های علوم اجتماعی، فنی‌‑‌مهندسی و پزشکی. پژوهشنامه علم‌سنجی 6 (11): 195-212.
نوروزی چاکلی، عبدالرضا، رقیه قضاوی، و بهجت طاهری. 1394. ارزش‌گذاری شاخص‌های ارزیابی پژوهش در حوزه‌های مختلف علوم در ایران. سیاست علم و فناوری 7 (4): 31-40.
References:
Aksnes, D. W., L. Langfeldt, and P. Wouters. 2019. Citations, Citation Indicators, and Research Quality: An Overview of Basic Concepts and Theories. SAGE Open 9 (1): 1-17.
Antonakis, J. and R. Hooijberg. 2007. Cascading vision for real commitment. In Hooijberg, R., J. G. Hunt, J. Antonakis, K. B. Boal and N. Lane (Ed). Being there even when you are not: Leading through strategy, structures, and systems. (Vol. 4, pp. 235-242). Amsterdam: Elsevier Science.
Bonaccorsi, A. 2018. Peer review in social sciences and humanities. Addressing the interpretation of quality criteria. In Bonaccorsi, A. (Ed), The Evaluation of Research in Social Sciences and Humanities: Lessons from the Italian Experience (pp. 71–101). Cham: Springer.
Bonaccorsi, A., C. Daraio, S. Fantoni, V. Folli, M. Leonetti, and G. Ruocco. 2017. Do social sciences and humanities behave like life and hard sciences? Scientometrics 112 (1): 607–653.
Borovik, M. A., and L. V. Shemberko. 2016. The challenges of information retrieval in social sciences and humanities and ways to overcome information barriers. Scientific and Technical Information Processing 43 (2): 99–105.
Bunia, R. 2016. Quotation statistics and culture in literature and in other humanist disciplines. In Ochsner, M., S. E. Hug, and H.-D. Daniel (Ed), Research Assessment in the Humanities: Towards Criteria and Procedures (pp. 133–148). Switzerlaand: Springer.
Campbell, D. T. 1979. Assessing the impact of planned social change. Evaluation and Program Planning 2 (1): 67–90.
Chubb, J., and M. S. Reed. 2018. The politics of research impact: academic perceptions of the implications for research funding, motivation and quality. British Politics 13 (3): 295–311.
Colman, A. M., D. Dhillon, and B. Coulthard. 1995. A bibliometric evaluation of the research performance of British university politics departments: Publications in leading journals. Scientometrics 32 (1): 49–66.
D’Souza, R. 2021. What characterises creativity in narrative writing, and how do we assess it? Research findings from a systematic literature search. Thinking Skills and Creativity 42: 1–28.
De Oliveira, L. M. V., H. F. dos Santos, M. R. de Almeida, and J. A. F. Costa. 2020. Quality Function Deployment and Analytic Hierarchy Process: A literature review of their joint application. Concurrent Engineering Research and Applications 28 (3): 239–251.
Diaz-Faes, A. A., M. Bordons, and T. N. Van Leeuwen. 2016. Integrating metrics to measure research performance in social sciences and humanities: The case of the Spanish CSIC. Research Evaluation 25 (4): 451–460.
Faggiolani, C., and G. Solimine. 2018. Mapping the role of the book in evaluation at the individual and department level in Italian SSH. A multisource analysis. In Bonaccorsi, A. (Ed), The Evaluation of Research in Social Sciences and Humanities: Lessons from the Italian Experience (pp. 33–53). Cham: Springer.
Frixione, E., L. Ruiz-Zamarripa, and G. Hernández. 2016. Assessing individual intellectual output in scientific research: Mexico’s national system for evaluating scholars performance in the humanities and the behavioral sciences. PloS One 11 (5): e0155732.
Gadd, E. 2019. Influencing the changing world of research evaluation. Insights 32 (1): 1–9.
Giménez-Toledo, E., C. Tejada-Artigas, and J. Mañana-Rodríguez. 2012. Evaluation of scientific books’ publishers in social sciences and humanities: Results of a survey. Research Evaluation 22 (1): 64–77.
Glänzel, W., B. Thijs, and P. S. Chi. 2016. The challenges to expand bibliometric studies from periodical literature to monographic literature with a new data source: the book citation index. Scientometrics 109 (3): 2165–2179.
Haddow, G., and B. Hammarfelt. 2019. Quality, impact, and quantification: Indicators and metrics use by social scientists. Journal of the Association for Information Science and Technology 70 (1): 16–26.
Hammarfelt, B., and G. Haddow. 2018. Conflicting Measures and Values: How Humanities Scholars in Australia and Sweden Use and React to Bibliometric Indicators. The Association for Information Science and Technology 69 (7): 924–935.
Heinen, J. T. 2010. The Importance of a Social Science Research Agenda in the Management of Protected Natural Areas, with Selected Examples. The Botanical Review 76 (2): 140–164.
Huang, M., and Y. Chang. 2008. Characteristics of research output in social sciences and humanities: From a research evaluation perspective. Journal of the American Society for Information Science and Technology 59 (11): 1819–1828.
Hug, S. E., and M. Aeschbach. 2020. Criteria for assessing grant applications: a systematic review. Palgrave Communications 6 (1): 37.
Hug, S. E., M. Ochsner, and H.-D. Daniel. 2013. Criteria for assessing research quality in the humanities— A Delphi study among scholars of English literature, German literature and art history. Research Evaluation 22 (5): 369–383.
Krull, W., and A. Tepperwien. 2016. The Four ‘I’s: Quality indicators for the humanities. In Ochsner, M., S. E. Hug, and H.-D. Daniel (Ed), Research Assessment in the Humanities: Towards Criteria and Procedures (pp. 165–179). Switzerland: Springer Nature.
Kulczycki, E., R. Guns, J. Pölönen, T. C. E. Engels, E. A. Rozkosz, A. A. Zuccala, K. Bruun, O. Eskola, A. I. Starčič, M. Petr, and G. Sivertsen. 2020. Multilingual publishing in the social sciences and humanities: A seven-country European study. Journal of the Association for Information Science and Technology 71 (11): 1371–1385.
Moed, H. F., M. Luwel, and A. J. Nederhof. 2002. Towards research performance in the humanities. Library Trends 50 (3): 498–520.
Muhonen, R., P. Benneworth, and J. Olmos-Peñuela. 2020. From productive interactions to impact pathways: Understanding the key dimensions in developing SSH research societal impact. Research Evaluation 29 (1): 34–47.
Ochsner, M., and S. E. Hug. 2016. Indicators for Research Performance in the Humanities? The Scholars’ View on Research Quality and Indicators. International Conference on Science and Technology Indicators. Valencia, Spain.
Ochsner, M., and G. Peruginelli. 2021. National Research Evaluation Systems and the Social Sciences. In Engels, T. C. E., and E. Kulczycki (Ed.), Handbook on Research Assessment in the Social Sciences. Cheltenham: Edward Elgar.
Ochsner, M., S. E. Hug, and H.-D. Daniel. 2014. Setting the stage for the assessment of research quality in the humanities. Consolidating the results of four empirical studies. Z Erziehungswiss 17 (6): 111–132.
Ochsner, M., E. Kulczycki, and A. Gedutis. 2018. The diversity of european research evaluation systems. STI 2018 Conference Proceedings: 1235–1241. Leiden.
Olmos-Peñuela, J., P. Benneworth, and E. Castro-Martinez. 2014. Are ‘STEM from Mars and SSH from Venus’?: Challenging disciplinary stereotypes of research’s social value. Science and Public Policy 41 (3): 384–400.
Pedersen, D. B., J. F. Grønvad, and R. Hvidtfeldt. 2020. Methods for mapping the impact of social sciences and humanities—A literature review. Research Evaluation 29 (1): 4–21.
Pinto, M. J., and S. Fernandes. 2015. New questions arise: are bibliometric indicators adequate for evaluating the scientific production of the Social Sciences and Humanities? Qualitative and Quantitative Methods in Libraries 11 (2): 103–119.
Prasad, B. 2000. A concurrent function deployment technique for a workgroup-based engineering design process. Journal of Engineering Design 11 (2): 103–119.
Price, D. J. 1970. Citation measures of hard science, soft science, technology, and nonscience. Communication among Scientists and Engineers (pp. 3-22). Lexington: Heath Lexington Book .
Reale, E., D. Avramov, K. Canhial, C. Donovan, R. Flecha, P. Holm, C. Larkin, B. Lepori, Judith Mosoni-Fried, E. Oliver, E. Primeri, L. Puigvert, A. Scharnhorst, A. as Schubert, M. Soler, S. andor So os, T. Sorde, C. Travis, and R. Van. Horik. 2018. A review of literature on evaluating the scientific, social and political impact of social sciences and humanities research. Research Evaluation 27 (4): 298–308.
Ren, Q., and X. Gong. 2012. Evaluation index system for academic papers of humanities and social sciences. Scientometrics 93 (3): 1047–1060.
Rovira-Esteva, S., and P. Orero. 2012. Evaluating quality and excellence in translation studies research: Publish or perish, the Spanish way. Babel. Revue Internationale de La Traduction / International Journal of Translation 58 (3): 264–288.
Rowlands, J., and S. Wright. 2019. Hunting for points: the effects of research assessment on research practice. Studies in Higher Education 46 (9): 1801–1815.
Saaty, T. L. 1980. The Analytic Hierarchy Process. New York: McGraw-Hill.
_____, and M. S. Özdemir. 2014. How many judges should there be in a group? Annals of Data Science 1 (3): 359-368.‏
Sani’ee, N., L. Nemati-Anaraki, S. Sedghi, A. Noroozi Chakoli, and S. Goharinezhad. 2022. The Effective Trends and Driving Forces in The Future of Research Performance Evaluation: A Qualitative Study. Medical Journal of The Islamic Republic of Iran 36 (1): 393–406.
Shahin, A., and E. Bakhshi. 2013. Prioritization of innovation factors by the integration of concurrent function deployment and P diagram with a case study in Sepahan Industry Group. Journal of Manufacturing Technology Management 24 (6): 952–971.
Sigurðarson, E. S. 2019. Capacities, capabilities, and the societal impact of the humanities. Research Evaluation 29 (1): 71–76.
Sīle, L., and R. Vanderstraeten. 2019. Measuring changes in publication patterns in a context of performance-based research funding systems: the case of educational research in the University of Gothenburg (2005–2014). Scientometrics 118 (1): 71–91.
Sivertsen, G. 2016. Patterns of internationalization and criteria for research assessment in the social sciences and humanities. Scientometrics 107 (2): 357–368.
Van den Akker, W. 2016. Yes We Should; Research Assessment in the Humanities. In Ochsner, M., S. E. Hug, and H.-D. Daniel (Ed), Research Assessment in the Humanities: Towards Criteria and Procedures (pp. 23–29). Switzerland: Springer.
Vanholsbeeck, M., and K. Lendák-Kabók. 2020. Research impact as a ‘boundary object’ in the social sciences and the humanities. Word and Text 10: 29–52.
Verleysen, F. T., and A. Weeren. 2016. Clustering by publication patterns of senior authors in the social sciences and humanities. Journal of Informetrics 10 (1): 254–272.
Zuccala, A. 2018. Language, culture and traversing the scholarly evaluation landscape. In A. Bonaccorsi (Ed): The Evaluation of Research in Social Sciences and Humanities: Lessons from the Italian Experience (pp. 395–411). Cham: Springer.
 

فایل ها

سابقه مقاله

  • تاریخ دریافت: 09 بهمن 1401
  • تاریخ بازنگری: 17 اردیبهشت 1402
  • تاریخ پذیرش: 02 خرداد 1402

هم رسانی

ارجاع به این مقاله

آمار