या ब्लॉग पोस्टमध्ये, आम्ही जर्नल सायटेशन इंडेक्सवर केंद्रित असलेल्या वैज्ञानिक संशोधनाच्या मूल्यांकनाच्या सध्याच्या पद्धतीतील समस्या तपासतो आणि ती संशोधनाचे खरे मूल्य अचूकपणे दर्शवते की नाही याचा विचार करतो.
वैज्ञानिक समुदायामध्ये, संशोधकांची पात्रता आणि त्यांच्या शोधनिबंधांचे महत्त्व 'जर्नल इम्पॅक्ट फॅक्टर' वापरून तपासले जाते. तथापि, अलीकडे या पद्धतीवर होणारी टीका वाढत आहे. गेल्या मे महिन्यात, शंभरहून अधिक विज्ञान आणि तंत्रज्ञान संशोधक 'संशोधन मूल्यांकनावरील सॅन फ्रान्सिस्को घोषणापत्रा'ची घोषणा करण्यासाठी सॅन फ्रान्सिस्कोमध्ये एकत्र आले होते. सध्या, हजारो संशोधक या चळवळीत सामील झाले आहेत. ते जर्नल सायटेशन इंडेक्सवर आधारित मूल्यांकन पद्धतीमधील अनेक गंभीर त्रुटी निदर्शनास आणून देतात. या लेखात, मी जर्नल सायटेशन इंडेक्सवरील विशिष्ट टीकांचे परीक्षण करणार आहे आणि असा युक्तिवाद करणार आहे की वैज्ञानिक संशोधनाचे मूल्यांकन करण्यासाठी तो एक मापदंड म्हणून काम करू शकत नाही.
जर्नल इम्पॅक्ट फॅक्टर हे जर्नलच्या प्रभावाचे एक संख्यात्मक मोजमाप आहे. हे मूळतः ग्रंथपालांसाठी एक मापदंड म्हणून तयार केले गेले होते. याचे कारण असे की, नियमितपणे कोणत्या शैक्षणिक जर्नल्सची वर्गणी घ्यावी हे निवडताना ग्रंथालयांना विविध पर्यायांच्या सापेक्ष महत्त्वाचे मूल्यांकन करणे आवश्यक होते. जर्नल सायटेशन इंडेक्सची गणना करण्याची पद्धत सोपी आहे. उदाहरणार्थ, जर 'सायन्स अँड टेक्नॉलॉजी' नावाचे एखादे जर्नल असेल आणि गेल्या दोन वर्षांत त्यात एकूण २० शोधनिबंध प्रकाशित झाले असतील, आणि या शोधनिबंधांना एकूण २०० वेळा उद्धृत केले गेले असेल, तर 'सायन्स अँड टेक्नॉलॉजी'चा सायटेशन इंडेक्स २००/२० म्हणजेच १० असेल. दुसऱ्या शब्दांत, 'सायटेशन इंडेक्स १०' याचा अर्थ असा की, गेल्या दोन वर्षांत 'सायन्स अँड टेक्नॉलॉजी'मध्ये प्रकाशित झालेल्या प्रत्येक शोधनिबंधाला मिळालेल्या उद्धरणांची सरासरी संख्या १० आहे. अशाप्रकारे, जर्नल सायटेशन इंडेक्स हे एक संख्यात्मक मूल्य आहे जे जर्नलचे महत्त्व संख्यात्मकदृष्ट्या व्यक्त करते.
मात्र, समस्या ही आहे की जर्नल सायटेशन इंडेक्स अनेकदा वैयक्तिक शोधनिबंधांचे महत्त्व मोजण्यासाठी थेट वापरला जातो. जर्नलच्या इम्पॅक्ट फॅक्टरचे मूल्य हे त्या जर्नलमध्ये प्रकाशित झालेल्या शोधनिबंधांसाठी थेट प्रभाव गुण म्हणून काम करते. उदाहरणार्थ, जर दोन जर्नल्स असतील—'सायन्स अँड टेक्नॉलॉजी' ज्याचा इम्पॅक्ट फॅक्टर १० आहे आणि 'मंथली इंजिनिअरिंग' ज्याचा इम्पॅक्ट फॅक्टर ९० आहे—तर 'सायन्स अँड टेक्नॉलॉजी' मध्ये प्रकाशित झालेल्या सर्व शोधनिबंधांचे मूल्यांकन १० गुणांवर केले जाते, तर 'मंथली इंजिनिअरिंग' मधील सर्व शोधनिबंधांचे मूल्यांकन ९० गुणांवर केले जाते. अशा प्रकारे मोजलेले गुण स्वाभाविकपणे त्या शोधनिबंधांच्या लेखकांनाही लागू केले जातात. परिणामी, 'सायन्स अँड टेक्नॉलॉजी' मध्ये शोधनिबंध प्रकाशित करणाऱ्या संशोधक 'अ' ला १० गुण मिळतात, तर 'मंथली इंजिनिअरिंग' मध्ये शोधनिबंध प्रकाशित करणाऱ्या संशोधक 'ब' ला ९० गुण मिळतात. संशोधक म्हणून त्यांची पात्रता किंवा त्यांच्या शोधनिबंधांचे नाविन्य विचारात न घेता, 'अ' आणि 'ब' यांच्यामध्ये ८० गुणांचे अंतर निर्माण होते.
जर्नल इम्पॅक्ट फॅक्टरमधील पहिली समस्या म्हणजे 'सांख्यिकीय सापळा'. जर्नल इम्पॅक्ट फॅक्टर ही एक सरासरी असल्यामुळे, एकाच जर्नलमध्ये प्रकाशित झालेल्या शोधनिबंधांमध्येही उद्धरणांची संख्या मोठ्या प्रमाणात भिन्न असू शकते. एखाद्या शोधनिबंधाचा प्रभाव हा तो ज्या जर्नलमध्ये प्रकाशित झाला आहे, त्याच्या इम्पॅक्ट फॅक्टरशी थेट संबंधित नसतो. उदाहरणार्थ, 'अ' च्या शोधनिबंधाचा इम्पॅक्ट फॅक्टर १० असला तरी, प्रत्यक्षात त्याला डझनभर किंवा अगदी शेकडो वेळा उद्धृत केले गेले असू शकते. तथापि, हे शक्य आहे की 'सायन्स अँड टेक्नॉलॉजी' मध्ये प्रकाशित झालेल्या इतर शोधनिबंधांची उद्धरण संख्या खूप कमी असल्यामुळेच एकूण सरासरी १० पर्यंत घसरली असेल. याउलट, लेखक 'ब' च्या शोधनिबंधाला फक्त एकदा किंवा दोनदा उद्धृत केले गेले असले तरी, त्याला 'स्पिलओव्हर इफेक्ट'चा फायदा झाला असू शकतो, ज्यामुळे 'मंथली इंजिनिअरिंग' मधील इतर शोधनिबंधांना वारंवार उद्धृत केल्यामुळे जर्नलचा उद्धरण निर्देशांक ९० पर्यंत वाढला असेल. अशा परिस्थितीत, A आणि B यांच्या संशोधनाची तुलना करताना जर्नलच्या इम्पॅक्ट फॅक्टरचा विचार करणे निरर्थक आहे. त्याऐवजी, A आणि B यांच्या शोधनिबंधांच्या स्वतंत्रपणे मिळालेल्या उद्धरणांच्या संख्येची तुलना करणे आणि A च्या शोधनिबंधाचा प्रभाव खूप जास्त आहे असा निष्कर्ष काढणे योग्य ठरेल. सॅन फ्रान्सिस्को घोषणेनुसार, जर्नलमधील सुमारे २५% शोधनिबंधांना एकूण उद्धरणांपैकी ९०% उद्धरणे मिळतात. दुसऱ्या शब्दांत सांगायचे झाल्यास, जर जर्नलचा इम्पॅक्ट फॅक्टर थेट वैयक्तिक शोधनिबंधांना लागू केला, तर अपरिहार्यपणे काही शोधनिबंधांचे नुकसान होईल आणि इतरांना अयोग्यरित्या फायदा होईल.
दुसरे म्हणजे, जर्नल इम्पॅक्ट फॅक्टरवर आधारित संशोधन मूल्यांकन प्रत्येक शैक्षणिक विषयाची अद्वितीय वैशिष्ट्ये प्रतिबिंबित करण्यात अयशस्वी ठरते. उदाहरणार्थ, वैद्यकशास्त्र किंवा जीवशास्त्र यांसारख्या क्षेत्रांमध्ये, जेव्हा एखादा नवीन सिद्धांत मांडला जातो, तेव्हा त्याची वैधता तपासण्यासाठी असंख्य प्रयोग केले जातात. एकाच शोधनिबंधाशी संबंधित क्लिनिकल चाचण्यांनंतर अनेकदा पुढील अभ्यास केले जात असल्यामुळे, जीवशास्त्र आणि वैद्यकीय जर्नल्सचे इम्पॅक्ट फॅक्टर इतर नैसर्गिक विज्ञान किंवा अभियांत्रिकी क्षेत्रांपेक्षा अपरिहार्यपणे जास्त असतात. याउलट, शुद्ध गणितामध्ये, एकच शोधनिबंध सहसा स्वयंपूर्ण असतो. त्यानंतरचे संशोधन किंवा प्रयोग अनावश्यक असतात. त्यामुळे, गणिताच्या शोधनिबंधांना तुलनेने कमी संदर्भ मिळतात आणि शुद्ध गणिताच्या जर्नल्सचे इम्पॅक्ट फॅक्टर अपरिहार्यपणे कमी असतात. याव्यतिरिक्त, कमी संशोधक असलेल्या अत्यंत विशेषीकृत क्षेत्रांमध्ये, संदर्भांची संख्या तुलनेने कमी असते. याउलट, सक्रिय संशोधन आणि मोठ्या संख्येने संशोधक असलेल्या मोठ्या क्षेत्रांतील जर्नल्सना तुलनेने जास्त संदर्भ मिळतात. अशाप्रकारे, जर्नल सायटेशन इंडेक्सवर आधारित मूल्यांकन पद्धतीमध्ये प्रत्येक विषयाच्या स्वरूपामुळे निर्माण होणारे मूलभूत फरक विचारात न घेण्याची मर्यादा आहे.
तिसरा मुद्दा म्हणजे जर्नल सायटेशन इंडेक्सचा (Journal Citation Index) प्रतिकूल परिणाम, ज्यामुळे काही मोजक्या लोकप्रिय जर्नल्समध्ये शोधनिबंधांचे केंद्रीकरण होते. शोधनिबंध सादर करण्याच्या तयारीत असलेल्या संशोधकांना साहजिकच आपले काम 'सेल', 'नेचर' आणि 'सायन्स' यांसारख्या जगप्रसिद्ध जर्नल्समध्ये प्रकाशित व्हावे असे वाटते. याचे कारण म्हणजे या जर्नल्सचे इम्पॅक्ट फॅक्टर्स (impact factors) सर्वाधिक असतात. जर काही मोजक्या जर्नल्समधील हे केंद्रीकरण प्रमाणाबाहेर वाढले, तर संशोधकांसाठी प्रत्यक्ष संशोधनापेक्षा शोधनिबंध प्रकाशित करणे अधिक महत्त्वाचे मानले जाऊ शकते. केवळ उच्च-स्तरीय जर्नल्समध्ये प्रकाशित झालेल्या शोधनिबंधांनाच मान्यता देणारी संस्कृती, आपल्याला कळण्यापूर्वीच, एक जागतिक घटना बनली आहे. जर ही “लक्झरी ब्रँड मानसिकता”—जी परिश्रमपूर्वक केलेल्या संशोधन प्रक्रियेला कमी लेखते आणि केवळ दृश्यमान परिणामांवर भर देते—चालू राहिली, तर ती विज्ञानाचे मूळ स्वरूपच विकृत करू शकते. शिवाय, काही जर्नल्स स्वतःचे इम्पॅक्ट फॅक्टर्स वाढवण्याच्या प्रयत्नात “सेल्फ-सायटेशन” (self-citation), म्हणजेच त्यांच्याच जर्नल्समध्ये प्रकाशित झालेल्या शोधनिबंधांच्या उल्लेखांना प्रोत्साहन देतात. अशाप्रकारे, जर्नल इम्पॅक्ट फॅक्टर्सवर आधारित मूल्यांकन अवास्तव आणि अनैतिक स्पर्धेला जन्म देत आहे.
अर्थात, जर्नल इम्पॅक्ट फॅक्टरचे फायदे आहेतच. संशोधकांचे जलद आणि सोयीस्कर मूल्यांकन करण्याची क्षमता असल्यामुळेच त्यांचा मोठ्या प्रमाणावर वापर केला जातो. प्रत्येक जर्नलचे संपादक 'तज्ञ मूल्यमापक' म्हणून काम करतात. संशोधनाच्या प्रचंड ओघातून ते महत्त्वाचे आणि उल्लेखनीय संशोधन त्वरीत ओळखतात. आजच्या झपाट्याने बदलणाऱ्या आणि विस्तारणाऱ्या वैज्ञानिक समुदायात, हा एक निर्विवाद फायदा आहे.
तथापि, आपण पाहिल्याप्रमाणे, या सोयीमागे गंभीर त्रुटी दडलेल्या आहेत. पहिली त्रुटी म्हणजे सांख्यिकीय सापळा: जर्नलचा इम्पॅक्ट फॅक्टर हा एखाद्या शोधनिबंधाला मिळणाऱ्या प्रत्यक्ष उद्धरणांच्या संख्येपेक्षा वेगळा असू शकतो. दुसरी त्रुटी म्हणजे, इम्पॅक्ट फॅक्टर प्रत्येक विषयाची विशिष्ट वैशिष्ट्ये विचारात घेत नाही. असे निदर्शनास आणले गेले आहे की, काही क्षेत्रांमध्ये उद्धरणांच्या संख्येचा शोधनिबंधाच्या प्रभावाशी जवळजवळ काहीही संबंध नसतो. शेवटचा मुद्दा हा आहे की, ही मूल्यांकन पद्धत वैज्ञानिक समुदायामध्ये अनावश्यक स्पर्धेला प्रोत्साहन देते, उदाहरणार्थ, काही मोजक्या प्रतिष्ठित जर्नल्सच्या वर्चस्वाखाली एकाधिकारशाहीची रचना निर्माण करते.
या समस्यांवर मात करण्यासाठी आणि योग्य वैज्ञानिक विकास साधण्यासाठी, वैज्ञानिक समुदाय सध्या नवीन मूल्यांकन निकषांच्या शोधात आहे. सर्वात सोपा मार्ग म्हणजे वैयक्तिक संशोधकांच्या संदर्भ संख्यांचा (citation counts) मूल्यांकनामध्ये समावेश करणे. सांख्यिकीमधील त्रुटी दूर करण्यासाठी हा एक पर्याय म्हणून काम करतो. दुसऱ्या पद्धतीमध्ये प्रत्येक विषयाची अद्वितीय वैशिष्ट्ये दर्शविणाऱ्या समायोजित निर्देशांकाचा (adjusted index) वापर करणे समाविष्ट आहे. समायोजित निर्देशांकाचा वापर करून—जो एखाद्या जर्नलच्या इम्पॅक्ट फॅक्टरला (impact factor) त्याच्या क्षेत्रातील शीर्ष २०% जर्नल्सच्या सरासरी संदर्भ संख्येने भागून मोजला जातो—प्रत्येक शैक्षणिक विषयाची विशिष्टता विचारात घेण्यासाठी डेटा सामान्यीकृत करणे शक्य होते. जर्नल इम्पॅक्ट फॅक्टर किंवा संदर्भ संख्या यांसारख्या संख्यात्मक मापदंडांवर अवलंबून राहण्याऐवजी, पीअर रिव्ह्यूला (peer review) पुनरुज्जीवित करणे आणि गुणात्मक मूल्यांकन निकष विकसित करणे हा एक अधिक मूलभूत पर्याय असेल. तर्कसंगत मूल्यांकन पद्धती तयार करण्यासाठी वैज्ञानिक समुदायाकडून सध्या आत्म-चिंतन आणि संवादाची आवश्यकता आहे.
