روش‌شناسی ایجاد شاخص ترکیبی ارزیابی نوآوری در راستای الگوی اسلامی و ایرانی پیشرفت
Article data in English (انگلیسی)
روش‌شناسي ايجاد شاخص تركيبي ارزيابي نوآوري
در راستاي الگوي اسلامي و ايراني پيشرفت
سيدحبيب‌الله طباطبائيان*/ رضا نقي‌زاده**/ محمد نقي‌زاده***
چكيده
سنجش پيشرفت کشور در قالب الگوئي قابل اتکاء از اساسي‌ترين ارکان هرگونه برنامه‌ريزي محسوب مي‌شود. اين الگو مي‌تواند مبنايي براي شناسايي وضعيت واقعي عملکرد بازيگران عرصه‌هاي مختلف توسعه ملي باشد و زمينه همگرائي تمامي فعاليتهاي علمي، فني، صنعتي و اقتصادي را فراهم آورد. يکي از ابزارهاي سياست گذاري در حوزه‌هاي مرتبط با نوآوري، بهره‌گيري از شاخص‌هاي ترکيبي مي‌باشد. اين شاخص‌ها قابليت مقايسه‌اي را براي کشورهاي مختلف در عرصه نوآوري فراهم مي‌آورد. در اين بين نحوه توسعه اين شاخص‌ها در حوزه نوآوري و همچنين بررسي چگونگي توسعه ساير مدل‌ها و نقاط ضعف آن داراي اهميت ويژه است. در اين تحقيق سعي شده است تا با استفاده از روش تحليلي، الگوهاي پيشنهادي جهت توسعه شاخص‌هاي ترکيبي بررسي شود. در اين چارچوب برخي از مهمترين مدل‌هاي بين‌المللي مرتبط با نوآوري مورد بررسي قرار گرفته است. بر اساس يافته‌هاي مقاله، طراحي شاخص‌هاي تركيبي در راستاي الگوي اسلامي ايراني پيشرفت نيازمند شكل‌گيري گروه‌هاي سه‌گانه نظريه‌پردازي، روش‌شناسي و جمع‌آوري داده است.
کليد واژه‌ها: شاخص ترکيبي، نوآوري، توسعه، الگوي اسلامي و ايراني پيشرفت
طبقه‌بندي JEL: C8, O21, C43, O31
مقدّمه
سنجش پيشرفت كشور در قالب الگويي قابل اتّكا از اساسي‌ترين اركان هرگونه برنامه‌ريزي محسوب مي‌شود كه برمبناي آن مي‌توان وضعيت واقعي عملكرد بازيگران عرصه‌هاي مختلف توسعة ملّي را شناسايي كرد و زمينة همگرايي تمامي فعاليتهاي علمي، فنّي، صنعتي، و اقتصادي را فراهم آورد. در عين حال، ارزيابي صحيح خود منوط به رعايت ملاحظات زير است:
1. بهره‌مندي از روش مناسب (آن‌چنان‌كه بتواند منعكس‌كنندة كمّيت و كيفيت پيشرفت كشور در سطح ملّي باشد؛ امكان مقايسة وضعيت پيشرفت كشور را با ساير كشورهاي جهان مهيا نمايد؛ و بالأخره برمبناي روش‌هاي متعارف و قابل قبول جامعة علمي طرّاحي شده باشد.)
2. انتخاب سازماني مناسب براي ارزيابي مستمر فرايند توسعة كشور: اين سازمان بايستي از موقعيتي فرابخشي برخوردار باشد تا ارزيابي‌هاي آن تحت تأثير هيچ يك از قواي سه‌گانه قرار نگيرد؛ لذا مي‌تواند در زمرة نهادي وابسته به رهبري باشد.
3. التزام قواي سه‌گانة كشور به همكاري در فرايند فوق و تشويق تمامي نهادهاي عمومي و سازمانهاي مردم‌نهاد به همراهي با آن.
4. پشتكار مستمر و تعهد سازمان مسئول ارزيابي پيشرفت در انجام امر فوق: بدون ترديد، هر فرايند ارزيابي در سطح ملّي به صورت تدريجي (و البته تكاملي) منويات طرّاحان آن را برآورده مي‌نمايد، در دو ـ سه سال نخست، با نقصان‌هايي مواجه مي‌شود كه به خواست خدا، با تدبير مجريان و همكاري سازمانهاي پشتيبان و بالأخره سعه¬صدر مسئولان عالي‌رتبه نظام، برطرف خواهد شد.
به هر روي، ارزيابي خوب منوط به رعايت جامعيت به عنوان شرطي اساسي در پوشش تمامي مراحل پيشرفت كشور است كه در نمودار زير ملاحظه مي‌شود:
نمودار 1: مراحل اصلي ارزيابي چرخة نوآوري
در تلاش‌هاي ملّي و بين‌المللي براي ارزيابي چرخة نوآوري در كشورها، عمدتاً چهار دسته‌بندي ارائه شده است؛ نهادهاي مختلف به ارزيابي بخش علم، فناوري، صنعت، و در نهايت، مجموعة اقتصاد مي‌پردازند. در حقيقت، ارزيابي اين چهار بخش را نمي‌توان به طور صريح از هم جدا نمود؛ ولي براي ايجاد شفّافيت، در ارزيابي نوآوري، اين تقسيم‌بندي مدّنظر قرار مي‌گيرد. از اين‌رو، اهميت شاخص‌هاي تركيبي به عنوان ابزاري مفيد براي تجزيه و تحليل‌هاي سياست‌گذاري هر روز آشكارتر مي‌شود. تعداد اين شاخص‌هاي تركيبي در سرتاسر جهان به شدّت در حال افزايش است؛ به نحوي كه در سال 2006 و برمبناي گزارش باندورا، بيش از 160 نوع از اين شاخص‌ها وجود داشته است.
مطمئناً بسيار ساده‌تر خواهد بود كه تفسيري كلّي از يك شاخص تركيبي داشته باشيم تا اينكه دست به مقايسه‌اي گسترده ميان تعداد زيادي از سنجه‌ها در ميان كشورها بزنيم. با اين‌حال، اگر همين شاخص‌هاي تركيبي به صورتي دقيق توسعه داده نشده باشند و يا به نحوي نادرست تفسير گردند، مي‌تواند پيام‌هاي سياستي گمراه‌كننده‌اي در پي داشته باشد.
در زمينة تحليل‌هاي سياستي، شاخص‌ها مي‌توانند در شناسايي روندها و معطوف كردن توجّهات به مسائل خاصّي بسيار مفيد باشند. شاخص تركيبي هنگامي ايجاد مي‌شود كه تعدادي از سنجه‌هاي منفرد در شاخص تركيبي واحد، و بر اساس يك مدل زيربنايي گردآوري شوند. اصولاً يك شاخص تركيبي براي ارزيابي و سنجش مفاهيم چندبعدي به كار گرفته مي‌شود كه با سنجة خاص و منفرد اندازه‌گيري نمي‌شوند؛ براي نمونه، مفاهيمي همچون «رقابت‌پذيري»، «صنعتي‌شدن»، «پايداري»، «جامعة دانش‌بنيان»، و ساير موارد، همگي مفاهيمي چندبعدي‌اند و با يك سنجه قابل اندازه‌گيري نيستند.
با اين‌حال، شاخص‌هاي تركيبي معايبي هم دارند. سايسانا و تارانتولا(2002) مزايا و معايب استفاده از شاخص‌هاي تركيبي و رتبه‌بندي‌هاي صورت‌گرفته توسط آن را در فرايند سياست‌گذاري برشمرده‌اند كه در جدول زير آورده شده است:
جدول شماره 1: مزايا و معايب بكارگيري شاخص‌هاي تركيبي
معايب مزايا
بسيار ساده‌انگارانه و تلخيص‌شده
مبتني بر قضاوت‌هاي ذهني
اطلاعات بسياري در فرايند تجميع از بين مي‌رود
ريسك مقايسة فاكتورهاي با مقياس‌هاي متفاوت كاهش پيچيدگي و تلخيص مسائل پيچيده
سادگي تفسير
توانايي هدايت افكار عمومي به حوزه‌هاي خاص
امكان ارزيابي و كنترل سياسي دست‌اندركاران امور كشور توسط عموم
در حوزة توسعة شاخص‌هاي تركيبي مرتبط با نوآوري نيز در سال‌هاي اخير، تلاش‌هاي فراواني شده است. امّا آنچه مهم است نحوة توسعة چنين شاخص‌هايي، و كاربرد آن به ويژه براي كشورهاي در حال توسعه مي‌باشد. بدين جهت، در اين پژوهش، سعي شده است كه با توجه به الگوي او اي سي دي(2008) براي توسعة شاخص‌هاي تركيبي، شاخص‌هاي تركيبي مرتبط با نوآوري ارزيابي گردد و پيشنهادهاي تكميلي در زمينة گام‌هاي ارائه‌شده توسط او اي سي دي به دست داده شود.
همچنين، اين نكته حائز اهميت است كه نوآوري تنها در زمينة فناوري نيست، بلكه در زمينه‌هاي ديگري چون بازاريابي، مالي، و مرتبط با نوآوري نيز مي‌باشد. در اصل، مقولة نوآوري به كلّيت اقتصاد، صنعت، فناوري و علم، و ارتباط و خروجي آنها اشاره دارد. به همين جهت، در شاخص نوآوري، شاخص‌هايي چون مقالات منتشره، ميزان صادرات فناوري برتر و حتي شاخصي چون توليد ناخالص داخلي يا حجم تجارت مورد نظر قرار مي‌گيرد. در اين مقاله نيز به مقولة نوآوري در معناي عامّ آن توجه شده است؛ ولي بايد توجه نمود، به علّت وجود ابعاد گسترده، عمدتاً اين مقولات به چهار دسته‌اي كه در نمودار 1 به آن اشاره شده است تقسيم مي‌شوند.
در ادامة مقاله، گام‌هاي توسعة شاخص‌هاي تركيبي از ديدگاه او اي سي دي(2008) و ويژگي‌هاي آنها براي شاخص‌هاي نوآوري ذكر شده است. سپس، به منظور توسعة شاخص‌هاي تركيبي نوآوري و بررسي الگوهاي بين‌المللي، پيشنهادهايي ارائه شده است. در پايان نيز نتيجه‌گيري اين تحقيق آورده مي‌شود.
گام‌هاي توسعة شاخص‌هاي تركيبي از ديدگاه او اي سي دي
براي توسعة شاخص‌هاي تركيبي، روش‌هاي مختلفي پيشنهاد شده است كه عمدتاً داراي گام‌هاي مشابهي هستند؛ به طور مثال، اونسل و همكارانش براي توسعة شاخص‌هاي تركيبي، در مقاله‌اي با عنوان «چشم‌اندازي جديد درباب رقابت‌پذيري ملت‌ها» (2008)، روش‌شناسي جديدي را با تكيه بر تكنيك‌هاي پيشرفته ارائه دادند. در اين روش‌شناسي كه از سه بخش كلّي تشكيل شده است، براي خوشه‌بندي از تكنيكSOM ، تعيين روابط ميان سنجه‌ها و وزن‌بندي (ANN) آنها، از تكنيك‌هاي پيشرفته‌تري نسبت به تحقيقات پيشين استفاده مي‌شود. چارچوب پيشنهادي اين محقّقان در نمودار زير نمايش داده شده است:
نمودار 2: روش‌شناسي پيشنهادي اونسل و همكاران(2008) در توسعة شاخص تركيبي
امّا با توجه به اهميت شفّاف بودن گام‌هاي طرّاحي شاخص‌هاي تركيبي و جامعيت آن، در اين تحقيق، تمركز بر چارچوب 10 مرحله‌اي او اي سي دي(2008) به شرح زير مي‌باشد:
1. توسعة چارچوب مفهومي
چارچوب مفهومي صحيح و دقيق، نقطة شروع توسعة يك شاخص تركيبي قلمداد مي‌شود. اين چارچوب بايد پديده‌اي را كه اندازه‌گيري و زيرمجموعه‌هاي آن را به صورت شفّاف تعريف كند و سنجه‌ها و اوزاني را كه نمايانگر درجة اهميت نسبي هركدام از زيرطبقات و ابعاد مي‌باشند، به صورت دقيق، بررسي نمايد. بسيار مهم است كه اين فرايند برمبناي آنچه مطلوب اندازه‌گيري است صورت پذيرد، نه بر مبناي داده‌ها و متغيرهايي كه موجوداند. براي نمونه، توليد ناخالص داخلي ارزش كلّي كالاها و خدمات توليد‌شده در اقتصاد كشورها را اندازه‌گيري مي‌كند. در اين شاخص، وزن‌ها برمبناي نظريه‌هاي اقتصادي و بنا بر قيمت نسبي كالاها و خدمات محاسبه مي‌گردد.
چارچوب نظري و آماري اندازه‌گيري توليد ناخالص داخلي كه در طي بيش از پنجاه سال شكل گرفت، برمبناي بازنگري نهايي سال 1993، امروزه با عنوان «سيستم حساب‌هاي ملّي» توسط سازمانهاي مسئول در سراسر جهان مورد سنجش قرار مي‌گيرد. لازم به ذكر است كه در مورد همة مفاهيم چندبعدي، چنين چارچوب آماري و نظري يك‌پارچه و قابل اطميناني وجود ندارد. در واقع، شاخص‌هاي تركيبي توسعه در زمان فعلي در حوزة سياست‌گذاري (از قبيل توانمندي فناورانه، رقابت‌پذيري، توسعة پايدار، آمادگي كسب‌وكار الكترونيك و ساير موارد)، تا حدود بسياري، ذهني‌اند؛ چراكه تحقيقات اقتصادي در اين حوزه‌ها هنوز تكميل نشده و در حال تكوين‌اند.
فعاليت‌هايي كه در اين مرحله بايد انجام بگيرد عبارت‌اند از:
- تعريف مفهوم؛
- تعيين زيرگروه‌ها؛
- شناسايي معيارهاي انتخابي؛
2. انتخاب متغيرها
قوّت و ضعف نهايي شاخص تركيبي برمبناي كيفيت متغيرهايي است كه در پايين‌ترين سطح در چارچوب مفهومي قرار داده مي‌شوند. در حالت مطلوب، متغيرها بايد برمبناي معيارهايي نظير: مربوط بودن، دقّت تحليلي، به جا بودن و قابليت دستيابي انتخاب گردند. بايد به اين نكته توجه داشت كه در حوزة نوآوري، برخي از سنجه‌ها به ويژه براي كشورهاي كمتر توسعه‌يافته موجود نمي‌باشد و يا داراي استانداردهاي متفاوتي است؛ اين چالش بايد در هماهنگي با نظريه‌پردازان رفع گردد.
3. نحوة برخورد با داده‌هاي ناقص
وجود داده‌هاي ناقص، از توسعة يك شاخص تركيبي منسجم و پايدار جلوگيري مي‌نمايد؛ لذا داشتن يك راهبرد مناسب براي برخورد با چنين داده‌هايي بسيار ضروري مي‌باشد. به طور كلّي، براي اين منظور، سه شيوه ذكر گرديده است: الف) حذف مورد؛ ب) نسبت دادن انفرادي؛ ج) نسبت دادن چندگانه.
در شيوة اوّل، با سادگي هرچه تمام‌تر، ركورد حاوي داده‌هاي ناقصْ از تحليل‌ها كنار گذاشته مي‌شود؛ امّا اين روش باعث ناديده گرفته شدن تفاوت‌هاي سيستماتيك ممكن ميان نمونه‌هاي كامل و غيركامل مي‌گردد. لذا به عنوان يك قاعدة سرانگشتي توصيه گرديده: در صورتي كه بيش از پنج درصد مقادير متغيرها ناقص باشد از اين روش استفاده نشود. در شيوه‌هاي دوم و سوم، تلاش مي‌شود تا داده‌هاي ناقص هم در تحليل دخالت داده شود؛ امّا سعي مي‌شود تا داده‌هاي ناقص با انتساب مقادير از طريق منفرد (شيوة اوّل؛ به عنوان نمونه: جايگزيني ميانگين، ميانه و يا نما، انتساب رگرسيوني و ساير موارد مرتبط) يا انتساب چندگانه (شيوة دوم؛ براي نمونه: زنجيره‌‌هاي ماركوف و يا شبيه‌سازي مونت كارلو) بر اين مشكل غلبه نمايد.
4. تحليل‌هاي چندمتغيره
در طي دهه‌هاي گذشته، شاهد توسعة شاخص‌هاي تركيبي فراواني از طرف نهادها و سازمانهاي متعدّد ملّي و بين‌المللي بوده‌ايم. متأسفانه انتخاب سنجه‌ها در اين شاخص‌هاي تركيبي در بيشتر موارد به صورت سليقه‌اي و گاه بدون در نظرگرفتن روابط ميان سنجه‌ها بوده است. گاهي توسعة چنين شاخص‌هايي منجر به دستپاچگي و گمراه كردن سياست‌گذاران گرديده است.
پيش از توسعة شاخص‌هاي تركيبي بايد ماهيت و طبيعت داده‌هاي مورد نياز به دقّت مورد تحليل قرار گيرد. اين گام مقدّماتي علاوه بر آنكه در ارزيابي برازندگي مجموعه داده‌ها بسيار مفيد مي‌باشد، مي‌تواند مبنايي براي فهم استنتاجات روش‌شناختي؛ نظير روش‌هاي تجميع و وزن‌دهي را در مراحل بعدي توسعة شاخص تركيبي نيز فراهم آورد.
در اين حالت، تحليل‌گر يا توسعه دهندة شاخص بايد در مورد دو سؤال زير تصميم‌گيري نمايد:
الف) آيا ساختار سلسله‌مراتبي شاخص تركيبي (توسعه داده‌شده در مرحلة اوّل) به نحو مناسبي تعريف شده است؟
ب) آيا مجموعه سنجه‌هاي انفرادي موجود (انتخاب‌شده در مرحلة دوم) براي تشريح و توصيف پديدة مورد بررسي كافي و مناسب مي‌باشند؟
اين تصميمات مي‌بايست برمبناي نظريه‌هاي خبرگان و شيوه‌هاي تحليل آماري مبتني باشد. به عنوان نمونه، تحليل مؤلّفه‌اي اصلي مي‌تواند به منظور پاسخگويي به اين سؤالات ـ و اينكه آيا ابعاد در نظر گرفته‌شده قادر به توصيف پديدة مورد بررسي هستند يا نه؟ ـ مورد استفاده قرار گيرد. در صورتي كه خروجي تحليلْ عاملي رضايت‌بخش نباشد، لزوم بازنگري در انتخاب ابعاد و سنجه‌ها ضرورت مي‌يابد.
5. هنجارسازي داده‌ها
قبل از اينكه تجمّع‌سازي در مورد داده‌ها صورت پذيرد، به دليل آنكه داده‌ها برمبناي مقياس‌هاي مختلفي جمع‌آوري شده‌اند، بايد طي يك فرايند تحت هنجارسازي قرار گيرند. روش‌هاي متعدّدي براي هنجارسازي داده‌ها وجود دارد كه در جدول زير، به برخي نمونه‌ها اشاره مي‌شود:
جدول 2: نمونة چند روش هنجارسازي داده‌ها (او اي سي دي، 2008)
فرمول روش
رتبه‌بندي
استانداردسازي (برمبناي مقياس Z)
حداقل – حداكثر
فاصله تا يك كشور خاص
6. وزن‌دهي و تجمّع‌سازي
براي وزن‌دهي در توسعة شاخص‌هاي تركيبي، تكنيك‌هاي متعدّدي(آماري، تحقيق در عملياتي) قابليت كاربرد دارد كه براي نمونه، مي‌توان به موارد زير اشاره نمود:
- تحليل عاملي (FA) ؛
- تحليل پوششي داده‌ها (DEA) ؛
- مدل‌هاي مؤلّفه‌هاي مشاهده‌نشده (UCM) ؛
- فرايند‌هاي تخصيص بودجه (BAP) ؛
- فرايند تحليل سلسله‌مراتبي (AHP) ؛
- تحليل‌هاي مشترك (CA) .
در كل، وراي اينكه از كدام‌يك از روش‌هاي بالا استفاده شود، وزن‌ها ماهيتاً قضاوت‌هاي ارزشي دارند؛ با اين تفاوت كه بعضي از روش‌ها صرفاً به مكانيسم‌هاي آماري براي وزن‌دهي اكتفا مي‌كنند، ولي در بعضي روش‌ها (روش‌هاي جبراني)، ممكن است تحليل‌گر برمبناي نظريات خبرگان به عوامل يا ابعادي با توجه به تأثير بيشتر(يا كمتري) كه به نظر مي‌رسد داشته باشد، به منظور انعكاس بهتر اولويت‌هاي سياستي يا عوامل تئوريك، وزن بيشتري تخصيص دهد.
در تحقيقاتي كه اخيراً در اين حوزه صورت گرفته است، تكنيك‌هاي پيشرفته‌تري همچون شبكه‌هاي عصبي مصنوعي نيز براي هرچه عيني‌تر كردن اين فرايند وزن‌دهي مورد استفاده قرار گرفته است. نمونة ديگر چنين روش‌هاي پيشرفته‌تري را مي‌توان استفاده از تكنيك‌هاي شبيه‌سازي (شبيه‌سازي مونت كارلو ) دانست. براي نمونه، مي‌توان از شبيه‌سازي¬هاي مونت كارلو به منظور تحليل تأثير اوزان سنجه¬هاي شاخص تركيبي بر درجة همبستگي ميان شاخص تركيبي و يك متغير قابل اندازه‌گيري شناخته‌شده استفاده نمود؛ بدين صورت كه در هر مرحلة شبيه‌سازي، براي نمونه، اجازة تغيير اوزان سنجه‌ها را از 0 تا 1 صادر نمود و آن‌گاه در تعداد تكرار 10000 چرخة شبيه‌سازي همين تعداد نمره براي اين شاخص تركيبي محاسبه مي‌گردد. آن‌گاه رابطة اين تعداد نمرة شاخص محاسبه‌شده با يك متغير قابل اندازه‌گيري مشخّص مورد بررسي قرار مي‌گيرد و مي‌توان ضريب همبستگي را در طبقات بيشترين، متوسط، و كمترين حالت تعيين نمود. حال، با در نظرگرفتن بينش پذيرفته‌شده در مورد مثلاً وجود بيشترين همبستگي ميان شاخص تركيبي و متغير قابل اندازه‌گيري مشخّص مي‌توان مجموعه وزن‌هاي مناسب را بر اين مبنا انتخاب نمود.
براي روش‌هاي تجميع و تركيب نهايي هم شيوه‌هاي متنوعي وجود دارد كه ذيل دو دستة كلّي تراكمي‌سازي خطي و تراكمي‌سازي هندسي مطرح مي‌شوند. در حالتي كه تمام سنجه‌ها از واحد اندازه‌گيري يكسان برخوردار باشند، آن‌گاه به شرط رعايت پاره‌اي ملاحظات رياضي مي‌توان از تراكمي‌سازي خطّي به نحو احسن استفاده كرد.
7. تحليل حسّاسيت
به دليل آنكه در فرايند توسعة شاخص تركيبي بايد قضاوت‌هاي متعدّدي انجام گيرد (براي نمونه انتخاب متغيرها، انتخاب روش وزن‌دهي، انتخاب روش مواجهه با داده‌هاي ناقص، انتخاب روش تراكمي‌سازي و ساير موارد)، لذا امكان به مناقشه كشيده شدن كلّ فرايند توسعه از طرف منتقدان وجود دارد. لذا به منظور تحليل قوّت شاخص، بهتر است تحليل‌هايي به اين منظور صورت پذيرد. براي نمونه، با اضافه يا حذف نمودن سنجه‌هاي خاصّي، تغيير روش‌هاي وزن‌دهي و مواجهه با داده‌هاي ناقص و غيره (و مشاهدة تأثيري كه در نتيجة نهايي شاخص تركيبي به وجود مي‌آيد، مي‌توان چنين تحليل‌هايي را صورت داد.
8. بازگشت به داده‌ها
هرچند كه شاخص تركيبي مي‌تواند به عنوان نقطة شروع تحليل مورد استفاده قرار گيرد، امّا اين بدان معني نيست كه نمي‌توان با تجزيه كردن و شكستن شاخص تركيبي به زيرگروه‌ها، تحليل‌هايي را در اين سطح نيز صورت نداد. به عبارت ديگر، انجام چنين كاري مي‌تواند بسيار مفيد و روشن‌گر باشد. لذا تجزية شاخص تركيبي مي‌تواند در تحليل عملكرد نهايي يك كشور برمبناي شاخص تركيبي نهايي بسيار مفيد واقع شود. امروزه مي‌توان از ابزارها و تكنيك‌هاي متعدّدي براي تجزية شاخص تركيبي و انجام تحليل‌ها برمبناي رابطه ميان زيرگروه‌ها و ابعاد با شاخص تركيبي بهره گرفت كه مهمترين اين ابزارها عبارت‌اند از: تحليل مسير، شبكه‌هاي بيزين و مدل‌سازي معادلات ساختاري. همچنين، رسم گرافيكي نمودارهايي از قبيل نمودارهاي ميله‌اي برمبناي تجزية شاخص تركيبي و نمودارهاي تارعنكبوتي و ساير موارد مي‌تواند در انجام چنين تحليل‌هايي بسيار مفيد واقع گردد.
9. ميزان ارتباط با ساير متغيرها
شاخص‌هاي تركيبي اغلب براي اندازه‌گيري مفاهيمي چندبعدي كه ارتباط نزديكي با پديده‌هاي شناخته‌شده و قابل اندازه‌گيري دارند، مورد استفاده قرار مي‌گيرد. بررسي برقراري چنين ارتباطاتي مي‌تواند قدرت تبيين‌كنندگي شاخص تركيبي را ارزيابي نمايد. براي نمونه، در مورد شاخص تركيبي ميزان دستيابي به فن‌آوري مي‌توان اين‌طور مطرح كرد كه طبيعتاً هر كشوري كه ميزان دستيابي بيشتري به فن‌آوري داشته باشد، آن‌گاه ميزان ثروت آن كشور هم بيشتر باشد. لذا براي ارزيابي چنين شاخصي مي‌توان ارتباط اين شاخص را با شاخص سرانة توليد ناخالص داخلي بررسي نمود. طبيعتاً در صورتي كه اين دو شاخص داراي ارتباط مستقيم و معناداري باشند، حاكي از قوّت شاخص تركيبي طرّاحي‌شده خواهند بود. تنها نكته‌اي كه مي‌ماند آن است كه نبايد از تحليل وجود همبستگي رابطة علّيتي استخراج گردد. براي بررسي در سطح علّيت، مي‌توان از تكنيك‌هاي اقتصادسنجي همچون آزمون‌هاي علّيت نگر استفاده نمود كه البته خود مستلزم وجود داده‌هاي سري‌زماني براي متغيرها مي‌باشد.
10. ارائه و انتشار نتايج
در نهايت بايد تصميم‌گيري شود كه نتايج نهايي به صورت جدولي يا در قالب گرافيكي نمايش داده شود. قالب جدولي ساده‌ترين شكل ارائه مي‌باشد و كشورها برمبناي نمرة شاخص تركيبي، و به ترتيب نزولي، مرتّب مي‌شوند.
اعتبارسنجي كيفي شاخص‌هاي تركيبي
توسعة چارچوب كيفي براي شاخص‌هاي تركيبي كار ساده‌اي نيست. در واقع، كيفيت كلّي شاخص تركيبي مسئله‌اي چند جنبه‌اي است و علاوه بر اينكه به كيفيت داده‌هاي اوّلية مورد استفاده جهت توسعة شاخص برمي‌گردد، به درست و دقيق بودن رويه‌هاي به كارگرفته‌شده در توسعة شاخص نيز مربوط مي‌باشد. كيفيت معمولاً به معناي قابليت استفاده برمبناي نيازهاي استفاده‌كنندگان تعريف شده است. اما با وجود تمام نگراني‌هايي كه در مورد آمارها وجود دارد ساير ابعاد نيز بسيار مهم هستند. به عبارت ديگر كيفيت مفهومي چند بعدي است.
مهمترين مشخصه‌هاي كيفيت بر مبناي ديدگاه‌هاي استفاده كنندگان، نيازها و اولويت‌ها و از گروهي به گروه ديگر متفاوت مي‌باشد. سازمانهاي بين‌المللي بسياري در مورد جنبه‌هاي كيفيت فراورده‌هاي آماري كار كرده‌اند كه براي نمونه مي‌توان به ادارة آمار اروپا، صندوق بين‌المللي پول، ادارة آمار كانادا و سوئد در اين زمينه اشاره نمود. صندوق بين‌المللي پول، چارچوب كيفي داده‌ها را به منظور فراهم نمودن يك چارچوب جامع بدين منظور ارائه نموده است. در اين چارچوب، براي كيفيت فراورده‌هاي آماري، پنج بعد در نظر گرفته شده است:
1. اطمينان از يك‌پارچگي؛
2. روش‌شناسي صحيح؛
3. قابليت اطمينان و دقّت؛
4. قابليت استفاده؛
5. قابليت دسترسي.
ادارة آمار اروپا هم شش بعد كيفي زير را در نظر گرفته است:
1. مربوط و متناسب بودن (با نيازهاي استفاده‌كنندگان)؛
2. دقّت (در محاسبات)؛
3. تناسب زماني؛
4. قابليت دسترسي و وضوح نتايج؛
5. مقايسه‌پذيري؛
6. انسجام.
سازمان همكاري‌هاي اقتصادي مجموعة اين ويژگي‌ها را با توجه به مراحل ده‌گانة توسعة شاخص‌هاي تركيبي، در جدول زير يك‌پارچه نموده است:
جدول 3: ابعاد كيفي متناسب با مراحل توسعة شاخص‌هاي تركيبي
ابعاد كيفيت مراحل توسعه
انسجام تفسيرپذيري قابليت دسترسي تناسب زماني اعتبار دقّت تناسب
* * * چارچوب نظري
* * * انتخاب متغيرها
* * * * داده‌هاي ناقص
* * * تحليل چندمتغيره
* * * هنجارسازي
* * * * * وزن‌دهي و تجمّعي‌سازي
* * * * برگشت به داده‌ها
* * * تحليل حسْاسيت
* * * * ارتباط با ساير شاخص‌ها
* * * * ارائة نتايج
بررسي مدل‌هاي ارزيابي نوآوري با توجه به چارچوب او اي سي دي و ارائة پيشنهادها
مدل‌ها و چارچوب‌هاي مختلفي مرتبط با ارزيابي توانمندي فناورانه مورد توجه قرار گرفته است. به همين جهت، در اين تحقيق، سعي گرديده است كه برخي از مهمترين اين مدل‌ها مورد بررسي قرار گيرد تا نحوه ايجاد شاخص تركيبي در آنها بررسي شود. مدل‌هاي مورد بررسي از اين قرار است: شاخص رقابت‌پذيري جهاني مجمع جهاني اقتصاد (2008، 2009، 2010)، شاخص عملكرد رقابت صنعتي يونيدو (2002، 2004، 2009)، شاخص دستيابي به فناوري يو ان دي پي (2001)، شاخص اقتصاد دانش بانك جهاني (2008، 2009)، شاخص ظرفيت علم و فناوري مؤسسة رند (2001)، شاخص توانمندي فناوري آركو (2004)، و شاخص پايش جهاني توانمندي فناوري (2009).
در شاخص رقابت‌پذيري جهاني مجمع جهاني اقتصاد (2001، 2008)، تمركز اصلي بر موضوع رقابت‌پذيري اقتصادي مي‌باشد و بدين جهت، به مباحث مرتبط با توانمندي فناوري به صورت حاشيه‌اي پرداخته شده است.
شاخص عملكرد رقابت صنعتي يونيدو(2002، 2004، 2009) نيز به جهت پوشش تعداد زيادي از كشورها، تعداد كمي شاخص را براي ارزيابي توسعة صنعتي مدّ نظر قرار داده است و همچنين، تمركز بر توانمندي‌هاي فناورانه ندارد. همچنين در اين شاخص، وزن‌دهي‌ها به شكلي بسيار ساده و به طور مساوي مي‌باشد كه تبيين‌كنندة وضعيت واقعي كشورها نمي‌باشد.
شاخص دستيابي به فناوري يو ان دي پي (2001) نيز با مشكلاتي همچون تعداد كم شاخص‌ها (بررسي هشت شاخص در چهار بعد)، وزن‌دهي ساده به شاخص‌ها، و در نظر گرفتن تعداد كمي از ابعاد توانمندي فناورانه روبه‌روست. البته اين شاخص ويژة ارزيابي توانمندي فناورانه مي‌باشد؛ ولي به علّت ضعف‌هايي كه اين شاخص داشت، بار ديگر توسط يو ان دي پي مورد بررسي قرار نگرفت.
شاخص اقتصاد دانش بانك جهاني (2008، 2009)، مشابه شاخص رقابت‌پذيري جهاني، شاخصي براي ارزيابي‌هاي اقتصادي است و كمتر بر مقولة توانمندي فناوري تمركز نموده است. امّا دو شاخص ظرفيت علم و فناوري مؤسسة رند (2001) و توانمندي فناوري آركو (2004) دو شاخص مرتبط با ارزيابي توانمندي فناورانة كشورها مي‌باشند. در شاخص توانمندي فناوري آركو (2004)، هشت شاخص در سه بعد و با وزن‌هاي مساوي مورد بررسي قرار مي‌گيرد كه تعداد كم شاخص‌ها و وزن‌دهي مساوي مطمئناً از مشكلات اين مدل قلمداد مي‌شود. شاخص ظرفيت علم و فناوري مؤسسة رند (2001) نيز هشت شاخص را در سه بعد مورد بررسي قرار مي‌دهد كه وزن‌هاي زيرشاخص‌هاي در هر بعد مساوي مي‌باشد. اين شاخص نيز از ضعف وزن‌دهي و ارزيابي تعداد كمي از شاخص‌ها و ابعاد توانمندي فناوري برخوردار است. در نهايت مي‌توان به اين نتيجه رسيد كه شاخص‌هاي رقابت‌پذيري جهاني مجمع جهاني اقتصاد (2008، 2001)، عملكرد رقابت صنعتي يونيدو (2002، 2004، 2009)، و اقتصاد دانش بانك جهاني (2008، 2009)، به طور ويژه به مباحث توانمندي فناوري نمي‌پردازند و سعي در ارزيابي توانمندي فناورانة كشورها ندارند؛ به همين جهت، با وجود ارائة شاخص‌هاي مهمّي در زمينة توانمندي فناوري، از جامعيت لازم براي تعيين توانمندي فناورانة كشورها برخوردار نيستند. همچنين، در شاخص‌هاي دستيابي به فناوري يو ان دي پي (2001)، ظرفيت علم و فناوري مؤسسة رند (2001)، و توانمندي فناوري آركو (2004)، با وجود اينكه اين شاخص‌ها به طور ويژه به مقولة ارزيابي توانمندي فناوري كشورها مي‌پردازند، ولي از بررسي تعداد كم شاخص‌ها و ابعاد توانمندي فناوري و همچنين وزن‌دهي مساوي رنج مي‌برند كه در واقع، تبيين‌كنندة واقعي وضعيت توانمندي فناوري كشورها نمي‌باشد. به همين جهت، بايد سعي شود تا شاخصي با تعداد شاخص‌ها و ابعاد بيشتر براي ارزيابي توانمندي فناوري كشورها ايجاد گردد. همچنين، در اين شاخص، بايد سعي شود كه وزن‌دهي‌هاي دقيق‌تري بر پاية اطلاعات آماري صورت گيرد و وزن‌دهي‌هاي مساوي و برپاية نظرات شخصي كمتر مورد استفاده قرار گيرد. در شاخص پايش توانمندي فناوري (2009) نيز سعي شده است تا نسبت به بهبود شاخص ارزيابي‌كنندة توانمندي فناوري كشورها اقدام شود. از اين‌رو شاخص‌ها و ابعاد متنوّع‌تري از توانمندي فناوري به همراه وزن‌دهي‌هاي منطقي‌تر از شاخص‌ها و ابعاد بر اساس اطلاعات آماري ارائه شده است. در اين چارچوب مي‌توانيم ارزيابي دقيق‌تر از وضعيت توانمندي فناوري كشورها به خصوص كشورهاي در حال توسعه كه از توسعة نامتوازن رنج مي‌برند، ابعاد و ويژگي‌هاي بيشتري از توانمندي فناوري كشورها را مورد بررسي قرار دهيم. در اين شاخص، هفده سنجه در سه بعد اصلي از طريق روش تحليل عاملي مورد استفاده قرار گرفته است. جدول زير نمايانگر ويژگي كلّي شاخص‌هاي مورد بررسي مي‌باشد:
جدول 4: ويژگي‌هاي كلّي شاخص‌هاي مورد بررسي در تحقيق
شاخص تعداد شاخص‌ها تعداد ابعاد وزن‌دهي به طور مستقيم مرتبط با ارزيابي توانمندي فناورانه
شاخص عملكرد رقابت صنعتي ييونيدو(2009) 6 4 مساوي و بر اساس نظر متخصصان خير
شاخص دستيابي به فناوري يو ان دي پي(2001) 8 4 مساوي و بر اساس نظر متخصصان بلي
شاخص رقابت‌پذيري جهاني مجمع جهاني اقتصاد(2004، 2008) 119 12 در سال 2004 مساوي و بر اساس نظر متخصص، ولي در گزارش سال 2008-2009 بر اساس روش آماري رگرسيون خير
شاخص اقتصاد دانش بانك جهاني(2008، 2009) 109 4 مساوي و بر اساس نظر متخصصان خير
شاخص ظرفيت علم و فناوري مؤسسة رند(2001) 8 3 مساوي و بر اساس نظر متخصصان بلي
شاخص توانمندي فناوري آركو(2004) 8 3 مساوي و بر اساس نظر متخصصان بلي
شاخص پايش جهاني توانمندي فناوري(2009) 17 3 بر اساس تحليل عاملي بلي
با توجه به بررسي‌هاي انجام‌شده در مورد شاخص‌هاي مذكور و مطالعة گزارش‌هاي آنها، مي‌توان گام‌هاي مورد نظر براي شاخص‌ها را مطابق جدول زير بررسي كرد:
جدول 5: ويژگي‌هاي شاخص‌ها در گام‌هاي مدل او اي سي دي
پايش جهاني توانمندي فناورانه(2009، 2010) شاخص توانمندي فناوري آركو(2004) شاخص ظرفيت علم و فناوري مؤسسة رند(2001) شاخص اقتصاد دانش بانك جهاني(2008، 2009) شاخص رقابت‌پذيري جهاني مجمع جهاني اقتصاد(2004، 2008) شاخص دستيابي به فناوري يو ان دي پي(2001) شاخص عملكرد رقابت صنعتي يونيدو(2009)
متوسط ضعيف ضعيف متوسط قوي ضعيف ضعيف چارچوب نظري
تعداد شاخص مناسب تعداد شاخص محدود تعداد شاخص محدود تعداد شاخص مناسب تعداد شاخص مناسب تعداد شاخص محدود تعداد شاخص محدود انتخاب متغيرها
مناسب مناسب مناسب مناسب مناسب مناسب مناسب داده‌هاي ناقص
دارد ندارد ندارد ندارد ندارد(در مدل پيشنهادي پورتر دارد) ندارد ندارد تحليل چندمتغيره
مناسب مناسب مناسب مناسب مناسب مناسب مناسب هنجارسازي
وزن‌دهي مناسب وزن‌دهي يكسان و ضعيف وزن‌دهي يكسان و ضعيف وزن‌دهي يكسان و ضعيف وزن‌دهي يكسان و ضعيف وزن‌دهي يكسان و ضعيف وزن‌دهي يكسان و ضعيف وزن‌دهي و تجمّعي‌سازي
دارد ندارد ندارد دارد دارد ندارد ندارد برگشت به داده‌ها
ندارد ندارد ندارد ندارد ندارد ندارد ندارد تحليل حسّاسيت
قوي قوي قوي قوي قوي قوي قوي ارتباط با ساير شاخص‌ها
قوي قوي قوي قوي قوي قوي قوي ارائة نتايج
بر اساس جدول فوق، مدل مجمع جهاني اقتصاد داراي بيشترين همخواني با گام‌هاي مدل پيشنهادي او اي سي دي است. امّا يك نكته در مورد تمامي ارزيابي‌هاي مذكور قابل ذكر است و آن عدم به كارگيري از روش‌هاي معادلات ساختاري به صورت گسترده در ايجاد شاخص‌ها مي‌باشد. از ميان مدل‌ها، فقط شاخص پايش جهاني توانمندي فناوري در ويرايش 2010 از معادلات ساختاري بهره گرفته است. همچنين در گام اوّل كه مرتبط با چارچوب نظري است، برخلاف انتظاراتي كه از گزارش‌هاي بين‌المللي جهت ارائة يك چارچوب نظري جامع مي‌رود، چنين چيزي مشاهده نمي‌شود. شايد يكي از دلايل آن را بتوان در تهية چنين شاخص‌هايي در كشورهاي توسعه‌يافته دانست كه به علّت داشتن اقتصادهاي نسبتاً متوازن، چارچوب‌هاي مفهومي در جايگاه آنها تأثير زيادي ندارد؛ ولي اين مورد براي كشورهاي در حال توسعه (مقايسة جايگاه خود) از اهميت ويژه‌اي برخوردار است. تنها در گزارش وف(2008)، نسخة مرتبط با پورتر، مي‌توان چارچوب مفهومي قوي پيدا نمود. همچنين، گزارش بانك جهاني (2008) و پايش جهاني توانمندي فناوري (2009)، به علّت بهره‌گيري از تعداد شاخص‌هاي بيشتر، تا حدودي داراي چارچوب مفهومي قوي‌تري مي‌باشند.
در مورد وزن‌دهي سنجه‌ها نيز، عمدة شاخص‌ها از وزن‌دهي‌ها بر اساس نظر خبرگان و مساوي بهره مي‌گيرند كه روشي غيرعلمي و سطحي مي‌باشد. تنها روش پايش جهاني توانمندي فناوري است كه به علّت استفاده از روش تحليل عاملي توانسته است وزن‌ها منطقي‌تر و علمي‌تري ارائه نمايد.
در مورد ارائة تحليل حسّاسيت نيز، هيچكدام از شاخص‌ها تاكنون به اين كار نپرداخته‌اند. در مجموع، با توجه به الگوي پيشنهادي او اي سي دي (2008) و تجربيات بين‌المللي در زمينة توسعة شاخص‌هاي تركيبي، به نظر مي‌رسد جهت ايجاد شاخص تركيبي بايد سه گروه به صورت مجزّا و هماهنگ با يكديگر فعاليت نمايند. سه گروه مذكور، مطابق آنچه در نمودار زير آمده است، شامل گروه‌هاي جمع‌آوري داده‌ها، گروه روش‌شناسي، و گروه نظريه‌پردازان مي‌باشد.
نمودار 3: گروه‌هاي ايجاد شاخص تركيبي
عمدة فعاليت در حوزة چارچوب نظري و تطابق نتايج با واقعيات بر عهدة گروه نظريه‌پردازي است. گروه جمع‌آوري داده‌ها مسئوليت گردآوري داده‌ها را بر عهده دارد كه امري زمان بر در چنين فعاليت‌هايي است؛ گروه روش‌شناسي نيز بايستي با توجه به داده‌هاي در اختيار و ديدگاه‌هاي گروه نظريه‌پرداز اقدام به پياده‌سازي روش‌هاي علمي جهت وزن‌دهي و رتبه‌بندي كشورها نمايد. به طور كلّي، مي‌توان مسئوليت مراحل ده گانه را براي هركدام از سه بخش در جدول زير بيان نمود:
جدول 6: وظايف گروه‌هاي مختلف در توسعة شاخص تركيبي
گروه روش‌شناسي گروه جمع‌آوري داده گروه نظريه‌پردازي
* چارچوب نظري
* * انتخاب متغيرها
* * داده‌هاي ناقص
* تحليل چندمتغيره
* هنجارسازي
* وزن‌دهي و تجمّعي‌سازي
* * برگشت به داده ها
* تحليل حسّاسيت
* * ارتباط با ساير شاخص‌ها
* * * ارائة نتايج
الزام‌هاي ارزيابي نوآوري در راستاي الگوي اسلامي و ايراني پيشرفت
ارزيابي نوآوري در راستاي الگوي اسلامي و ايراني پيشرفت داراي جنبه‌هاي مهم‌تر، جامع‌تر، و پيچيده‌تري از ارزيابي‌هاي رايج در سطح بين‌المللي مي‌باشد. در ارزيابي نوآوري در راستاي الگوي اسلامي و ايراني، دو عامل اصلي در بحث ارزيابي وارد مي‌شوند كه ابعاد ارزيابي را وسعت مي‌بخشند. عامل اصلي اوّل، مباحث اسلامي است. اين بخش، از لحاظ روش‌شناسي و نوع برخورد با داده‌ها، تفاوت زيادي با تحقيقات جاري دارد. در مقوله‌هاي اسلامي، منابع مشخّصي وجود دارد؛ مانند: قرآن كريم، احاديث و روايات، و ساير موارد كه داراي حجّيت و قطعيت مي‌باشد. در نتيجه، در برخي از بخش‌ها، نياز به كارهاي آماري و روش‌شناسي‌هاي مرتبط وجود ندارد و محتواي در نظر گرفته‌شده، قطعي مي‌باشد. از سوي ديگر، عامل ايراني داراي، تنوّع ديدگاه فراوان است و نياز به ايجاد اجماع و بهره‌گيري از روش‌هاي آماري پيشرفته دارد. البته بايد به اين نكته اشاره نمود كه در ارزيابي نوآوري بر اساس الگوي اسلامي و ايراني پيشرفت، مقولة نظريه‌پردازي و نگاه جامع داراي اهميت بسيار زيادي است؛ به گونه‌اي كه ساير بخش‌ها مستقيماً وابسته به اين نظريه‌پردازي مي‌باشند.
در مورد سنجه‌ها نيز بايد اشاره نمود كه برخي از سنجه‌هاي مدل‌هاي بين‌المللي ارزيابي نوآوري بر اساس الگوي اسلامي و ايراني پيشرفت كارايي دارد؛ ولي مفاهيم كه در اصل تركيبي از سنجه‌هاست، نياز به بازتعريف دارد. به طور مثال، اگر يكي از پايه‌هاي ارزيابي نوآوري در سطح دانشگاه باشد، مطمئناً دانشگاه با مفهوم تمّدن‌ساز با دانشگاه به مفهوم مكان فراگيري دانش مادّي داراي تفاوت مفهومي مي‌شود. در اينجاست كه برخي از سنجه‌ها مي‌تواند مشترك باشد (مثلاً تعداد مقالات)؛ ولي حتماً سنجه‌هاي جديد براي مفهوم جديد از ارزيابي نوآوري در دانشگاه بايد ايجاد شود و مورد ارزيابي قرار گيرد.
نتيجه‌گيري
با توجه به تلاش‌هاي انجام‌شده جهت بررسي نحوة ايجاد شاخص‌هاي تركيبي در حوزه‌هاي مرتبط با نوآوري در اين تحقيق، به نظر مي‌رسد جهت طرّاحي هر چه بهتر شاخص‌هاي مذكور بايد سه گروه نظريه‌پردازي، جمع‌آوري داده و روش‌شناسي به صورت مجزّا تشكيل شود. اين گروه‌ها، هركدام مسئوليت‌هاي ويژة خود را دارند. در عين حال بايد با هماهنگي كامل با يكديگر باشند تا بتوانند به خوبي ابعاد الگوي پيشرفت اسلامي و ايراني را مورد ارزيابي قرار دهند. همچنين، براي كشورهاي در حال توسعه، ايجاد شاخص تركيبي با بنيان‌هاي نظري قوي‌تر امري ضروري است. چارچوب‌هاي نظري قوي‌تر اين امكان را به كشورهاي در حال توسعه مي‌دهد تا هر چه بيشتر نسبت به نقاط ضعف خود آگاهي يابند و همچنين جايگاه خود را در ميان ساير كشورها شناسايي نمايند.
- انجمن مديريت فناوري ايران، گزارش پايش جهاني توانمندي فناوري، 1388، www.iramot.ir
- طباطبائيان، سيد حبيب ا... و همكاران، «شاخص تركيبي پايش توانمندي فناوري؛ بررسي وضعيت توانمندي فناوري ايران و 69 كشور دنيا»، فصلنامه سياست علم و فناوري، سال دوم، ش4، 1389، ص 92-77.
- Archibugi, D., Coco, A., "A New Indicator of Technological Capabilities for Developed and Developing Countries". World Development, v 32(4), 2004, p 629-654.
- Cetindamar, D., Phaal, R., Probert, D., "Understanding technology management as a dynamic capability: A framework for technology management activities", Technovation, v 29, 2009, p 237–246.
- Little, R.J.A., Rubin D.B., "Statistical Analysis with Missing Data", Wiley Inter science,New Jersey, J. Wiley & Sons, Hoboken, 2002.
- OECD, "Handbook on Constructing composite Indicators: Methodology and user Guide". www.oecd.org/publishing/corrigenda, 2008.
- Onsel, S. et al., Y., "A new perspective on the competitiveness of nations", Socio-Economic Planning Sciences, v 42, 2008, p 221–246.
- Saisana, M., Tarantola, S., "State-of-the-art Report on Current Methodologies and Practices for Composite Indicator Development", EUR Report 20408 EN, European Commission, JRC-IPSC, Italy, 2002.
- Saltelli, A., "Composite indicators between analysis and advocacy", Social Indicators Research, v 81, 2007, p 65-77.
- United Nations Industrial Development Organization(UNIDO), "Industrial Development Report 2002–2003". Competing through Innovation and Learning, Vienna, http://www.unido.org, 2002.
- United Nations Industrial Development Organization(UNIDO), "Industrial Development Report 2004". Industrialization, Environment and the Millennium Development Goals in Sub-Saharan Africa,The new frontier in the fight against poverty, http://www.unido.org, 2004.
- United Nations Industrial Development Organization(UNIDO), "Industrial Development Report 2009", Breaking In and Moving Up: New Industrial Challenges for the Bottom Billion and the Middle-Income Countries, http://www.unido.org, 2009.
- United Nations Development Program (UNDP), "Human Development Report 2001", Making New Technologies Work for Human Development, Oxford University Press, New York,http://www.undp.org, 2001.
- Wagner, C.S., Brahmakulam, I.T., Brian, A., Jackson, A.,Wong,T.Y., "Science and Technology Collaboration: Building Capacity in Developing Countries", RAND Corporation, Washington, DC, Document No: MR-1357.0-WB, 2001.
- World Bank institute, "Measuring Knowledge in the World Economies", Washington, DC, www.worldbank.org, 2008.
- World Bank institute, "Measuring Knowledge in the World Economies", Washington, DC, www.worldbank.org, 2009.
- World Economic Forum (WEF), "The Global Competitiveness Report". Oxford University Press, New York, 2001.
- World Economic Froum (WEF)., "The Global Competitiveness Report 2008-2009". Geneva, Printed and bound in Switzerland by SRO-Kundig, 2008.
- World Economic Forum (WEF), "The Global Competitiveness Report", Geneva, 2009.
- World Economic Forum (WEF), "The Global Competitiveness Report".Geneva, 2010.
