ارزیابی اثربخشی
ارزیابی اثربخشی (Impact Evaluation) به معنای سنجش کمّی تأثیرات یک مداخله اعم از سیاستها، قوانین و پروژهها است.
معرفی
ارزیابی اثربخشی به معنای مطالعات تجربی به منظور کمّیسازی اثرات علّی مداخلات توسعهای است و متمایز از فرآیندهای ارزیابی سنتی است که بر چگونگی پیادهسازی یک پروژه تمرکز میکنند. ارزیابی اثربخشی بر پایه تحلیل اتفاقات رخ داده پس از مداخله و مقایسه آن با حالتی شکل میگیرد که در غیاب این مداخله قابل تصور میبود. تفاوت میان خروجیهای تحققیافته یک برنامه توسعهای با خروجیهای غیرواقعی حاصل از عدم اجرای این برنامه مبنای ارزیابی اثربخشی برنامه توسعهای مذکور قرار میگیرد. [۱]
انگیزه
موسسات و سازمانهای متعددی در جهان به طراحی و اجرای برنامههای توسعهای در کشورهای مختلف به ویژه کشورهای کمتر توسعه یافته میپردازند، اما پرسش مهم این است که پیامدهای اجرای این برنامهها -نه فقط output آنها- واقعاً چیست؟ پاسخ علمی به این سوال نیاز به شواهد و دادهها و همچنین استفاده از روشهای مبتنی بر تحلیل خلاف واقع (تحلیلی که نقطه مقابل وضعیت فعلی را فرض میگیرد و آن را با وضعیت فعلی مقایسه میکند) دارد. بدون این تحلیل، اثرات علّی مداخلات توسعهای مشخص نمیشوند و در غیاب چنین اطلاعاتی نه میتوان پاسخگوی هزینههای صورت گرفته بود و نه دانش صحیحی برای ارتقای سیاستهای توسعهای تولید میشود.
به شکل سنتی، ارزیابی یک برنامه به معنای بررسی تطابق میان خروجیهای ملموس (output) با اهداف تعیین شده تلقی میشد، اما مرور زمان نشان داد که این ارزیابی ناکافی است و دستیابی به اهداف کلان برنامه باید مورد ارزیابی قرار بگیرد. بدین ترتیب موضوع اثربخشی برنامهها برای سنجش outcomeها و impactها در دستور کار سازمانهای توسعهای قرار گرفت. از این حیث میتوان ارزیابی اثربخشی را ذیل مطالعات اثربخشی (Effectiveness Studies) یا مطالعات بهرهوری معطوف به سنجش impactها در زنجیره نتایج در نظر گرفت.
طرح مباحث ارزیابی اثربخشی در ابتدا در رابطه با مداخلات توسعهای در کشورهای در حال توسعه صورت گرفته است و سازمانهای توسعهای متعلق به نهادهای بینالمللی بیشتر بدان پرداختهاند، اما امروزه به عنوان یکی از ابزارهای سیاستگذاری شواهدمحور در رابطه با هر گونه برنامه یا سیاست در کشورهای توسعه یافته نیز مورد استفاده قرار میگیرد.
ویژگیها
ویژگی کلیدی این روش ارزیابی اثربخشی، دادهمحور بودن و پرهیز از فرضیات غیرقابل اثبات است. اثرات شناسایی شده در این روش هم از لحاظ بزرگی، و هم از لحاظ ویژگیهای آماری مورد توجه قرار میگیرند و این نقطه تمایز اصلی با روشهای دیگری به شمار میرود که صرفاً بر مدلهای ساختاری غیرآماری تکیه دارند. بنابراین سوق دادن اقدامات توسعهای به سوی سیاستگذاری مبتنی بر شواهد به شکل فزایندهای نیازمند استفاده از این شیوه ارزیابی تأثیرات است.
فرآیند ارزیابی اثربخشی بر مبنای تحلیل خلاف واقع یعنی مقایسه دو حالت حضور و عدم حضور مداخله توسعهای صورت میپذیرد. مداخله میتواند طیف وسیعی از فعالیتها را شامل شود: از ارائه بستههای حمایتی نقدی به خانوادههای فقیر و دادن وعدههای غذایی به کودکان دبستانی، تا فراهم کردن زیرساختهایی نظیر جادههای روستایی و سیستم فاضلاب شهری، و یا سیاستهای کلانتر مثل اصلاحات بنیادین در سیستم آموزشی در این تعریف جای میگیرند.
روشهای آماری
برخی از مهمترین روشهای مورد استفاده در ارزیابی اثربخشی عبارتند از:
- کارآزمایی تصادفی کنترلشده (Randomized controlled trial - RCT)
- متغیر ابزاری (Instrumental variable)
- طراحی ناپیوستگی رگرسیون (RDD - Regression Discontinuity Design)
- تفاضل در تفاضل (DiD - Difference-in-differences)
- همسانسازی بر اساس نمرات گرایش (PSM - Propensity Score Matching)