技術協力プロジェクトの評価指標の作り方

私はプロジェクト（事業）を一昨年は5件、昨年は2件、今年は1件統括していて、複数の新規事業の立ち上げへ向けて関係先と調整を常時行っている。開発援助業界の大手の組織で事業形成に携わったことがある人であればわかると思うが、事業立ち上げの時の計画書にはインプット（活動）とアウトプット（直接的な成果）とアウトカム（その先にある間接的な成果）を定め、進捗・達成状況を測るための数値目標を指標として設定する。

私は技術協力プロジェクトの形成を新卒の頃の2010年からほぼ空白期間無くやっているので、同僚や業界の「シニア」と呼ばれる人よりも長く経験している（彼らは私を年齢で見るだろうが）。経験的に言えば、この指標設定というのは説明責任のための指標であって、技術協力プロジェクトの実績を測るための指標ではない。経験の少ない人ほど、指標設定に時間と労力を費やすが、あまり意味がない。それは、プロジェクトの本質的な成果を計測することはできない一方、厳しい指標設定をここで行えば、それは現場から自由度を奪い、引いては顧客のニーズに応えることができなくなるだけだ。この点、実施を担う予定のない後方にいる計画担当は、よく心得ておいてほしい。

さて、話を戻す。プロジェクトの本当の意味での成果は、インパクト評価という分野の専門家が計量経済学の技術を駆使して計測する。その手法を用いた社会実験が開発援助の一環で行われ、経済学のジャーナルで一世を風靡し、ノーベル経済学賞まで受賞したのは記憶に新しい。しかし、インパクト評価をそのレベルで計画した経験のある人はわかると思うが（開発援助機関で勤務した経験のある人でも極めて少ない）、経費が膨大にかかるため、すべてのプロジェクトで実施することは不可能。

たとえば、コロナ渦のインドネシアへドイツ政府が二億円を労働者へ給付してほしいと要求してきた際、「せっかく金を配るのであれば、将来の政策に結び付けるためのパイロット事業として設計し、ランダム化比較試験（Randomized controlled trial: RCT）を通じてエビデンスを作ろう」と思い事業案を作成した。具体的に言えば、インドネシアの労働法では一時休業中の休業補償を企業が100%負担しなければならないが、法の遵守と罰則が甘いインドネシアでは休業補償ゼロで一時休業が無限に続く事態となっていた。そこで、日本の雇用調整助成金の仕組みを設計し、パイロット事業を二億円使って実施し、精緻なインパクト評価を実施する。コロナ後に、雇用調整助成金を社会保障制度の一部として政府に提案する。そういう目論見だった。

この案件でインパクト評価を実施するには、世界最大手と手を組むと五千万円以上は覚悟しなければならず、安くできるパートナーを見つけ、技術的に切り詰めてギリギリ二千万円以内でできるように事前交渉まで済んだ。インパクト評価を技術協力プロジェクトで実施した経験のある人は同意いただけると思うが、プロジェクト予算の10%を評価活動に費やすことは、高い投資ではない。

この案件に関しては結局、内部で技術的な価値を理解し、インパクト評価の実施へ向けた実務をこなすことのできるチームを作ることはできず、ただ金を配る案件となった。組織の体力と技術力の乏しさを体感した場面だった。

※蛇足。この案件の計画と実施には相当な時間と労力を費やしたが、私の給与予算追加配賦されず、無報酬だった。

ただ、そこまで精緻なインパクト評価を求める資金提供者は研究案件くらいなもので、多くの技術協力プロジェクトではインパクト評価ではなくプロセス評価が採用される。プロセス評価を端的に言えば、活動とそれに伴う直接的な成果を数値化して計測するもの。たとえば、「社会保障の概要に関する研修を10回実施し、行政官300人を育成する」と設定し、参加者をリスト化し、半年や一年に一度、資金提供者へ数値を報告する。この活動指標を達成すれば、成果が理論上は達成されるというわけだ。もちろん、そのような単純な理論が成立するはずもない。だからこそ、私はこの指標設定に時間を費やす人はプロではないと感じる。むしろ、資金提供者が彼らの出資者に説明するに足る指標で妥協点を探り、私たち現場への影響を最小限に抑える（なるべく楽に達成することができる指標を設定する）方策を探る。それがプロの仕事だと思うが、これを臨機応変にできる人は少ない。