その数字は、どこまで信じられるのか
EIF Brief JP #20
「研究によれば」という言い回しは、たいてい議論を終わらせる側にあります。数字が出れば根拠になり、論文が引かれれば話は前に進みます。ところが、心理学の標準的な文献を抽出した調査では、最初に掲げた仮説が支持されたと報告した論文が96%にのぼります。うまくいかなかった研究は、投稿されず、採られにくく、書棚に残らない。そうしてできた棚から引いてきた数字を、私たちは根拠と呼んでいるのではないでしょうか。
今号 EIF Brief JP #20 では、Signal で、結果を見せる前に研究計画を査読する Registered Reports という論文形式を取り上げます。心理学の別々の標本を比べると、最初の仮説が支持された割合は、通常形式の96%に対して Registered Reports で44%でした。Frontiers では、報告書や実証事業の評価を受け取る側の読み方をたどります。データを測る機械は誰のものか、内的妥当性と外的妥当性はどちらを取るかの天秤なのか、その現場はどうやって選ばれたのか。そして、費用は小さく便益は大きく見積られる傾向を示す2,062件のデータです。On the Radar で取り上げるのは、英国の Evaluation Registry です。中央省庁の評価は、原則として最初のデータ収集より前に、評価手法や介入の概要、報告書の公表予定日などを登録します。
エビデンスを疑えという話ではありません。統計の専門知識も要りません。必要なのは、報告書のどこを、どの順番で見るかという知識だけです。問われているのは、その研究を信じるか疑うかではありません。どこまで信じられるかを見極める質問を、いつの時点で置くかです。 報告書が机に載ってからでは、書き方の不備は直せても、取られなかったデータは戻ってきません。
Signal - 変化の兆し
今週の数字:96%と44%
心理学の論文で、最初に掲げた仮説が支持されたと報告された割合。出典:Scheel, Schijen, & Lakens (2021) をもとに作成 [1]。
学術論文を開くと、たいてい、うまくいっています。立てた仮説は支持され、予想した効果は確認されています。心理学の標準的な文献から無作為に選んだ152本を調べると、最初に掲げた仮説が支持されたと報告されていた論文は、96% にのぼりました [1]。
同じ分野に、もうひとつの数字があります。44% です。
この大きな差は、査読の門をどこに置くかという制度の違いと整合的です。ただし、研究内容や著者は無作為に両形式へ割り付けられたわけではなく、この比較だけで差の原因を断定はできません。
結果を見せる前に、採否が決まる
Registered Reports と呼ばれる論文形式があります。研究者は、原則としてデータを取る前に、何を問い、どう測り、どう分析するかを書いて投稿します。査読者はその計画を審査し、第1段階の採否を決めます。この段階で原則掲載可(in-principle acceptance)を得れば、承認された手順を守り、品質確認などを通るかぎり、仮説を支持しない結果でも掲載されます。
アンネ・シェールらは、2018年11月に取得したデータベースから、心理学分野の条件を満たす Registered Reports 71本を集め、2013年から2018年の通常形式の論文から抽出した152本と比べました [1]。結果が、先ほどの数字です。96%に対して44%でした。これは同じ心理学分野での比較ですが、同じ著者や同じ仮説を対応させた比較ではありません。著者らは、Registered Reports では出版バイアスや分析上の自由度が抑えられた可能性が高いとみています。その一方で、より不確実な仮説が Registered Reports に持ち込まれた可能性など、他の説明を排除できないと明記しています。
追試だから通りにくいのだろう、という説明も成り立ちません。直接追試を除いて集計し直しても、50% にとどまりました。
著者らの結論は、抑制のきいた言葉で書かれています。心理学者は、累積的な科学を脅かす程度にまで、否定的な結果を報告していない。
ここで気をつけたいのは、誰かが不正をしているという話ではない、ということです。うまくいかなかった研究が投稿されにくい、または採られにくいという選別が重なれば、書棚の風景は偏ります。この論文はその可能性を強く示しますが、個々の未発表研究を直接追跡したものではありません。
300誌を超えたが偏っている
変化は起きています。Center for Open Science によれば、Registered Reports を通常の投稿区分または特集として受け入れる学術誌は、300誌を超えます [2]。
ただし、広がり方には偏りがあります。Elsevier が公開している受入誌の一覧を見ると、神経科学、心理学、医学系が大半を占めます。エネルギー分野で名前が挙がっているのは、Energy Economics の1誌だけです [3]。
これを、エネルギー分野の怠慢と読むのは正確ではありません。Registered Reports は、主に仮説を立てて検証する実証研究と相性のよい仕組みです。 何を測るのかを先に決められる研究でなければ、計画の段階で詳細な査読をおこなうのは難しくなります。Energy Economics が受け入れている背景には、仮説検証型の設計が多い経済学との相性もあると考えられます。ただし、これは受入誌の分布からの推測です。
エネルギー社会科学が扱うのは、そのかたちに収まりにくい研究です。実験室のように条件をそろえることができず、介入の実施は電力会社や自治体の都合で動きます。研究のかたちも、エスノグラフィ、事例研究、制度分析、インタビューと統計を組み合わせた混合手法まで幅があります。問いも方法も多様で、実験科学のように方法を標準化することは、きわめて難しい分野です。 しかも、標準のかたちをひとつに決めてしまえば、そのかたちに収まる問いだけが研究されるようになります。それは、質を上げるどころか下げます。
では、方法を標準化できない分野で、研究の質は何によって決まるのでしょうか。 そして、その研究を引いて書かれた報告書を受け取る側は、どこを見ればよいのでしょうか。
今週の Frontiers で、この2つを扱います。
参考文献
-
[1] Scheel, A. M., Schijen, M. R. M. J., & Lakens, D. (2021). An excess of positive results: Comparing the standard psychology literature with registered reports. Advances in Methods and Practices in Psychological Science, 4.(2).
-
[2] Center for Open Science. Registered Reports: Peer review before results are known.
-
[3] Elsevier. Registered Reports.
Frontiers - 知の最前線
今週のテーマ:その論文は、どこまで信じられるのか
このニュースレターは、今号で20号を迎えました。ここまで毎号、学術論文や調査データを引きながら書いてきました。122名を9か月追いかけたエスノグラフィ(第17号)、最終分析標本が3件で計5,500名の事前登録実験(同)、5万件超のツイート分析(同)、3,779通のパブリックコメントの年齢層別集計(第18号)。ふりかえると、これらはすべて「研究によれば」というひとつの言い回しに包まれて登場しています。けれども、これらの研究の中身は、それぞれまったく違います。節目の今号では、視点を一段ずらして、論文そのものの読み方を扱います。研究者の内輪話ではありません。補助金の効果測定を発注する自治体、実証事業の報告書を受け取る担当者、そして「エビデンスに基づく」という言葉を日々目にするすべての人の話です。
方法の名前だけでは、質は決まらない
エネルギー社会科学を代表する学術誌に、Energy Research & Social Science があります。その創刊編集長ベンジャミン・ソバクールらは2018年、研究方法と設計の規範を論じました [1]。エネルギー社会科学には、実験、統計分析、インタビュー、エスノグラフィ、事例研究など異なる方法が共存します。論文が示す判断基準は、特定の方法を一律に上位へ置くことではありません。問いに合った方法を選び、手順と前提、限界を読者が確かめられるように示すことです。
研究の透明性と再現性は、エネルギー分野だけの問題ではありません。2015年、270名を超える研究者が参加した大規模な共同プロジェクトが、心理学の主要3誌に載った100本の研究を、入手できる場合は原研究の材料を使って追試しました。元の論文の97%は統計的に有意な結果を報告していたのに、追試で有意になったのは36%でした。効果の大きさも、平均すると元の論文のおよそ半分です [2]。2018年には、Nature と Science に載った社会科学の実験21本を対象に、事前登録したうえで、平均して5倍の標本規模で追試した研究が発表されました。再現できたのは21本中13本です [3]。2005年にジョン・イオアニディスが「発表された研究知見のほとんどは誤りである」と題した論文を書いたとき、それは数理モデルによる挑発的な問題提起でした [4]。後続の追試プロジェクトは、すべての発表知見が誤りだと証明したものではありませんが、この問題を実際の文献で検討する数値を示しました。
くじ引きが、いつも頂点とは限らない
複数の研究を統合するメタ分析や、くじ引きで参加者を分けるランダム化比較試験(RCT)を頂点に、研究の信頼度へ序列をつける考え方を「エビデンス階層」と呼びます。この階層は、特定の因果を問う場面には有効です。それでも、意味や権力や制度を問う研究にそのまま当てはめられない、とソバクールらは注意しています。
介入の平均的な因果効果を問う場面で使われる、典型的なエビデンス階層。上ほど常に優れているのではなく、問いとの適合、個々の研究の質、ほかの現場への適用可能性を別に確かめる必要がある。Sovacool, Axsen, & Sorrell (2018) と Deaton & Cartwright (2018) をもとに作成 [1][5]。
この留保は、経済学の側からも支持されています。消費と貧困の研究でノーベル経済学賞を受けたアンガス・ディートンは、哲学者のナンシー・カートライトと組み、RCTを頂点に置く発想そのものを検討しました [5]。二人の論点は、RCTが悪いというものではありません。適切に設計・実施されたくじ引きは「この標本で平均してどうだったか」を推定するのに役立つものの、「なぜそうなったのか」も「他ではどうなるか」も、それだけでは教えてくれない、というものです。標本が小さければ、無作為に割り付けても偶然の偏りは残ります。平均の効果が正でも、参加者の多くにとって効果が負であることもあります。そして、何より、なぜ効果が出たのかを説明する理屈がなければ、その結果を別の場所へもち出す根拠がありません。二人の結論は、RCTは道具箱のひとつであって、頂点ではない、というものです。
反対の側からの擁護もあります。今号の後半でも登場するオックスフォード大学のベント・フリューベアは、2006年、事例研究をめぐる5つの誤解を論駁する論文を書いています [6]。「事例からは一般化できない」「事例研究は仮説の生成にしか使えない」といった通念に対し、うまく選ばれた一事例が通説を反証しうること、そして具体的な文脈に即した知識こそが専門家の判断を育てることを論じました。
だとすると、最初に確かめるべき事柄も決まります。その問いに、その方法は合っているか。そして、やり方が書いてあるか。 ここから読みはじめます。
実験の道具は、研究者の手元にない
方法が書いてあったとして、次に何を見ればよいのでしょうか。ここで、2026年に発表されたばかりの論文が役に立ちます。カツペルスキらの研究チームは、EUのHorizon Europe助成事業で12件のフィールド試験にたずさわりました。その経験をもとに、エネルギー分野の実験のどこに誤りが入り込むのかを整理したのが、この論文です [7]。
この整理には下敷きがあります。世論調査や社会調査の分野で半世紀かけて育てられた「総調査誤差(total survey error)」という枠組みです [8]。標本の抽出から、回答の得られなさ、質問文の作り、集計処理まで、調査のどの段階でどんな誤差が入るかを一覧にして、限られた予算をどこに配分するかを考えるための道具でした。カツペルスキらの仕事は、この考え方をエネルギーのフィールド試験に移し替えたものだと読めます。新奇な思いつきではなく、方法論の蓄積を別の分野へもち込んだ作業です。
著者らはまず、エネルギー分野の実験は構造的に不利だ、と見立てます。比べる相手は、開発経済学のランダム化比較試験や、医薬品の臨床試験です。そのうえで、4つの違いを挙げます。(1)実験の実施を電力会社や自治体に頼るため、研究者が設計を主導できないこと。(2)測定の道具を研究者が所有していないこと。(3)介入と測定が同じ機械を共有しているため、動的料金やヒートポンプ制御のどこかで不具合が起きたとき、介入の失敗なのか測定の失敗なのかを切り分けられないこと。(4)データ保護規制のもとで、データの管理者として振る舞うのは電力会社であること。
このうち、政策とのかかわりでもっとも重いのは(2)の測定です。エネルギー実験のデータは、スマートメーターやセンサーといった、研究者には改変できない基盤から来ます。そのため測定の誤りは、センサーのずれや記録の欠落といった技術の問題として現れます。調査員の聞き方のような、人間の問題ではないのです。しかも著者らは、その誤りが、設備の古さや世帯の社会経済的な階層と相関しうると指摘します。もし古い設備や低所得世帯で欠測が多ければ、その層での効果が見えにくくなります。著者らが示しているのは、このように測定の問題が公平性の問題へつながりうることです。
測定を軽く見るとどうなるかを、実物で示した研究があります。メレディス・ファウリー、マイケル・グリーンストーン、キャサリン・ウルフラムは、米国最大の住宅省エネ事業である低所得世帯向け断熱改修プログラムを、ミシガン州の約3万世帯を対象にした無作為化実験で評価しました [9]。結果は、事業の前提を揺さぶるものでした。改修前に工学モデルが予測した削減量は、実際に計測された削減量の3倍を超えていました。 投資額は、実現した省エネ便益のおよそ2倍です。快適性の改善や排出削減といった副次的な便益を織り込んでも、年率の投資収益率はマイナスにとどまりました。
著者らは、推奨された改修が実施されたことを工事記録で確認しています。また、改修後に室温が明確に上がる「リバウンド効果」も確認できませんでした。したがって、実測との隔たりを居住者が暖房を増やしたことだけでは説明できず、少なくとも工学モデルによる事前予測は大幅に外れていました。 工学的な計算と、現場で測った数値のあいだには、これだけの隔たりがありうるということです。省エネ改修の補助事業を組み立てる側にとって、これは他人事ではありません。
妥当性は天秤ではなく、積み木である
順番があります。まず測定が適切にできて、そのうえではじめて、実験の中の因果を検証できます。逆にいえば、測定が当てにならなければ、その先の因果はどれだけ丁寧に議論しても意味をなしません。では、測定という土台が据わったとして、実験の中の因果がきちんと成り立っているかは、どんな物差しで確かめればよいのでしょうか。ここに、このカツペルスキらの論文でもっとも実務に響く一節があります。
実験の善し悪しを測る物差しは、大きく2つあります。ひとつは、その実験の中で「介入したから効果が出た」と本当に言えるかどうか。比較の相手は適切だったか、くじ引き(無作為化)は最後まで守られたか。これを内的妥当性(internal validity) と呼びます。もうひとつは、その結果が実験の外でも通用するかどうか。別の地域、別の世帯、実際の政策の現場でも同じことが起きるか。こちらが外的妥当性(external validity) です。
長いあいだ、この2つは天秤の両皿のように語られてきました。実験室のように条件をそろえれば現実離れし、現実の現場に近づければ厳密さが犠牲になる。どちらを取るかはバランスの問題だ、と。この見立てに立つと、「うちの実証は現場でやったのだから、厳密さは多少甘くてもよい」という言い訳が成り立ってしまいます。
カツペルスキらは、この見立てを退けます。
フィールド試験は内的妥当性と外的妥当性のトレードオフに直面する、とよく言われます。しかし妥当性の制約は、互いに埋め合わせられるものというより、階層をなすものです。初期の設計や実装の誤りが内的妥当性を損なえば、学ぶべきものは何も残りません [7]。
2つは天秤の両皿ではなく、積み木のように、下から積む関係にあるというのです。下の段にあるのが実験の中の因果で、上の段にあるのが外への一般化です。下の段が崩れていれば、上の段は積めません。実験の中で効果が確認できていないなら、「よそでも通用するか」という問いは、そもそも立たないのです。
これは2026年の新説ではありません。2つの妥当性という区別をつくったのは、社会心理学者のドナルド・キャンベルです。1960年代に相棒のジュリアン・スタンリーと書いた小冊子のなかで、キャンベルは内的妥当性を “sine qua non”、それなくしては成り立たないもの、と呼びました。外的妥当性は望ましいけれども、内的妥当性は必須である、という順序です。この区別は、その後60年にわたって実験計画の教科書に受け継がれてきました [10]。カツペルスキらがしているのは、エネルギー分野の実証事業が忘れがちなこの原点に、測定の話を接いで連れ戻す作業です。
ここから、報告書を読む順番が決まります。まず、比較の設計と実施の記録に、抜け落ちや手順の逸脱がないかを確かめる。話をどこまで広げられるかを吟味するのは、その後です。「現場に近いからリアルだ」という売り文句は、下の段の点検を済ませてはじめて意味をもちます。
著者らはもうひとつ、予算も人手も限られたときの優先順位を示しています。覚えておきたいのは次の一点です。備えるなら、あとから直せる誤りよりも、あとから気づけない誤りが先です。記録されなかった手順の逸脱や、取られなかった事前のデータは、どれほど高度な統計でも取り返せません。お金をかけるなら、見えない誤りを防ぐほうにかけるべきだ、という助言です。
その現場は、どうやって選ばれたのか
下の段が積めたとして、上の段はどう積むのでしょうか。「よそでも通用するか」を確かめるとき、見落とされやすい問いがひとつあります。そもそも、その実証はなぜそこでおこなわれたのか、という問いです。
ハント・オールコットは、この問いをエネルギー分野の実データで検証しました [11]。対象は、米国のOPOWER社が展開した省エネ通知です。「あなたの世帯の電気使用量は、近所の似た世帯と比べてこうです」という紙を毎月送るだけの介入で、行動科学の応用としてもっとも有名な事例のひとつです。各地の電力会社が導入するたびに無作為化実験がおこなわれたため、111件のRCT、860万世帯という比類のない蓄積ができました。
オールコットが調べたのは、初期の実験結果から後続の実験結果をどれだけ言い当てられるか、です。答えは、言い当てられない、でした。最初の10件の詳細なデータから組み立てた予測は、続く101件の現場での効果を、体系的に過大評価していました。
理由は2つあります。ひとつは、導入する電力会社の側の偏りです。環境意識の高い地域の電力会社ほど、この事業を早く採用しました。そして、そういう地域の顧客ほど、通知によく反応します。もうひとつは、対象世帯の選び方です。事業のはじめのうち、電力会社は使用量の多い世帯を狙って通知を送ります。削減の余地が大きいからです。事業を広げるにつれて、通知は使用量の少ない世帯にも届くようになり、一世帯あたりの効果は落ちていきます。
オールコットはこれを サイト選択バイアス(site selection bias) と呼びました。実証の場所が無作為に選ばれていない以上、実証が成功したという事実そのものが、その場所の特殊さを含んでいる、ということです。
この論点は、日本の実証事業にそのまま当てはまります。脱炭素先行地域の公募に手を挙げる自治体は、無作為に選ばれた自治体ではありません。庁内に推進体制があり、地域の事業者との関係ができていて、首長が前向きな自治体です。その条件がそろった場所で得られた効果を、条件がそろっていない場所へそのまま移せば、過大評価になるおそれがあります。カートライトとハーディは、この飛躍を「そこで効いた(it worked there)」から「ここでも効く(it will work here)」への飛躍と呼び、そのあいだに何を確かめる必要があるかを一冊かけて分解しました [12]。要点は、効果を生んだ仕組みが、こちらの現場にもそろっているかを具体的に確かめることです。「先行地域で成果が出ました」という一文は、その確認の代わりにはなりません。
良い研究は、自分の限界を書いている
この読む順番を、実物に当ててみます。都合のよいことに、この連載にはすでに好例が登場しています。第17号で引いた、プリンストン大学のチームによるCCS(二酸化炭素回収・貯留)の情報提供実験です [13]。
第17号では結果だけを紹介しました。今号の道具立てで読み直すと、設計の周到さが見えてきます。まず、3件の実験はすべて事前登録(preregistration)されています。 何を測り、どう分析するかを、データを見る前に宣言して記録に残す手続きです。結果を見てから都合のよい分析を選ぶ、という誘惑を、著者らは自分で封じています。最終分析標本は3件合計で5,500名です。情報提供後には支持が高まり、媒介分析では、リスクが未知だという感覚と、恐ろしいという感覚の低下が支持の上昇と結びついていました。ただし、媒介変数と支持は同じ前後比較のなかで測られているため、著者らもこの分析だけで因果的な仕組みを特定したとは解釈していません。さらに、1週間後にも効果が残ることを確かめています。多くの情報介入の効果が急速に消えることを考えると、この持続の確認まで設計に組み込んでいる研究は、かなり手厚い部類です。
事前登録がなぜそこまで大事なのかは、2011年の有名な実演が教えてくれます。ジョセフ・シモンズらは、「ビートルズの曲を聴くと実年齢が若返る」という、ありえない仮説を検証してみせました [14]。結果は、統計的に有意でした。種明かしはこうです。参加者を何人集めた時点で分析を止めるか、どの共変量を入れるか、どの条件を報告するか。こうした選択肢を都合よく組み合わせれば、まったくの偶然からでも有意な結果を取り出せます。著者らはこれを研究者の自由度(researcher degrees of freedom) と呼びました。悪意は要りません。「もう少しデータを足そう」「この変数を入れたほうが自然だ」という、その場では正当に見える判断の積み重ねで足ります。事前登録は、この自由度をデータ収集の前に縛る手続きです [15]。
もうひとつ、見えにくいところで働く偏りがあります。そもそも、うまくいった研究しか論文にならない 、という偏りです。ステファノ・デラビーニャとエリザベス・リノスは、米国の2つの大規模なナッジ実装組織が走らせた全試験を集めました。126件のRCT、対象は2,300万人です [16]。学術誌に載ったナッジ研究のメタ分析と突き合わせると、差は歴然としていました。既刊研究を集めた標本では、ナッジの平均効果は8.7%ポイント(対照群比で33.4%の増加)。ところが実装組織の全試験では、1.4%ポイント(同8.0%)にとどまりました。 統計的には確かな効果ですが、単純比較した大きさはおよそ6分の1です。著者らの分析では、この差の大部分は出版バイアスで説明できました。
省エネナッジの発注を検討している自治体にとっても、この数字は警告になります。ただし、対象は省エネに限らない多様なナッジであり、個別事業の効果が必ず6分の1になるという結果ではありません。論文で読んだ効果量を、そのまま事業計画へ書き写さないことが実務上の要点です。
それでも、限界はあります。CCSの実験でも、参加者はオンラインの調査パネルから集められており、母集団からの無作為抽出ではありません。カツペルスキらの整理でいえば、標本の代表性と参加のしやすさとのあいだのトレードオフにあたります [7]。そして、著者ら自身が、限界を書き添えています。測ったのは自己申告の支持であり、実際の事業に直面したときの行動まで予測できるとは限らない、と。
ここに、良い研究を見分けるいちばん簡単な目印があります。良い研究とは、限界のない研究ではありません。限界がどこにあるかを、著者自身が書いている研究です。 裏を返すと、限界の節がない報告書や、すべての結果が仮説どおりに出ている報告書に出会ったら、読む速度を落としてください。
費用は小さく、便益は大きく書かれる
ここまでは研究の読み方でした。同じ検査の構えは、事業の「見積り」を読むときにも要ります。見積りもまた、いくつもの仮説と方法の上に立つ予測のひとつだからです。
オックスフォード大学のベント・フリューベアらは、1927年から2013年までの104か国、2,062件の公共投資プロジェクトについて、事前の見積りと実績を突き合わせました [17]。対象には道路、鉄道、ダム、発電所、トンネルが含まれます。結果は、費用便益分析という道具の前提を崩すものでした。費用は組織的に小さく、便益は組織的に大きく見積られていたのです。 たとえば鉄道では、費用は平均で40%超過し、実現した便益は予測の66%にとどまりました。
大事なのは、外れの大きさではなく、外れの向きです。もし見積りの外れが偶然のばらつきにすぎないなら、案件をたくさん集めれば、多すぎた見積りと少なすぎた見積りが互いに打ち消し合うはずです。ところが実際には打ち消し合わず、標本全体では費用が低め、便益が高めという同じ向きの偏りが残りました。偶然の誤差なら数を集めるほど相殺されますが、一方向に偏ったバイアスは数を集めるほど積み上がります。そうして積み上がったバイアスは、投資を決める段階で費用対便益の比率(B/C比)を実際より良く見せ、限られた予算の配り方をゆがめてしまいます。
では、費用を小さく、便益を大きくしようとする偏りを、見積りの段階でどう抑えればよいのでしょうか。フリューベアらが勧めるのは、目の前の案件の積み上げ計算を信じる前に、過去の似た案件が実際にどれだけ外れたかを確かめて補正することです。参照クラス予測(reference class forecasting) と呼ばれる方法です。「この事業の見積りは、過去の類似事業と比べてどうか」というひとつの質問が、いちばん確かな歯止めになります。
この方法は、ダニエル・カーネマンとエイモス・トベルスキーが名づけた計画錯誤(planning fallacy) の研究から生まれました [18]。人は自分の計画を、その中身にそって積み上げて見積もります。カーネマンはこれを内側の視点と呼びました。これに対し、似た計画が過去にどう転んだかという分布から見積もるのが外側の視点です。実験でも実務でも、外側の視点のほうが当たります。それでも人は内側の視点を選び続けます。自分の案件は特別だと感じられるからです。
その感覚そのものを数えた研究もあります。フリューベアらは219件のITプロジェクトを対象に、担当者が自分の案件をどれだけ「一品物」と感じているかを10段階で尋ね、費用超過との関係を調べました [19]。ユニークさの自己評価が1ポイント高いことは、平均の費用超過が5ポイント大きいことと関連していました。 「うちの案件は過去とは比べられない」という感覚は、参照クラス予測を拒む理由になり、そのまま費用超過の予測子になっているということです。地域の固有性や技術の新しさを理由に過去の類似事業を参照しない態度は、エネルギー分野でもよく見かけます。
日本の現場では、何が試されているか
過去の実績と照らして読む。この構えがいちばん試されるのは、日本の現場です。脱炭素先行地域、地域で電力を融通しあうマイクログリッドの実証、ナッジによる省エネ促進と、エネルギー転換の現場では、効果測定をともなう事業が増え続けています。EBPM(エビデンスに基づく政策立案)という言葉も、行政文書にすっかり定着しました。それなのに、発注仕様書や公募要領が「エビデンスの品質」を要求する場面は、まだ多くありません。
日本にも、質の高い実証はあります。伊藤公一朗、依田高典、田中誠は、経済産業省、京都府、関西電力などと組み、京都で電力需要の無作為化実験をおこないました [20]。比べたのは、「節電にご協力ください」という呼びかけ(道徳的説得)と、需要の逼迫時に電気料金を上げる仕組み(動的料金)です。
結果には、実務にとって重要な非対称がありました。呼びかけの効果は、繰り返すうちに慣れて薄れます。 ただし、十分な間隔をあけると元の水準まで戻ります。一方、価格の効果は繰り返しても薄れにくく、しかも介入が終わったあとに習慣として残る傾向がありました。短期の効果だけを見れば、どちらの手法もそれなりの数字を出します。長期の効果まで見ると、まったく違う政策になるということです。
ここから、発注の側が学べることがあります。効果測定を求めるとき、「介入期間中の削減率」だけを成果指標に置くと、慣れて薄れる手法と、習慣として残る手法を、同じ点数で評価してしまいます。測る期間の設計は、測り方の設計と同じくらい結果を左右します。
報告書は、5つの質問で検査できる
今号の材料から、報告書を受け取る側が使える質問を5つ取り出せます。
(1)調べ方は書いてあるか。そして、その問いにその方法は合っているか。書いていなければ、結論の評価ははじめられません [1][5]。
(2)比較の設計と実施の記録に、抜け落ちや手順の逸脱はないか。「現場でやったから」は厳密さを免除しません。下の段が先、一般化はその後です。あわせて、誰のデータが欠けているかにも目を配ってください。欠けやすいのは、古い設備の地域です [7][10]。
(3)分析は事前に登録されていたか。少なくとも、仮説と分析方針をデータ収集の前に文書で固定していたか。そして、限界の節はあるか [13][14]。
(4)この現場は、どうやって選ばれたか。手を挙げた自治体、協力に応じた電力会社、参加を承諾した世帯は、平均的な相手ではありません。効果を生んだ仕組みが、横展開先にもそろっているかを確かめてください [11][12]。
(5)見積りは、過去の類似案件の実績と照合されているか。工学モデルの予測値をそのまま便益に計上していないか。論文で報告された効果量を、そのまま事業計画に転記していないか [9][16][17]。
5つとも、統計の専門知識を必要としません。必要なのは、報告書のどこを見るかという順番の知識だけです。
第15号から前号まで、このニュースレターは「住民は無知だ」「反対はエゴだ」「土地が足りない」といった通説の解体を続けてきました。その道具は、いつも誰かの実証研究でした。今号は、その道具自体に検査を入れたことになります。エビデンスは、信じるか疑うかの二択で扱うものではありません。どこまで信じられるかを、見極めながら使うものです。 その見極めは、効果測定を発注する自治体の窓口でも、報告書を受け取る担当者の机の上でも、今日からできます。このニュースレターを読むときも、同じです。
参考文献
-
[1] Sovacool, B. K., Axsen, J., & Sorrell, S. (2018). Promoting novelty, rigor, and style in energy social science: Towards codes of practice for appropriate methods and research design. Energy Research & Social Science, 45., 12–42.
-
[2] Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349.(6251), aac4716.
-
[3] Camerer, C. F., Dreber, A., Holzmeister, F., Ho, T.-H., Huber, J., Johannesson, M., Kirchler, M., Nave, G., Nosek, B. A., Pfeiffer, T., Altmejd, A., Buttrick, N., Chan, T., Chen, Y., Forsell, E., Gampa, A., Heikensten, E., Hummer, L., Imai, T., … Wu, H. (2018). Evaluating the replicability of social science experiments in Nature. and Science between 2010 and 2015. Nature Human Behaviour, 2(9), 637–644.
-
[4] Ioannidis, J. P. A. (2005). Why most published research findings are false. PLoS Medicine, 2.(8), e124.
-
[5] Deaton, A., & Cartwright, N. (2018). Understanding and misunderstanding randomized controlled trials. Social Science & Medicine, 210., 2–21.
-
[6] Flyvbjerg, B. (2006). Five misunderstandings about case-study research. Qualitative Inquiry, 12.(2), 219–245.
-
[7] Kacperski, C., Bielig, M., Lange, F., Ulloa, R., & Kutzner, F. (2026). From collaboration to high-quality evidence for the energy transition: A total experimental field trial error framework. Energy Research & Social Science, 139., 104876.
-
[8] Groves, R. M., & Lyberg, L. (2010). Total survey error: Past, present, and future. Public Opinion Quarterly, 74.(5), 849–879.
-
[9] Fowlie, M., Greenstone, M., & Wolfram, C. (2018). Do energy efficiency investments deliver? Evidence from the Weatherization Assistance Program. The Quarterly Journal of Economics, 133.(3), 1597–1644.
-
[10] Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and quasi-experimental designs for generalized causal inference. Houghton Mifflin.
-
[11] Allcott, H. (2015). Site selection bias in program evaluation. The Quarterly Journal of Economics, 130.(3), 1117–1165.
-
[12] Cartwright, N., & Hardie, J. (2012). Evidence-based policy: A practical guide to doing it better. Oxford University Press.
-
[13] Composto, J. W., Greig, C., & Weber, E. U. (2026). Bridging the social license gap: How community-directed communication shapes risk perception and acceptance of carbon capture and storage in the United States. Energy Research & Social Science, 139., 104905.
-
[14] Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22.(11), 1359–1366.
-
[15] Nosek, B. A., Ebersole, C. R., DeHaven, A. C., & Mellor, D. T. (2018). The preregistration revolution. Proceedings of the National Academy of Sciences, 115.(11), 2600–2606.
-
[16] DellaVigna, S., & Linos, E. (2022). RCTs to scale: Comprehensive evidence from two nudge units. Econometrica, 90.(1), 81–116.
-
[17] Flyvbjerg, B., & Bester, D. W. (2021). The cost-benefit fallacy: Why cost-benefit analysis is broken and how to fix it. Journal of Benefit-Cost Analysis, 12.(3), 395–419.
-
[18] Kahneman, D. (2011). Thinking, fast and slow. Farrar, Straus and Giroux.
-
[19] Flyvbjerg, B., Budzier, A., Christodoulou, M. D., & Zottoli, M. (2024). Uniqueness bias: Why it matters, how to curb it (Saïd Business School Working Paper). University of Oxford.
-
[20] Ito, K., Ida, T., & Tanaka, M. (2018). Moral suasion and economic incentives: Field experimental evidence from energy demand. American Economic Journal: Economic Policy, 10.(1), 240–267.
On the Radar - 現場の実践
今週のレジストリ:Evaluation Registry(英国)
英国の評価レジストリが定める手順。評価計画についての登録項目は最初のデータ収集より前に入力し、報告書は省内決裁から12週以内に公表・登録する。出典:Evaluation Registry FAQs をもとに作成 [1]。
Frontiers の最後に、報告書を受け取る側が使える5つの質問を並べました。調べ方は書いてあるか、比較の設計と記録に抜け落ちはないか、事前に登録されていたか、この現場はどう選ばれたか、見積りは過去の実績と照らされているか。
ただし、これらはすべて、報告書が机の上に載ってから使う質問です。そのときには、調査はもう終わっています。書き方の不備は直せても、取られなかったデータは戻ってきません。
では、質問の一部を、調査がはじまる前に置いたらどうなるでしょうか。 英国が2024年から中央省庁に求めているのは、その仕組みです。
データを取る前に、登録する
内閣府とHM Treasuryの合同チーム、Evaluation Task Force(ETF) が運営する Evaluation Registry(評価レジストリ) は、政府の政策・事業の評価を、計画中・実施中・完了済みを問わず一か所に登録し公開する仕組みです。2024年4月から中央省庁の評価に登録が義務づけられ、2025年3月31日に一般公開されました [1][2]。地方分権政府や外郭団体などは原則として義務の対象外ですが、任意で利用でき、スコットランドの事業評価も収録されています [1][6]。
登録の時点が決められています。評価計画が省内の決裁を通ったら、「実行可能なかぎり早く、最初のデータ収集より前に」 計画中の評価として登録する、という規定です [1]。
ここが、この仕組みのもっとも重要な設計です。ただし、Frontiers で触れた厳密な事前登録(preregistration)と同じではありません。レジストリへの必須入力は、評価手法、介入の概要、実施時期、公表予定日などの高水準の情報です。詳細な評価計画や分析計画の文書を公開することは推奨されていますが、必須ではありません [1]。英国が行政の決裁ラインに組み込んだのは、少なくとも「どの事業を、どの手法で、いつまでに評価するか」を、データ収集前に見えるようにする手続きです。
何を書かせるか
登録項目も具体的です。評価の名称と関与する組織、評価の種類(インパクト評価、プロセス評価、費用対効果評価)、採用する評価手法、介入の内容とその開始・終了時期、そして公表予定日までを書き込みます。
完了時には、公表された報告書へのリンク、知見の要約、そしてその評価にいくらかかったかまで記載します [1]。
評価の費用を登録項目に入れている点は、見落とされがちですが示唆的です。完了した評価にどれだけ費用をかけたかを、結果と並べて比較できます。ただし、総額だけでは、どの誤りを防ぐために予算を使ったかまでは分かりません。評価費用の欄は、投入した資源と得られた知見を照合するための出発点です。
報告書の公表・登録期限も定められていて、省内決裁から12週以内です。運用の原則は「原則すべて公表(publish by default)」とされています [1]。情報公開法上の免除や機密区分などの例外はありますが、都合の悪い結果を引き出しにしまっておく余地を、期限という手続きで狭めています。
8%から34%へ
登録件数は、一般公開の時点で1,400件超、ETFの戦略文書(2026-2029)では2,000件超、利用者は1,800人超と報告されています [2][6]。
より重要なのは、こちらの数字です。ETFは、良質な評価計画をもつ主要プロジェクトの割合を、2019年の8%から2025年の34%へ引き上げたとしています [2]。
英国政府の主要プロジェクトのうち、良質な評価計画をもつと判定された案件の割合。「良質な評価計画」の判定はETF自身によるもので、外部の独立した検証ではない。出典:Evaluation Task Force「Evaluation Task Force strategy 2026-2029」をもとに作成 [2]。
裏返せば、2019年の英国政府では、主要プロジェクトの約92%が、ETF基準で「良質」と判定される評価計画をもっていませんでした。2025年でも約66%はまだそこに届いていません。これは成功譚ではなく、進行中の作業の中間報告です。
エネルギーの棚を開けてみる
DESNZ(エネルギー安全保障・ネットゼロ省)は、自らの監視・評価の枠組みを公開しており、評価はMagenta Book(HM Treasuryの評価ガイド)にそって実施し、公表前に外部の査読を受け、gov.uk と評価レジストリの双方に載せるとしています [3]。対象として挙がっているのは、スマートメーター導入計画、再生可能熱インセンティブ、グリーンガス支援制度、社会住宅脱炭素化基金、そしてボイラー・アップグレード制度(Boiler Upgrade Scheme) です。
第18号で扱ったヒートポンプの補助制度が、この最後のものにあたります。2026年7月以降、空気熱源・地中熱源ヒートポンプの標準的な補助額は7,500ポンドで、ガス管網の外にあり石油またはLPG暖房から替えるなどの条件を満たす住宅は9,000ポンドです [7]。2025年1月30日には、評価の最初の中間報告が公表されました。公表されたのは報告書だけではありません。中間報告(55ページ)、技術・方法に関する報告書(75ページ)、設置業者調査のデータ表、所有者調査のデータ表が、同じ日に並びます [4]。
方法の報告書が本体と同じ分量で出ている点に注目してください。Frontiers の質問(1)「調べ方は書いてあるか」に、あらかじめ答えが用意されている状態です。読み手は、結論を受け取るか拒むかの二択ではなく、どこまで信じられるかを自分で見極められます。
この仕組みは、褒められて生まれたのではない
この仕組みは、うまくいった国の成功例として生まれたのではありません。会計検査院にあたるNAOは2021年12月、政府の評価の利用はばらつきがあり一貫していないと指摘しました。議会の決算委員会(PAC)も、省庁が評価計画と知見の公表要件を満たしていないと重ねて述べています。レジストリは、この未達への対応として設計されました [5]。裏を返せば、この仕組みをはじめるのに、評価の先進国である必要はありません。 出発点にあったのは、誇れる実績ではなく、できていないという指摘でした。
対象外の範囲もあります。規制影響評価、フィージビリティ調査、文献レビュー、便益モニタリング報告(費用便益分析を含む場合を除く)は、義務の外です [1]。
そして、いちばん大きな限界があります。登録されたことと、使われたことは別だということです。地域経済の研究機関 What Works Growth は、このレジストリを歓迎しつつ、その価値は新しい施策を組み立てるときに実際に参照されるかどうかで決まる、と指摘しています [6]。検索できる状態にすることと、検索されることのあいだには、まだ距離があります。省庁ごとの登録率がどこまで実態を反映しているかの独立した検証も、これからです。
EIFの視点
日本に引き戻します。
日本にも、事業の中身を公開する仕組みはあります。行政事業レビューは、事業ごとの目的、予算、成果目標を一覧で示してきました。EBPMという言葉も、行政文書にすっかり定着しています。
ただし、日本の仕組みを「事後の結果しか出さない」と見るのも正確ではありません。行政事業レビューシートは、事業の目的、予算、アウトプットとアウトカムの指標・目標値、実績を一元的に公開する構造になっています [8]。
英国との違いは、より限定的です。Evaluation Registry は、個々の評価研究について、評価手法、公表予定日、完了後の報告書と費用を同じ記録につなげます。その登録を最初のデータ収集より前に求め、省庁横断で検索できる点が特徴です。それでも、詳細な指標や分析計画まで必ず事前公開する仕組みではありません。両国の差を、事後と事前の二択ではなく、どの情報を、いつ、どの単位で公開するかの差として見る必要があります。
脱炭素先行地域は、2026年2月の第7回選定までに102地域へ増えました [9]。省エネナッジの実証も、マイクログリッドの実証も、各地で走っています。ここで、英国の登録要件に照らして問いを立ててみます。それぞれの事業の評価計画は、いつ、どこに、誰に見えるかたちで置かれているのでしょうか。効果が確認できなかったとき、その結果はどこに載るのでしょうか。
費用の話も避けられません。評価計画についての情報を事前に登録し、方法の報告書を本体と並べて出し、費用まで開示するには、手間がかかります。英国はその手間を省庁に求め、引き換えに、2,000件の評価が検索できる状態を手に入れました。透明性は、ただでは手に入りません。どこまで手間をかけるかが、そのまま外から見える範囲を決めます。
Frontiers では、報告書を受け取る側の5つの質問を示しました。この5つは、受け取る側だけの道具ではありません。発注仕様書に書けば、そのまま事前の要求事項になります。 評価計画をいつ公開するか、方法をどこまで記述させるか、効果が出なかった場合にどう報告させるか。これらは、事業がはじまる前に、契約の言葉として決められます。
英国が示したのは、新しい統計手法ではありません。同じ質問を、どの時点で置くかという設計です。 日本でも、少なくとも個別事業の発注仕様書に、評価計画の公開時期や報告条件を盛り込むことはできます。
参考文献
-
[1] Cabinet Office & HM Treasury Evaluation Task Force. (2024). Evaluation Registry FAQs. GOV.UK.
-
[2] Evaluation Task Force. (2026). Evaluation Task Force strategy 2026-2029. GOV.UK.
-
[3] Department for Energy Security and Net Zero. (2024). DESNZ monitoring and evaluation framework. GOV.UK.
-
[4] Department for Energy Security and Net Zero. (2025). Evaluation of the Boiler Upgrade Scheme: 2024 interim report. (DESNZ research paper 2024/020). GOV.UK.
-
[5] National Audit Office. (2021). Evaluating government spending.
-
[6] What Works Centre for Local Economic Growth. (2025). Learning from what works: Using the government’s new evaluation registry.
-
[7] UK Government. (2026). Apply for the Boiler Upgrade Scheme: What you can get.
-
[8] 内閣官房行政改革推進本部事務局. (2024). 『行政事業レビューシート作成ガイドブック〜EBPMの手法を用いた行政事業レビューの効果的な実践に向けて〜』. https://www.cas.go.jp/jp/seisakukaigi/gskaigi/ebpm/dai4/siryou4-1.pdf
-
[9] 環境省. (2026). 『全国102地域を選定! 脱炭素先行地域の概要と取組事例』. https://ondankataisaku.env.go.jp/carbon_neutral/topics/20260319-topic-85.html
本ニュースレターの内容については、可能な限り一次情報や信頼できる資料に基づき慎重に確認した上で執筆していますが、解釈や記述に誤りが含まれている可能性もあります。もしお気づきの点がありましたら、遠慮なくご指摘ください。確認のうえ、必要に応じて訂正・更新いたします。
EIF Brief JP は Substack から定期購読することができます。