2009,10,31 コラム
教育普及活動の評価方法
こんにちは。教育普及の会田です。
今日は、YCAMが取り組んでいる教育普及の評価方法について書いてみます。今年から新しいスタッフが加入したということもあり、今年度から、これまでなかなか取り組めなかった「評価方法の研究」というのに実験的に取り組んでいます。YCAMは山口市の公共施設でもありますので、「評価」というと、まずは公共事業評価、という側面から考えることも出来ると思います。
・公共施設の評価（エバリュエーション）としての側面
近年、税金の使い道については多くの人が知恵を絞っている時代、公共事業に対する評価、というものにも注目が集まっています。ダム建設や道路工事などについても、その費用と効果のバランスを多くの人が注目しています。よく公共事業の評価に使われる手法としては、「費用便益評価法」や、「仮想評価法」といった方法がとられているようです。
費用便益評価法というのは、言葉はやや面倒な感じがしますが、考え方は単純で、かかった費用と、得られた便益を金額に置き換えて割り算して、それが1.0以上ならメリットがあった、とするものです。かかった費用はごまかせないけれど、得られた便益っていうのが、文化政策の場合はとても評価しにくいところが難しいですね。昨今問題になっているダム建設などは、治水の観点から、水害に係わるコストと比較することで比較的明快になるかと思います。（細かな話しでは、環境負荷や地元の意向、また創出される雇用なども織り込むべきなので、そんなに単純じゃないと思いますが）仮想評価法というのは、ある事業を行なう場合に、「それが実現したらいくら払ってもいいと思う？」というアンケートを行い、想定利用者の数をかけ算してそのコストが見合う物かどうかを計るというものです。環境評価などを行なう時に使われる評価のようです。
ただし、こういった評価方法といのを、そのまま教育普及活動の評価方法として応用することが妥当か、ということについてはちょっと落ち着いて考えてみないといけません。
・面白いエデュケーションプログラムの次のステップ
YCAMの教育普及チームでは、上記に示したような評価方法が実際に有効であるか、というポイントについて、リサーチを行なってみました。世の中には沢山の評価方法というのがあって、上記のような公共事業の評価方法だけでなく、商業的なマーケティング手法や、臨床心理学などで使われる評価方法など100種類近い「評価方法」があるんだ、ということが、調べてみて初めてわかりました。
さて、取り合えず評価方法の全体が見えたところで、最も重要なのは「何のための評価なのか？」というポイントです。これまで教育普及で取り組んできたワークショップは、それなりにオリジナリティや内容の面白さ、そしてメディアと社会、メディアと身体を繋ぐ重要な要素（エッセンス）も含んでいる、という自負はあったのですが、やはり、それが実際にどれくらい効果があったのか？という事は、測りきれていませんでした。もちろん、参加者の顔を見てみれば、その回が充実していたのかどうかは体感的に掴むことは出来ますが、それはあくまでも主観的な評価に留まります。毎回ワークショップ後は、関わったスタッフ全員で1時間以上の反省会を行ない、プログラムを改善していく努力はしているのですが、まだまだ万全とは言えません。まったく新しい教育プログラムを作る時に、どんなポイントに注目していけばよいのか、ということを客観的に評価したデータがあれば、それが次回策を練るための有意義なナビゲーターになってくれるのでははないか、という考えに至りました。（当然データに表れない部分がある、ということも絶対に忘れないようにしないといけませんが。）
エルモやクッキーモンスターといった愛くるしいキャラクターでおなじみの「セサミストリート」というテレビ番組は、教育者や心理学者といった科学者たちも関わり、一コマ単位でカットの切り替えなどを調整していった、というエピソードがあります。テストバージョンの番組を子ども達に見せて、どういったシーンに興味を引かれるのか、どんなテンポで進行して行くのが良いのか、といったことを真剣に評価して、それをステップとしてどんどん煮詰められていったんですね。
具体的にYCAM教育普及で取り組んでいる手法は、いまのところ2つです。これはまだ実験段階ですが、ひとつ目はワークショップについてです。ワークショップ開催中の全ての進行過程を、定点カメラで記録し、ファシリテーターの行動と、参加者の反応の関係性から、集中力や理解度を測るための研究で、「定点カメラ」と呼んでいます。単純化して言うと、参加者の顔を上げて集中して話を聞いている秒数の合計と、下を向いたりよそ見したり、集中力が低下している時間の秒数の比率をグラフ化し、ワークショップスクリプト（台本）のタイムスケジュールと比較してみると、どのように進行を改善すれば良いのか、ということの指標になります。この方法はマーケティング手法からヒントを得ています。もうひとつはアンケートの取り方で、ワークショップ参加回数による作品鑑賞ポイントの変化について評価する手法です。これは、ギャラリーツアーなどを組み立てる、または展覧会付随型の教育普及活動を、土のような方向性に導くのがよいのか、を計るための指針になります。
・教育普及活動を開発するステップとして活用するために
どちらもまだ実験段階ですが、興味深い結果も出ています。例えば、ワークショップやギャラリーツアーに参加した回数が多い参加者ほど、作品に対して「わかりやすさ」を求めなくなっている、といった傾向です。ただし、これはまだまだサンプル数も少ない（140人足らず）ですし、データの取り方が正しいかどうか、についてもまだまだ検討が必要です。しばらく長く続けてみないと、本当のところはわかりませんので、今後、慎重に検討してみたいと思っています。
評価方法についてはまだまだ他の手法もあるのかもしれません。ただ、上記のように100種類程度の評価方法を比較してみて、「本当にすぐに応用できて役立ちそうだな」と思えるものはあまりなく、それなら自分たちで役に立つ方法も探ってみよう、という気持ちでスタートしています。消極的な意味合いでなく、積極的に教育普及活動に「評価」を活用していく手法やメソッドが探り当てられれば、今後のミュージアムエデュケーションの中で役立つことも出てくるかもしれません。
教育普及：会田
今日は、YCAMが取り組んでいる教育普及の評価方法について書いてみます。今年から新しいスタッフが加入したということもあり、今年度から、これまでなかなか取り組めなかった「評価方法の研究」というのに実験的に取り組んでいます。YCAMは山口市の公共施設でもありますので、「評価」というと、まずは公共事業評価、という側面から考えることも出来ると思います。
近年、税金の使い道については多くの人が知恵を絞っている時代、公共事業に対する評価、というものにも注目が集まっています。ダム建設や道路工事などについても、その費用と効果のバランスを多くの人が注目しています。よく公共事業の評価に使われる手法としては、「費用便益評価法」や、「仮想評価法」といった方法がとられているようです。
費用便益評価法というのは、言葉はやや面倒な感じがしますが、考え方は単純で、かかった費用と、得られた便益を金額に置き換えて割り算して、それが1.0以上ならメリットがあった、とするものです。かかった費用はごまかせないけれど、得られた便益っていうのが、文化政策の場合はとても評価しにくいところが難しいですね。昨今問題になっているダム建設などは、治水の観点から、水害に係わるコストと比較することで比較的明快になるかと思います。（細かな話しでは、環境負荷や地元の意向、また創出される雇用なども織り込むべきなので、そんなに単純じゃないと思いますが）仮想評価法というのは、ある事業を行なう場合に、「それが実現したらいくら払ってもいいと思う？」というアンケートを行い、想定利用者の数をかけ算してそのコストが見合う物かどうかを計るというものです。環境評価などを行なう時に使われる評価のようです。
ただし、こういった評価方法といのを、そのまま教育普及活動の評価方法として応用することが妥当か、ということについてはちょっと落ち着いて考えてみないといけません。
・面白いエデュケーションプログラムの次のステップ
YCAMの教育普及チームでは、上記に示したような評価方法が実際に有効であるか、というポイントについて、リサーチを行なってみました。世の中には沢山の評価方法というのがあって、上記のような公共事業の評価方法だけでなく、商業的なマーケティング手法や、臨床心理学などで使われる評価方法など100種類近い「評価方法」があるんだ、ということが、調べてみて初めてわかりました。
さて、取り合えず評価方法の全体が見えたところで、最も重要なのは「何のための評価なのか？」というポイントです。これまで教育普及で取り組んできたワークショップは、それなりにオリジナリティや内容の面白さ、そしてメディアと社会、メディアと身体を繋ぐ重要な要素（エッセンス）も含んでいる、という自負はあったのですが、やはり、それが実際にどれくらい効果があったのか？という事は、測りきれていませんでした。もちろん、参加者の顔を見てみれば、その回が充実していたのかどうかは体感的に掴むことは出来ますが、それはあくまでも主観的な評価に留まります。毎回ワークショップ後は、関わったスタッフ全員で1時間以上の反省会を行ない、プログラムを改善していく努力はしているのですが、まだまだ万全とは言えません。まったく新しい教育プログラムを作る時に、どんなポイントに注目していけばよいのか、ということを客観的に評価したデータがあれば、それが次回策を練るための有意義なナビゲーターになってくれるのでははないか、という考えに至りました。（当然データに表れない部分がある、ということも絶対に忘れないようにしないといけませんが。）
エルモやクッキーモンスターといった愛くるしいキャラクターでおなじみの「セサミストリート」というテレビ番組は、教育者や心理学者といった科学者たちも関わり、一コマ単位でカットの切り替えなどを調整していった、というエピソードがあります。テストバージョンの番組を子ども達に見せて、どういったシーンに興味を引かれるのか、どんなテンポで進行して行くのが良いのか、といったことを真剣に評価して、それをステップとしてどんどん煮詰められていったんですね。
具体的にYCAM教育普及で取り組んでいる手法は、いまのところ2つです。これはまだ実験段階ですが、ひとつ目はワークショップについてです。ワークショップ開催中の全ての進行過程を、定点カメラで記録し、ファシリテーターの行動と、参加者の反応の関係性から、集中力や理解度を測るための研究で、「定点カメラ」と呼んでいます。単純化して言うと、参加者の顔を上げて集中して話を聞いている秒数の合計と、下を向いたりよそ見したり、集中力が低下している時間の秒数の比率をグラフ化し、ワークショップスクリプト（台本）のタイムスケジュールと比較してみると、どのように進行を改善すれば良いのか、ということの指標になります。この方法はマーケティング手法からヒントを得ています。もうひとつはアンケートの取り方で、ワークショップ参加回数による作品鑑賞ポイントの変化について評価する手法です。これは、ギャラリーツアーなどを組み立てる、または展覧会付随型の教育普及活動を、土のような方向性に導くのがよいのか、を計るための指針になります。
・教育普及活動を開発するステップとして活用するために
どちらもまだ実験段階ですが、興味深い結果も出ています。例えば、ワークショップやギャラリーツアーに参加した回数が多い参加者ほど、作品に対して「わかりやすさ」を求めなくなっている、といった傾向です。ただし、これはまだまだサンプル数も少ない（140人足らず）ですし、データの取り方が正しいかどうか、についてもまだまだ検討が必要です。しばらく長く続けてみないと、本当のところはわかりませんので、今後、慎重に検討してみたいと思っています。
評価方法についてはまだまだ他の手法もあるのかもしれません。ただ、上記のように100種類程度の評価方法を比較してみて、「本当にすぐに応用できて役立ちそうだな」と思えるものはあまりなく、それなら自分たちで役に立つ方法も探ってみよう、という気持ちでスタートしています。消極的な意味合いでなく、積極的に教育普及活動に「評価」を活用していく手法やメソッドが探り当てられれば、今後のミュージアムエデュケーションの中で役立つことも出てくるかもしれません。
教育普及：会田