2019年04月09日

◆ 小論文試験の採点法

 (入試で)小論文試験の採点には、問題がある。採点者の個人差が大きくて、客観性が保てないのだ。

 ──

 同じ答案に対して、点数が異なるのだ。たとえば、
  ・ 甘く 採点する人なら、高得点
  ・ 厳しく採点する人なら、低得点

 というふうに、採点者の違いで、点数が異なる。これでは客観性が保てない。合否の判定が、受験者の能力で決まるのではなく、ぶつかる採点者しだいというバクチになってしまう。サイコロで合否を判定するようなものだ。
 これはまずいですね。困った。どうする? 

 ──

 そこで、困ったときの Openブログ。うまい案を出そう。客観性を保つためには、次のようにする。
 基本としては、絶対評価でなく相対評価にする。(直感的に言えば、得点でなく偏差値で決める。)
 具体的な手順は、以下の通り。

 (1) 採点者は自己流で採点していい。甘くても厳しくてもいい。
 (2) 以後は、(点数でなく)順位だけが評価される。
 (3) 順位を偏差値に変換する。(採点者ごとに)
 (4) 偏差値を「正規分布の得点」に変換する。

 
   ※ 変換の操作は、コンピュータで自動処理する。

 ──

 具体的に例示しよう。
 採点者ごとに、採点する答案が 100枚ある。
 採点者は、それぞれの答案に点数を付ける。(自己流の基準でいい。基準さえ一定であれば、甘くても厳しくてもいい。)
 採点が終了したら、答案を点数順で並べる。
 同じ点数で重複があれば、小数点以下の点数を付けて、重複をなくす。
  例: 35点が2名いたら、 35 と 35.5 に区別する。

 こうして 100名に順位を付ける。
 この順位を、正規分布の形で、偏差値に直す。
  例: 100人中の 50位ならば、偏差値 50。

 偏差値に応じて、得点を与える。(正規分布に従う)
  例:偏差値 50の答案には、20点 (40点満点で)
    偏差値 75の答案には、39点 (40点満点で)


 こうして、採点者ごとの差をなくして、正規分布の形になる得点が得られる。
 この方式だと、正規分布に近づくので、普通の偏差値方式よりもいっそう公平である。普通の偏差値方式だと、ピークが(高低の)どちらかに偏ったり、分布の曲線が(なめらかな曲線でなく)凸凹したりするのだが、そういうことがない。ほぼ完全な正規分布の得点分布となる。

 ──

 手間はどうか? 面倒か? 
 いや、面倒ではない。採点者は単に、得点の重複を調べて、重複者に細かい差異を付けるだけだ。(重複の分についてのみ、小数点の差を付けて、差異を付けるだけだ。)
 あとのすべては、コンピュータが自動処理するから、人間の手間は何も増えない。



 ※ 以下は細かな話なので、読まなくてもいい。


 [ 付記1 ]
 この方式に、難点はあるか? ある。それは、
 「何が何でも強制的に正規分布になってしまう」
 ということだ。
 そのせいで、
 「もともと、集団にバラツキがあった場合には、そのバラツキが消えてしまう」
 ということだ。たとえば、
 「偏差値 40 あたりの分布がもともと少なくて、偏差値 35あたりと偏差値 45 あたりの分布が多い」
 というような場合には、偏差値 35 の上位と、偏差値 45 の下位は、強制的に、偏差値 40 に補正されてしまう。そのせいで、偏差値 35 の上位と、偏差値 45 の下位にある、本来の差が見えなくなってしまう。その分、不正確になる。

 しかし、この程度のことは、仕方ないだろう。「正規分布に補正する」ということとは、トレードオフの関係にある。

 なお、この問題を解消する方法もある。それは、通常の偏差値方式と同様だ。偏差値方式であれば、元の集団のバラツキがそのまま生かされるので、上記の難点は生じない。
 しかしそのかわり、補正の能力が下がるので、「採点者の違いで得点が変わってしまう」という問題が、解決しにくくなる。

 [ 付記2 ]
 そこで、場合によっては、両者を併用してもいい。次のように。
  ・ 基本は、本項の方式で、正規分布で評価する。
  ・ 最後のボーダーライン近辺(得点差が2点ぐらい)では、
   偏差値方式の点数で合否を決定する。


 たとえば、本項の方式(A)で、19〜21点の人が、「ボーダーライン」として、合否の判定を保留される。( 19点未満は不合格で、22点以上は合格となる。)
 19〜21点の人については、偏差値方式の点数(B)を加点する。たとえば、次のように。
  ・ 16点(A) + 15点(B) = 31点
  ・ 17点(A) + 19点(B) = 36点


 さて。(A)だけを見ると、前者と後者の得点差は1点だけだが、(A)と(B)の加算では、前者と後者の得点差は5点だ。
 そこで、他科目の得点と小論文の加算をする(総得点を得る)ときには、採点方式によって差が出る。

 受験生1 …… 他科目 225点 + 16点(A)+ 15点(B)
 受験生2 …… 他科目 223点 + 17点(A)+ 19点(B)

「他科目+(A)」なら、受験生1の方が高得点。
「他科目+(A)+(B)」なら、受験生2の方が高得点。
 こうして、採点方式による違いが出る。その分、(B)を用いること(補正すること)の意義が生じる。

 ※ この(B)を用いる補正は、やってもやらなくてもいい。やった方が、いくらかは適正になるが、それだけの手間をかける意義がないと思えば、省略してもいい。当の受験生にとっては、合否が左右されるので重大ではあるが、大学の側にとっては、どっちの受験生を受け入れようが、大差はないからだ。

 この話は、あくまでオマケふうの扱いなので、[ 付記 ] として記した。

 [ 付記3 ]
 ただ、補正のために余計な手間をかけるくらいなら、最初から「正規分布になる」ように工夫しておけばいい。それには、
 「採点対象をほぼ均一の集団にする」
 ことが大切だ。換言すれば、
 「採点対象を、複数集団にしない」
 ということだ。
 具体的に言うと、次のことは駄目だ。
 「レベルの異なる二つの集団を採点対象とする」
 たとえば、模試において、秀才学校と凡才学校を、同一の採点者が採点する。……こういうのは駄目だ。もともと母集団にピークが二つあるから、正規分布になるはずがない。

 ただ、大学入試ならば、受験生はランダムに並んでいるはずだから、採点者に送られる 100人ぐらいの集団も、ランダムになっているはずだ。その意味で、「正規分布にならない」という問題は、大学入試では起こらないだろう。
 強いて言えば、「受験番号をランダムにするように注意する」ことぐらいか。たとえば、「同じ高校からの受験生を一箇所にまとめる」というようなことは、あってはならない。( ※ それは、大学入試ではもともとありそうにないが、模試ならばありえそうだ。)
posted by 管理人 at 20:00 | Comment(9) | 一般(雑学)5 | 更新情報をチェックする
この記事へのコメント
センター試験なら現役生は出身校ごとに出願なので受験番号はかたまっています。
Posted by とおりがかり at 2019年04月10日 12:35
> センター試験なら現役生は出身校ごとに

 なるほど。情報ありがとうございます。
 ただし本項の話題は、「各大学における二次試験での小論文」なので、センター試験とは関係ありません。
Posted by 管理人 at 2019年04月10日 12:57
大学入試の採点は1〜3人程度の少人数で行っており、採点基準を統一するために相互に採点チェックや部分点の調整を行っています。
なので、あなたが心配するような採点者の主観により受験生が不利を被るようなことはほとんど起きません。
Posted by きゅうとぴ at 2019年04月13日 21:11
> 大学入試の採点は1〜3人程度の少人数で行っており

 まさか。
 東大の定員は 3000人。倍率3倍だと仮定して、9000人。それを1〜3人程度の少人数で採点できるわけがないでしょう。
 学部別にしたって、理科1類は1100人もいるし。3倍なら 3300人だ。
 まして、私立大学だと、もっと多人数になることもある。
 
> 採点基準を統一するために相互に採点チェックや部分点の調整を行っています。

 そのくらいは当然あるでしょうが、そんなことではバラツキを抑えられない。

> 採点者の主観により受験生が不利を被る

 そんなことは言っていません。バラツキが生じるというのは、得をする人も損をする人もいる。平均値はゼロです。ただ、評価が不正確になるので、合格になるべき人と不合格になるべき人とが入れ替わってしまう。
Posted by 管理人 at 2019年04月14日 00:07
その「まさか」を現実にやっているのが国公立大の大学入試です。通常、すべての教科において、学科ごとなど最低限受験生に有利不利がでない単位で採点者が設定されます。作問の段階から試験監督、採点に至るまで、教授陣のボランティアによって成り立っています。
Posted by きゅうとぴ at 2019年05月02日 09:34
> 通常、すべての教科において、

 多くの教科ではそうかも知れないけど、小論文は別でしょう。1問あたり、採点にすごく時間がかかるから、数千人も採点するのは無理。

> 通常、すべての教科において、学科ごとなど最低限受験生に有利不利がでない単位で採点者が設定されます。

 あなたの主張通りだとすれば、全科目の採点には 30人ぐらいの採点者がいれば済むことになる。少数の講師や助教が担当すれば済むので、教授陣(教授や准教授)は誰も採点をしなくて済む。莫大な数の教員のうち、ごく少数が担当するだけで済むのだから、楽なものでしょう。教授たちは採点免除だし。

 もちろん、現実にはそんなことはなくて、多数の教授たちが小論文の採点に駆り出されることになります。当然、採点にはバラツキが多大に生じます。(通常の採点法ならば。)

> その「まさか」を現実にやっているのが国公立大の大学入試です。

 現実には、東大では小論文の入試をやっていません。(外国人向けなど、少人数の別口入試でやっているだけです。)

 あなたの言っているのは、地方の小規模の国立大でしょう。東大のような大規模な大学は話が別です。
Posted by 管理人 at 2019年05月02日 10:02
 相互採点方式をやらないなんて、言っていませんよ。それはそれで、やればいい。本項とは別の話です。併用は可能です。
 話の次元がまったく異なる。別のことを持ち込まないでください。
Posted by 管理人 at 2019年05月02日 11:30
そもそも論なんですが、
(2)の仮定で順位だけをみるとするのであれば(3)以降の変換は意味がないのでは?
Posted by 鳥 人 at 2019年05月06日 23:54
> (2)の仮定で順位だけをみるとするのであれば(3)以降の変換は意味がないのでは?

 ほほう。それは唯一、まともな質問ですね。大量のゴミのなかで、唯一、まともな質問があった。

 お答えします。
 1教科だけならば、確かに点数に変換しても意味がない。ただし、多数の教科の総合を見るのであれば、点数に変換することで、多数の科目全体の順位づけをすることができます。
 このように点数に換算するという操作をなさないと、多数の科目の総合順位を決めることができません。
Posted by 管理人 at 2019年05月06日 23:54
  ※ コメントが掲載されるまで、時間がかかることがあります。

過去ログ