% 第４章　評価実験

\chapter{評価実験}
\label{評価実験}

\ref{評価実験}章では，
今回実装した可視化システムの評価実験について述べる．
利用前と利用後の論文を比較し，文章が適切に改善されているか否かを評価する．

\section{実験概要}

まず，理工系学生を被験者として，実際の論文執筆時に可視化システムを利用させる．
その後，次の2種類の評価実験を行う．
\begin{list}{$\bullet$}{%
	\setlength{\topsep}{0pt}%
	\setlength{\partopsep}{0pt}%
	\setlength{\itemsep}{0pt}%
	\setlength{\parsep}{0pt}}
\item[(1)] 被験者に対し，アンケート調査を行う．
提案システムは，文の修正のヒントを提示するのにすぎず，いくら提示しても実際に修正されなければ意味がない．
アンケート調査の主な目的は，修正されなかった文の割合やその理由
を確認することである．
\item[(2)] システム利用前後の文書を第三者に提示し，各文章が改善されているかどうか判断してもらう．
\end{list}

(1)については\ref{アンケート調査}節
%および\ref{全体可視化実験}節
，
(2)については\ref{第三者評価}節で詳細に述べる．

\section{実験準備}

被験者は大学理工学部の2年生と3年生，計16名である．
こちらからテーマを与え，
A4用紙1枚（1200〜1600文字程度）のレポートを執筆させる．
その後，本システムを利用して推敲させるものとする．

\section{実験（システムの利用）}

被験者にシステムの利用方法，図の見方，対処方法などを説明する．
被験者は全員，本システムを初めて利用する．

システムの利用に際しては，あくまでも文章を改善することが目的であって改善要求の指摘を無くすことが目的ではないことを説明し，
文章がおかしくなってしまうような本末転倒な修正を行わないよう注意を促す．

\section{実験1: 被験者に対するアンケート調査}
\label{アンケート調査}

この実験1では，被験者にアンケートの回答を依頼し，実際にどう対処したかや
修正できなかった理由，システムの問題点などについて調査する．

表\ref{アンケート}の左列にアンケート項目，右列に16人分の集計結果を示す．
括弧内の数値は，修正が行われた文・行われなかった文の割合である．
なお，1つの文が複数の項目に該当することもあるため，複数回答可となっている．
可視化前の段階で，
被験者全員のレポートを構成している文の合計数は458文，1文書あたり平均28.6文であった．
そのうち，文単位の可視化によって修正された文の数は172文（平均10.6文）であり，全体の37.6\%を占めた．

\begin{table}[bt]
\caption{アンケート項目および集計結果}
\label{アンケート}
\begin{center}
{\renewcommand\arraystretch{0.7}
% {\tabcolsep = 0.5mm
\begin{tabular}{l|rr} \hline \hline
\multicolumn{3}{l}{\footnotesize 1. 文単位の可視化について} \\
{\footnotesize (\,A\,) 修飾−被修飾関係（矢印）が間違って解釈されていた　\uline{　　　文}} & 61 \\
{\footnotesize -- そのうち修正を行ったもの　\uline{　　　文}} & 51 & (83.6\%) \\
{\footnotesize 　　文章を分割した　\uline{　　　文}} & 18 \\
{\footnotesize 　　語順を入れ替えた　\uline{　　　文}} & 27 \\
{\footnotesize 　　言い回しを変更した　\uline{　　　文}} & 27 \\
{\footnotesize 　　その他　具体的に：\uline{　　　　　　}} & 2 \\
{\footnotesize -- 修正を行わなかったもの　\uline{　　　文}} & 10 & (16.4\%) \\
{\footnotesize 　　修正しなかった理由：\uline{　　　　　　}} & \\
{\footnotesize (\,B\,) 主語−述語が間違って解釈されていた　\uline{　　　文}} & 46 \\
{\footnotesize -- そのうち修正を行ったもの　\uline{　　　文}} & 37 & (80.4\%) \\
{\footnotesize 　　文章を分割した　\uline{　　　文}} & 14 \\
{\footnotesize 　　語順を入れ替えた　\uline{　　　文}} & 20 \\
{\footnotesize 　　言い回しを変更した　\uline{　　　文}} & 15 \\
{\footnotesize 　　その他　具体的に：\uline{　　　　　　}} & 1 \\
{\footnotesize -- 修正を行わなかったもの　\uline{　　　文}} & 9 & (19.6\%) \\
{\footnotesize 　　修正しなかった理由：\uline{　　　　　　}} & \\
{\footnotesize (\,C\,) 「長い」と感じる矢印が存在していた　\uline{　　　文}} & 71 \\
{\footnotesize -- そのうち修正を行ったもの　\uline{　　　文}} & 49 & (69.0\%) \\
{\footnotesize 　　文章を分割した　\uline{　　　文}} & 24 \\
{\footnotesize 　　語順を入れ替えた　\uline{　　　文}} & 18 \\
{\footnotesize 　　言い回しを変更した　\uline{　　　文}} & 16 \\
{\footnotesize 　　その他　具体的に：\uline{　　　　　　}} & 0 \\
{\footnotesize -- 修正を行わなかったもの　\uline{　　　文}}  & 22 & (31.0\%) \\
{\footnotesize 　　修正しなかった理由：\uline{　　　　　　}} & \\
{\footnotesize (\,D\,) 主語を含めた方がよいと気付かされた　\uline{　　　文}} & 43 \\
\multicolumn{3}{l}{\footnotesize 2. 全体の可視化について} \\
{\footnotesize $\bullet$ 修正した文の数　\uline{　　　文}} & 36 \\
{\footnotesize 　　接続詞を補った　\uline{　　　文}}  & 11 \\
{\footnotesize 　　文・文節を補った　\uline{　　　文}}  & 8 \\
{\footnotesize 　　文の順番を入れ替えた　\uline{　　　文}}  & 0 \\
{\footnotesize 　　その他　\uline{　　　文}} & 17 \\
\multicolumn{3}{l}{\footnotesize 3. 今回利用したシステムについて，該当するものに○を付けてください．} \\
{\footnotesize (\,1\,) このシステムを今後も利用したいと思いましたか？} \\
{\footnotesize \MARU{1} 思う} & 12 \\
{\footnotesize \MARU{2} どちらとも言えない} & 4 \\
{\footnotesize \MARU{3} 思わない} & 0 \\
{\footnotesize (\,2\,) (\,1\,)で \MARU{2} \MARU{3} と答えた方に質問します．} \\
{\footnotesize \MARU{1} 次からはこのシステムに頼らなくても大丈夫だと思う} & 0 \\
{\footnotesize \MARU{2} ルールが身についたとは思わないが，このシステムを利用したいとも思わない} & 0 \\
{\footnotesize \MARU{3} システムの一部分のみ利用したいと思う} \\
{\footnotesize 　　a\,) ルールチェックのみ} & 3 \\
{\footnotesize 　　b\,) ルールチェックと文単位の可視化のみ} & 1 \\
{\footnotesize 　　c\,) その他} & 0 \\
{\footnotesize (\,3\,) (\,2\,)で \MARU{2} \MARU{3} と答えた方に質問します．利用したくない理由を教えてください．} \\
\multicolumn{3}{l}{\footnotesize 4. 感想・意見・改善案など自由に記入してください．} \\
{\footnotesize (\,1\,) 文単位の可視化について} \\
{\footnotesize (\,2\,) 全体の可視化について} \\ \hline
\end{tabular}
}%}
\end{center}
\end{table}

表\ref{アンケート}のアンケート結果について考察する．

\begin{list}{$\bullet$}{%
	\setlength{\topsep}{0pt}%
	\setlength{\partopsep}{0pt}%
	\setlength{\itemsep}{0pt}%
	\setlength{\parsep}{0pt}}
\item[1.] 文単位の可視化について \\
　まず，修正を行った場合の対処法について述べる．
集計結果を見ると，(\,A\,) 修飾−被修飾関係の誤り・(\,B\,) 主語−述語関係の誤り・(\,C\,) 修飾−被修飾語間・主語−述語間の距離，のいずれも，文章の分割・語順を入れ替え・言い回しの変更などさまざまな対応で修正が行われている．
各学生ごとにアンケートの回答を見ても，どれか一つの対応に偏ることなく，文ごとに対処法を検討して修正していたことがわかった．

　次に，修正が行われなかったケースについて述べる．
(\,A\,)・(\,B\,) の対応として，修正が行われなかったのは20\%未満である．
(\,A\,)・(\,B\,) を修正しなかった理由としては「列挙文のため修飾関係が明らか」など，コンピュータによる係り受け解析の限界を挙げるものが多かった．
一方，(\,C\,) については修正されなかった文の割合が30\%程度あり，(\,A\,)・(\,B\,) と比較すると修正されなかった文が多い．
修正しなかった理由についても，
「変更すると不自然になる」（5名），
「元の文章以上の修正案が思いつかなかった」（3名），
「順番を入れ替えたり文章を分割する必要が感じられない」（2名）といった意見がほとんどを占め，
(\,A\,)・(\,B\,) とは異なる傾向であった．
%また「分かりにくい理由の基準があいまいで納得できなかった．」という意見もあった．

\item[2.] 全体の可視化について \\
　全体可視化では，論理性のチェックを行うことが目的であるため，
「接続詞を補った」「文・文節を補った」「文の順番を入れ替えた」といった対応が期待されたが，
意外にも「その他」の修正が最も多かった．
文単位の可視化は「意図が伝わりにくい文」と判定された文しか可視化されないのに対し，
全体の可視化ではすべての文が対象となる．
すると，文単位の可視化を行わなかった文で「主語・述語がおかしい」など
と気づくことになり，修正に結びついたようである．

\item[3.] システムを今後も利用したいと思うか \\
　本システムを今後利用したくない理由として，
「コンピュータのチェックであるため，融通さに欠ける」といった意見（2名）や「修正作業に時間がかかる．」という意見があった．
一方，75\%の学生は「システムを今後も利用したい」と回答しており，システムが概ね好意的に受け止められたことがわかった．
\item[4.] 感想・意見・改善案
\begin{list}{$\bullet$}{%
	\setlength{\topsep}{0pt}%
	\setlength{\partopsep}{0pt}%
	\setlength{\itemsep}{0pt}%
	\setlength{\parsep}{0pt}}
\item[(\,1\,)] 文単位の可視化
\begin{list}{$\bullet$}{%
	\setlength{\topsep}{0pt}%
	\setlength{\partopsep}{0pt}%
	\setlength{\itemsep}{0pt}%
	\setlength{\parsep}{0pt}}
\item 語順を入れ替えると正しく認識されることがあるが，そのために文章が読みにくくなることもあるので注意が必要だと感じた．
\item 目で図として見れるのはわかりやすくて直しやすくてよかったと思う．
\item 係り受けが一目でわかって文の構造をつかみやすかった．
\end{list}
\item[(\,2\,)] 全体の可視化
\begin{list}{$\bullet$}{%
	\setlength{\topsep}{0pt}%
	\setlength{\partopsep}{0pt}%
	\setlength{\itemsep}{0pt}%
	\setlength{\parsep}{0pt}}
\item 文章の骨組みだけをすっきりとした形で見れたので直しやすかった．
\item 文書全体の流れを確認するのに役立った．
\item 接続詞がピックアップされていて見やすかった．
\item 全体的にみると接続詞の足りないところや余計なものがよくわかった．
\end{list}
以上のように図を効果的に利用できたと思われる感想がある一方，
以下のように一切修正を行っていない学生の感想も見受けられた．
\begin{list}{$\bullet$}{%
	\setlength{\topsep}{0pt}%
	\setlength{\partopsep}{0pt}%
	\setlength{\itemsep}{0pt}%
	\setlength{\parsep}{0pt}}
\item 長い文書を書いていると全体がつかみづらくなってくるので，この機能はとても使えると思う．今回は短い文書だったので使用する必要がなかった．
\item 全体を見ても直す必要が感じられず，何もできなかった．直すべき部分がわかりづらい．
\end{list}
最後の意見については，利用法についての事前指導を今後さらに工夫することで対応したいと考えている．
\end{list}

その他，システムのユーザインタフェースに関する要望が多く寄せられた．
\end{list}

\section{実験2: 第三者による論文の評価}
\label{第三者評価}
\subsection{実験内容}
可視化を通して修正された文書が，修正する前より改善されているかどうかを評価する実験を行う．
評価は，科学技術文書の執筆教育に携わる理系大学教員に依頼する．
同一人物が書いた修正前後の論文を並べて
提示し\footnote{このとき，どちらが修正前でどちらが修正後かは明示している．}，
修正が加えられているすべての文に対し，改善が認められるかどうかについて，
以下の3段階で評価してもらう．
\begin{list}{$\bullet$}{%
	\setlength{\topsep}{0pt}%
	\setlength{\partopsep}{0pt}%
	\setlength{\itemsep}{0pt}%
	\setlength{\parsep}{0pt}}
\item[1.] 明確に改善が認められる
\item[2.] どちらとも言い難い
\item[3.] むしろ読みにくい，不自然な文になってしまっている
\end{list}

\subsection{実験結果および考察}

7名の評価者から得られた結果をまとめ，表\ref{文ごとの改善の程度}に示す．
各文に対して7名の判定の中央値（median）を評価値とする．
表中の「計」とは「変更が加えられた文の数」，「総文数」とは「レポートを構成している文の総数」である．

\begin{table}[bt]
\caption{文の改善度}
\label{文ごとの改善の程度}
\begin{center}
\begin{tabular}{r|rrr|r|r}
\multicolumn{6}{r}{（単位：文，評価人数：7名）} \\ \hline \hline
レポート番号＼評価値	&	1	&	2	&	3	&	計	&	総文数	\\ \hline
1	&	6	&	2	&	0	&	8	&	30	\\
2	&	4	&	5	&	0	&	9	&	23	\\
3	&	4	&	5	&	1	&	10	&	30	\\
4	&	3	&	1	&	0	&	4	&	27	\\
5	&	6	&	3	&	0	&	9	&	35	\\
6	&	5	&	1	&	0	&	6	&	24	\\
7	&	6	&	3	&	0	&	9	&	29	\\
8	&	3	&	9	&	0	&	12	&	33	\\
9	&	6	&	11	&	2	&	19	&	30	\\
10	&	2	&	10	&	1	&	13	&	29	\\
11	&	4	&	2	&	0	&	6	&	29	\\
12	&	8	&	6	&	1	&	15	&	39	\\
13	&	8	&	8	&	0	&	16	&	25	\\
14	&	4	&	9	&	1	&	14	&	32	\\
15	&	7	&	2	&	0	&	9	&	23	\\
16	&	15	&	0	&	0	&	15	&	20	\\ \hline
平均	&	5.7 	&	4.8 	&	0.4 	&	10.9	&	28.6	\\
合計	&	91	&	77	&	6	&	174	&	458	\\ \hline
\multicolumn{6}{p{22zw}}{\footnotesize 1. 明確に改善が認められる} \\
\multicolumn{6}{p{22zw}}{\footnotesize 2. どちらとも言い難い} \\
\multicolumn{6}{p{22zw}}{\footnotesize 3. むしろ読みにくい，不自然な文になってしまっている} \\
\end{tabular}
\end{center}
\end{table}

変更が加えられた174文のうち，平均約52\%の文に改善が認められた．
被験者16名全員が，「3」より「1」の評価を受けた文の方が多いこともわかった．
ただ，
修正したすべての文を改善できた学生もいれば（16人中5人の学生は75\%以上），
修正した13文中わずか2文しか改善できなかった学生もいる．
システムを有効活用できている学生とできていない学生がおり，
有用性に個人差があることが分かった．
ただし，本実験は，本システムを初めて利用する学生のみを対象としたため，継続使用した場合には別の結果となる可能性がある．
システムに慣れることによる影響は，今後確認していきたい．

修正後の文書に対する，ある評価者からの感想を以下に引用する．
\begin{quote}
評価が「3」の理由としてもっとも多かったのは，主語−述語間・修飾−被修飾語間の距離を文節の入れ替えで縮めようとした結果，
もともと文が持っていた日本語的雰囲気・情感が損なわれてしまったケースである．
たとえば「将来はネットに頼りすぎない教育を考えなければならなくなるかも知れない」は文脈と意味を考えれば「将来は」は「考えなければ」に係るのは明らかである．
しかし，意味を考えなければ「頼りすぎない」にも係る可能性がある．
このあいまいさをなくしたのが学生の修正文「ネットに頼りすぎない教育を将来的には考えなければならなくなるかも知れない」だが，
結果的に元の文の自然さが失われている．
意味を考慮しない校正には超えがたい限界があると感じた．
\end{quote}
