もう2年ほど共同研究を行っている、とある研究者が居る。彼は文系なのか理系なのか良くわからない。実験データも良く扱うようだが、こちらのテクニカルタームがしばしば通じないことがあり、間合いを図りかねていた。
この共同研究で年次報告書を書くことになったわけだが、その中で彼がしきりに「作ったシステムが評価するに値するかどうか、その証拠を書いて欲しい」と主張していた。叩き台として出している文書には、既にシステムの概要やスクリーンキャプチャ、動作時の写真などがふんだんに盛り込まれているのに、である。
話を聞いてみるに、きちんとした手続きを踏んで評価したものである事が書いてあれば良い、と言う。僕はスクリーンキャプチャ、写真、ちょっとした動作データでシステムが動作する証拠としてはOKだと思ってしまっていた。
実際に使った実績の記録、試験項目を列挙した試験結果が求められている。専門家相手だったり論文だと思うと、ある程度データを取捨選択・洗練させて意味がありそうな要点だけを掲載しようとする。が、それだけではなくて、もっと行動・動作の記録のようなものが求められている。インタラクティブなシステムの場合、網羅的な試験というのはなかなか難しく、やらなければいけないと思われる試験については思いついた順に行うわけだが、ついつい僕は記録をすっとばしてしまうのだが、足跡は専門家でなくてもわかる重要な証拠なのだ。確かに記録の量はごまかせない。「評価」の前に「評価に値するかどうか」という尺度がある。僕としては、目から鱗だった。
普段良く接している研究者とは全く違うタイプの研究者なのだが、とても良い考えを持っているなぁと感心した。
