2014年8月25日月曜日

相反(7)

不毛な話ではありますが、優れた科学的知見だからトップジャーナルに掲載されるのでしょうか、或いは、掲載されたから優れた知見なのか。

知見の”優れた”は定量的にどう評価されるべきでしょうか。現在の評価指標である被引用数は果たして適正な指標だろうか、何とはなしに釈然としないものを感じています。

おそらく大学の研究者、教育者であろう方のブログに、
日本学術振興会特別研究員(DC)制度について考える(1)
といったエントリがありました。

特別研究員として採用する優れた若手研究者の審査の困難さについて論述されています。

拝読させて頂いても、若手研究者選出の公正中立性、客観性に疑問を拭いきれません。エントリ中で科研費の申請、評価との共通部分にも触れておいでですが、その意味で科研費制度における研究テーマや成果の評価にも同様な印象を禁じ得ないでいます。

やはり、根幹である”優れた研究”とは何か、そして”優れた”は何によって評価されるのかが再考されるべきではないでしょうか。
確かに被引用数は、関心が寄せられ広く読まれている、知が共有されていることを示す一つの指標です。高いインパクトファクター(文献引用影響率)を持つ、Natureに代表されるトップジャーナルに掲載された論文が、広く共有される知であることに異論はありません。

では、該論文は広く共有されるべき知であったため掲載されたのでしょうか。更に、それ(広く共有されるべき知)即ち優れた研究なのか。そういった判断はトップジャーナルの査読者を含む編集部に委ねられてしまっています。

”優れた研究なのでNatureに認められた”と、”Natureに認められた研究なので優れている”は同義ではない、といった見方が適切かと考えますが、混同されているかの雰囲気を感じます。まぁ、そういった取り扱いの方が分かり易いのは理解できますが。

これらトップジャーナルの質は自負と自律性によって担保されることになります。加えて、科学誌相互の競争、評価、批判といったところでしょうか。適正に機能しているのか、否か、よくわかりません。ただ、今日の日本のメディアを鑑みれば...無意識下であったとしても既得権を堅持すべく、権威主義に陥っている恐れはないだろうか、といった疑問がないわけではありません。日本の商業メディアと較べるなど、科学誌には失礼な話かもしれません。

広く共有されるべき知、トップジャーナルに掲載された論文、これらは優れた研究のある一側面に過ぎないと考えます。例えば、売れている、発行部数の多い雑誌、ベストセラー作品が良質な優れた刊行物とは限りません。後世に見直されることで高く評価され、実は優れていた、と称賛されることは科学の分野のみならず、美術、音楽、文学といった分野でも珍しくありません。

根幹にある研究の卓越性が幅広い知の拡散、共有を働きかけるわけですが、その大きさは必ずしも科学的な質に対し忠実に相応しているとも思えません。

ここに、トップジャーナルによるフィルタの影響が生じているような気がします。権威主義、インパクトファクターといったフィルタを通して元々の研究の質が歪曲されてしまっているのではないかということです。

で、研究の卓越性についてです。なかなか難しい話ですが、物心両面で社会の要請に対し如何に応えたか、といったところでしょうか。これは科学研究に限定されませんが、便利、快適で豊かな社会の実現に寄与したか(物質面)、社会の多くが関心を寄せる疑問や未解決の問題を解明、解決したか(精神面)程度しか思い浮かびません。

ただ、例えば”宇宙、素粒子、或いは生命について、果たして社会の多くから関心が寄せられているのだろうか”と問われた時、なんとなく首肯してしまう部分も依然あります。この”なんとなく”の部分が明らかにされたり、別の角度からの評価指標があって然るべきかとも思っています。

上記トップジャーナルへの論文掲載と研究の質、卓越性の関係について、幾人かの研究者の方々が言及されています。研究の卓越性評価の指標として、該掲載を手放しに支持されてはいないように受け止めました。

以下に引用させて頂きます。

3誌の編集方針に共通するのは、科学界に対する広いインパクトがある論文を掲載する方針だ。幅広い読者を対象にするので妥当な方針だと思う。つまり、科学的にいかに質が高くても、インパクトがなければ載せない。そして、このインパクト重視の姿勢が、Natureはタブロイド誌だと言われるゆえんだ。



ノーベル賞はNature、Cell、Scienceに論文を発表することとは何の関係もない。むしろ最初の画期的発見は誰にも理解されないので、インパクトファクターの超トップではない雑誌に発表されることが多々あるのだ。

私の大雑把な感覚では論文が公表されて1年以内に再現性に問題があるとか、実験は正しいけれども、解釈が違うとか、実験そのものに誤りがあるとか言った理由で誰も読まなくなる論文が半分はあります。2 番目のカテゴリーとしては、数年ぐらいはいろいろ議論がされ、まともに話題になりますが、やがてこの論文が先と同様に様々な観点から問題があり、やはり消えていくもの30%ぐらいはあるでしょう。論文が出版されてから20 年以上も生き残る論文というのはいわゆる古典的な論文として多くの人が事実と信じるようになる論文で、まず20%以下だと考えております。中には最初誰も注目しなかったのに5~10年と次第に評価が上がる論文もあります。

そうは言っても、研究の成果というか新たに獲得した知を適正に評価できる、被引用数と置き換え、或いは併用し得る指標、手法については未だ端緒すら見出せていないわけです。

W・チャーチルではありませんが、
――実際のところ、被引用数は最悪の研究評価指標と言うことが出来る。これまでに試みられてきた、他のあらゆる指標を除けば、だが。――
ということかもしれません。


(続)

0 件のコメント:

コメントを投稿