開放特許抄録集その他

整理番号:0093

文章更新量評価プログラム

利用分野

翻訳業、出版業、新聞雑誌の編集者、教員など、文書の創作量、編集量や模倣量の評価業務等

発明者

三上喜貴
高橋正幸
中平勝子

発明の目的

文章の編集や、更新過程における知的作業量を定量的把握することを目的とします。

概要

複数の文字列データを比較し、文字列の編集の程度（類似の程度）を定量的に評価するアルゴリズムです。

具体的には、（１）新規創作の比率（新規創作率）、（２）「てにおは」や語句の修正・置換・削除等の編集作業が行われた箇所の数（編集点数）、（３）文章や語句の並べ替えの程度（文脈編集距離）、（４）置換された語句の置換前との類似度（語句類似度）という４つの尺度を総合して定量的な更新量を算出します。

特徴・効果

文章更新量の大局評価に関して、人間が編集後の文章を見た時にどのくらいの知的作業が行われたかを感じる感覚的評価に近い評価結果を提供することができます。
校閲業務などの文章編集作業の評価、剽窃などが疑われる文書間の類似度の定量的評価などへの応用を期待できます。また、改訂順序の判らなくなった文書の改訂順序の推定などにも応用できます。

さらには、辞書を一切使わない言語非依存のアルゴリズムであるため、どのような言語で書かれた文章にも適用できますので、プログラムのソースコードやデジタル化された楽譜など、自然言語以外の文字列に適用することもできます。

発明の詳細・図面等

【特許請求の範囲】

コンピュータに、比較する更新前後のテキストから任意の閾値以上の長さを有する共通部分文字列を抽出する抽出ステップと、当該共通部分文字列の抽出数から１を減算して編集点数を求めるステップと、前記共通部分文字列を抽出元の前記各テキストにおける出現順を保持した状態で並べて分割列をそれぞれ作成するステップと、各分割列を対比して一の分割列を他の分割列と一致させるために必要な前記共通部分文字列間の最小置換回数を計算して文脈編集距離を求めるステップと、前記テキストから当該共通部分文字列を取り除いた残余の文字列の合計長さが当該テキストの全長に対して占める割合を計算して新規創作率を求めるステップと、前記各テキストから当該共通部分文字列を取り除いた残余の文字列をそれぞれ集めて非共通部分文字列集合を作成するステップと、数式１で表される

【数１】　

（Γ１、Γ２）は前記各非共通部分文字列集合から作成されるNグラム集合、｜Γ１∩Γ２｜はＮグラム集合Γ１及びΓ２に共通して現れる共通要素数、｜Γ３｜はＮグラム集合Γ３に含まれるＮグラムの総数）

前記各非共通部分文字列集合間における前記閾値未満の長さによるＮグラムの不一致率である新規創作分新規度Ｄ０を求める新規度評価ステップとを実行させ、各ステップにより求められた編集点数と文脈編集距離と新規創作率と新規創作分新規度とを用いて、評価式：ａ・ＥＰ＋ｂ・ＣＥＤ＋ＮＣＰ・Ｄ０・Ｌ（ＥＰは編集点数、ＣＥＤは文脈編集距離、ＮＣＰは新規創作率、Ｄ０は新規創作分新規度、Ｌは更新後のテキストの全長、ａ及びｂは任意の係数）により文章更新量を算出するステップを実行させるための文章更新量評価プログラム。

$00A0

【詳細】

比較するテキストを、ある閾値以上の長の共通部分文字列と非共通部分文字列とに分類します。そして、共通部分文字列の割合と出現パターンから元のテキストからの編集点数及び文脈編集距離を計算します。次いで、共通部分文字列集合に包含される要素数から編集点数を求め、共通部分文字列の出現順の変化から文脈編集距離を求めます。

次に、非共通部分文字列集合に包含される要素の合計長から新規創作率を求め、非共通部分文字列集合と非共通部分文字列集合に包含される要素間の非部分一致率から新規創作分新規度を求め、共通部分文字列集合と非共通部分文字列集合での計算結果を統合し、文章更新量を計算します。

$00A0

文章更新量評価プログラムの基本ブロック図

$00A0