RWCP 形態素解析実験結果

Research Whitepaper Experiment

RWCP 学習 64%, 開発 16%, 評価 20%
全コーパス中に基本形が1回しか現れない単語を全て未知語として学習．ただし，学習時に対応する未知語処理が存在しない場合は既知語として学習，評価時は未知語として扱う（すなわち絶対に正解できない）．単語未知語全展開5文字 + 連続カタカナ + 連続アルファベット．前進 MEMM．Gaussian prior．対数尤度の相対変化が1.0e-4以下を学習収束条件とする．

1
0.8 0.96560, N/A, N/A, 0.93431(77)
1.0 0.96733, N/A, N/A, 0.93782(131)
1.2 0.96397, N/A, N/A, 0.94246(70)
1.3 0.96460, N/A, N/A, 0.93358(79)
1.4 0.96601, N/A, N/A, 0.93593(107)
1.5 0.96594, N/A, N/A, 0.93569(108)
1.6 0.96646, N/A, N/A, 0.93616(92)
1.7 0.96671, N/A, N/A, 0.93669(112)
1.8 0.96647, N/A, N/A, 0.93626(133)
1.9 0.96543, N/A, N/A, 0.93499(92)
2.0 0.96507, N/A, N/A, 0.93534(139)
2.1 0.96584, N/A, N/A, 0.93621(116)
2.2 0.96673, N/A, N/A, 0.93616(98)
2.3 0.96721, N/A, N/A, 0.93761(121)
2.4 0.96792, N/A, N/A, 0.93888(190)
2.5 0.96640, N/A, N/A, 0.93699(155)
2.6 0.96625, N/A, N/A, 0.93652(106)
2.7 0.96571, N/A, N/A, 0.93582(128)
2.8 0.96490, N/A, N/A, 0.93541(125)