自然言語処理のためのソフトウェア

研究で書いた実験コードをソフトウェア化したもの．大半は C++ で書かれています．
実行速度の速さと作業領域の小ささを最優先に，可能な限り短いコードで書く方針のため，読みづらいです．

• Jagger: 超高速・高精度の日本語形態素解析器
  • 超高速・省メモリで動作する実用的な精度の形態素解析器 (M2 MacBook Air 上で>1,000,000文/秒)
  • 単語分割の最長一致法に着想を得て、分割位置と品詞を同時に分類するパターンを言語資源から抽出 [ACL 2023, NLP2023 委員特別賞]
  • 開発の経緯や実装の詳細については Yahoo! JAPAN での招待講演の資料を参照してください
  • R からも使えます
• J.DepP: 超高速・高精度の日本語係り受け解析器
  • 形態素解析並みの速度で動作する高速日本語係り受け解析器 (MacBook Air (Mid 2011) 上で>40,000文/秒)
  • 統計的日本語係り受け解析器として標準コーパスで最高精度 (92.09%, 高精度モードだと92.23% [COLING 2014])
  • 分類器の学習に[COLING 2010, 情報処理学会第72回全国大会優秀賞]，分類に[EMNLP 2009]で提案した高速化手法を利用
  • 解析対象のテキストの冗長性に応じて自己適応的に分類を高速化する手法 [COLING 2014, 人工知能学会研究会優秀賞] も利用可
  • 開発の経緯については [NLP 2013 tutorial, p25-]を参照してください
• cedar: 辞書型データ構造としても使える高速更新可能な動的ダブル配列
  • ハッシュ並みの更新速度と，静的ダブル配列並みの検索速度を両立した，作業領域の小さい動的ダブル配列
  • 静的ダブル配列 Darts 互換の API + 動的更新用の関数 (加えて Predictive Search をサポート)
  • 単純なトライ (とその省メモリ版 [COLING 2014, 人工知能学会研究会優秀賞]), 最小接頭辞トライを実装
  • cedar-go や cedarwoodなど他言語への移植や、pycedarなどのスクリプト言語バインディングもあります。
  • 高速・省メモリな Aho-Corasick ライブラリを実装されている人もいます。
• opal: 二値素性向けの超高速非線形分類器
  • 多項式カーネル (組み合わせ素性) に基づく分類器のオンライン学習ライブラリ [COLING 2010, 情報処理学会第72回全国大会優秀賞]
  • 多クラス分類をサポート，文字列素性を利用可，組み合わせ素性の重みを出力可
  • 線形分類器の学習ライブラリとしても LIBLINEAR の4〜10倍程度高速
• pecco: 二値素性向けの超高速非線形分類器（分類のみ）
  • 多項式カーネル (組み合わせ素性) に基づく学習済み分類器のための高速分類ライブラリ [EMNLP 2009]
  • opal, LIBSVM, SVM^light, MaxEnt などで学習済みのモデルをサポート
• yakmo: 別解出力付きの高速 k-means
  • SVM^light風の疎ベクトルを入力可能な別解出力付きの高速 k-means クラスタリングライブラリ
  • k-means++ による初期化や三角不等式を用いた計算の枝刈りにより高速に動作
  • 保存した centroids を用いて未知のデータを分類可
  • R からも使えるようです
• 上位下位関係抽出ツール（外部リンク）
  • Wikiepdiaの定義文・カテゴリ・記事構造から上位下位関係を抽出するためのツール [LREC 2008,言語処理学会論文賞 (2009)]
  • ほぼ論文主著者の隅田さんが書いたコードですが，定義文から上位下位関係を抽出する箇所に少し貢献しています
  • 最新版の pecco を分類に用いる場合はパッチを当ててください
• RenTAL (no longer maintained)
  • 語彙化木接合文法から主辞駆動句構造文法スタイルの文法への変換ライブラリ

ソフトウェアの大半は GPL/LGPL/BSD ライセンスで提供されており，商用利用もされています．
Python/Ruby/Perl/Lua などスクリプト言語バインディングもありますが，ソフトウェアの高速性が損なわれることもあり、本人が使わないのであまりテストされていません．