pomera解析メモ

dic2txt

ポメラからエクスポートされた辞書ファイルからユーザ登録単語を抽出し、ATOK8のワードリスト形式で出力するツールです。

txt2dic

ATOK8のワードリスト形式のテキストファイルをpomeraの辞書ファイル atok.dicに変換します。

• 区切文字",、"とtabに対応。(半角読点 0xa4も使えます)
• 入力テキストはソートしておくこと。
  （入力テキストのソート処理を実装していません）
• よみ仮名が１１文字以上の場合、登録が怪しくなります。（要するにチェックしてない）
  [本来の制限は以下の通り]
  読みの最大入力文字数は全角8文字
  語句の最大入力文字数は全角18文字

ATOK8ワードリスト形式について

atok8wordlist - ATOK8 辞書メンテナンスで使用するテキスト形式の単語ファイル
テキスト形式の単語ファイルの一種です。形式は以下の通り。

行数	記述内容	説明
1行目	!ATOK8	ATOK8形式である事を示す識別子
コメント行	!ほげほげ	!で開始される行は1行目以外はコメントとして扱われる
単語指定行	FD,フロッピィディスク,一般名詞 けがれ,穢れ,一段動詞	『よみがな,変換される漢字,品詞名称』 変換される漢字は"穢れ"の様にクォートしてもよい。

例：

!ATOK8
＃,"＃＃＃＃＃＃",一般名詞
＄,"＄＄＄＄＄＄＄",一般名詞
％,"％％％％％",一般名詞
FD,フロッピィディスク,一般名詞
けがれ,穢れ,一段動詞
		

ファイルヘッダ

ファイル先頭の16バイトの領域

• 先頭4バイト:後続のデータ部のサイズ
• 次の4バイト:データ部のデータの総和
• 残り8バイトは未使用（0埋め）

機種	0	+4	+8	+C
DM5	0x00002f6c	checksum	00 00 00 00	00 00 00 00
DM10	0x00002f08	checksum	00 00 00 00	00 00 00 00
DM20	0x000083c8	checksum	00 00 00 00	00 00 00 00

データ部

データ部分のマッピング

offset	内容
0x0010〜0x240f	辞書の学習結果格納部
0x2410,1	0x2614から始まるユーザ辞書のデータ長
0x2412,3	ユーザ辞書の登録語数
0x2414〜0x2613	登録単語の先頭１文字をインデックスとするオフセット表 （要素数256のshortの配列）
0x2464〜	ユーザ辞書本体 [全体長] [半角カタカナのバイト長] 半角カタカナ 漢字 [品詞コード] ・品詞が"一般名詞"の場合、品詞コードが省略され、全体長のMSBが1になる。 ・DM20の辞書登録数は1000個（読み7文字、語句7文字の場合） 　1+1+7+14(+1) として 23,000〜24,000バイト程度？ （ファイル末端までは23988バイトあるので24バイトで丁度） ・全体長 　自身を除く１単語の全体の長さ 　MSBが1の場合、末端の品詞コードが省略される。