Intl.Segmenter

Pagefind の日本語検索を深掘りする — トークナイザの食い違いと IME 対策

Pagefind の日本語検索で「サイバー」が「サイドバー」にヒットする原因を調査。 インデックス側（lindera/IPAdic）とクエリ側（Intl.Segmenter）のトークナイザの食い違い、IME 対策の実装まで。