単語トークン化とサブワードトークン化の違いは?

単語トークン化は空白で分割します。シンプルですが、語彙が大きくなり、未知の単語を処理できません。サブワードトークン化(BPE、WordPiece)は単語を一般的なサブワード単位に分割します(例:"playing" → "play" + "ing")。語彙が小さく、未知の単語も処理できます。LLM はサブワードトークン化を使っています。

トークン化で句読点はどう扱えばよいですか?

単語トークン化では、句読点を別トークンにするか、単語に付けたままにするかを決めます。"Hello, world!" → ["Hello", ",", "world", "!"](別トークン)または ["Hello,", "world!"](付随)。NLP では別トークンが標準です。一貫した処理のために、正規表現か NLP ライブラリを使ってください。

NLP 処理のためにテキストをトークン化する

トークン化はテキストをトークン(単語、文、サブワード)に分割します。NLP タスクのための単語・文・サブワードトークン化を学びましょう。

1

トークン化は、テキストを処理単位に分割します。単語トークン化は空白と句読点で分割します。文トークン化は文境界(. ! ?)で分割します。サブワードトークン化(BPE、WordPiece)は、まれな単語を一般的なサブワードに分割します。LLM で使われています。選択は NLP タスクによります。
2

ワードカウント →
単語数を数えて、基本的な単語統計を取得します。空白で分割する大まかなトークン化が得られます。より正確なトークン化には、句読点("don't" を "don" と "t" に分割しない)、短縮形、ハイフン付きの単語を処理してください。
3

正規表現テスター →
正規表現で単語トークン化します:\b\w+\b は単語境界にマッチします。文トークン化には [^.!?]+[.!?] で文末の句読点で分割します。より正確なトークン化には、エッジケース(省略形、省略記号、引用符)を処理する NLP ライブラリ(NLTK、spaCy)を使ってください。

よくある質問

単語トークン化とサブワードトークン化の違いは?: 単語トークン化は空白で分割します。シンプルですが、語彙が大きくなり、未知の単語を処理できません。サブワードトークン化(BPE、WordPiece)は単語を一般的なサブワード単位に分割します(例:"playing" → "play" + "ing")。語彙が小さく、未知の単語も処理できます。LLM はサブワードトークン化を使っています。
トークン化で句読点はどう扱えばよいですか?: 単語トークン化では、句読点を別トークンにするか、単語に付けたままにするかを決めます。"Hello, world!" → ["Hello", ",", "world", "!"](別トークン)または ["Hello,", "world!"](付随)。NLP では別トークンが標準です。一貫した処理のために、正規表現か NLP ライブラリを使ってください。