形態素とは、ざっくりと言って「品詞」のことです。

英語で品詞は token , 品詞分解は tokenize です。

次の5行のコードを打ち込んで実行します。

!pip install janome
from janome.tokenizer import Tokenizer
t = Tokenizer()

※品詞分解する機能の準備です。エラーが出なければOKです。(何も表示されない場合もあります。)

for token in t.tokenize("好きな文章を打ち込んでもらったらOKです。"):
  print(token)

※任意の文章をtokenに分けて、一つ一つのtokenを表示しています。

文章は英語でも大丈夫です。

注意ポイント

  • 日本語以外はすべて「半角英数字モード」で入力!
  • 大文字のTokenizerが2箇所あるよ!
  • 3行目はTokenizer()でカッコを忘れない!
  • 4行目は最後にコロン:があるよ!
  • 5行目はタブキーか半角スペース2つ分でインデントだよ!

品詞分解できればOK

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です