形態素とは、ざっくりと言って「品詞」のことです。
英語で品詞は token , 品詞分解は tokenize です。
次の5行のコードを打ち込んで実行します。
!pip install janome
from janome.tokenizer import Tokenizer
t = Tokenizer()
※品詞分解する機能の準備です。エラーが出なければOKです。(何も表示されない場合もあります。)
for token in t.tokenize("好きな文章を打ち込んでもらったらOKです。"):
print(token)
※任意の文章をtokenに分けて、一つ一つのtokenを表示しています。
文章は英語でも大丈夫です。
注意ポイント
- 日本語以外はすべて「半角英数字モード」で入力!
- 大文字のTokenizerが2箇所あるよ!
- 3行目はTokenizer()でカッコを忘れない!
- 4行目は最後にコロン:があるよ!
- 5行目はタブキーか半角スペース2つ分でインデントだよ!
品詞分解できればOK