投稿者: 管理者ブログ

fasttextでWikipediaの情報を学習させみて、今年1年を振り返る中で浮かんだ言葉の類似語を探してみる（NLP）

ものづくりのブログ
fasttext で Wikipedia の情報を学習させみて、今年1年を振り返る中で浮かんだ言葉…
https://a1026302.hatenablog.com/entry/2020/12/11/164000
2020年もあともう少し、 今年は世界中が大変な1年でした。今年は新型コロナウィルスとかあつもりとかアマビエとか鬼滅の刃とかいろいろあるけど、 これらの言葉がどんな言葉と類似しているかちょっとだけ興味深いです。 fasttext の準備 作業内容 wikipedia の情報でデータ作成 wikipediaのダウンロード 日本語版wikipediaのテキストデータを取得 wikipediaデータ整形 mecab で分かち書き fasttext で評価 skipgram アルゴリズムで単語ベクトルを学習 テスト評価 単語と単語の近さを比較 特定の単語に似ているものを検索 流行語大賞で…