nlp | hurutoriya

Google Colab で Spacy による NER の結果を表示するには、jupyter 引数を True にする必要がある

自然言語処理のフレームワークの Spacy を使って、Google Colab 上で NER の可視化を行う際に 1 2 3 4 import spacy spacy.displacy.render(doc, style='ent') と実行しても 1 <div class="entities" style="line-height: 2.5; direction: ltr">\n\n 2022年\n Date\n\n、\n\n 日本人\n <span style="font-size: 0....

自然言語処理トップ国際会議の System Demonstrations について

仕事でご縁ができた方と、自然言語処理(NLP)領域での国際会議で Industry track に相当する文化って何かありますかねとお聞きした話が面白かったので文章にしておく。この領域を知ったきっかけとしては、CyberAgent さんの記事1を読んだ際に知ったのだが、自然言語処理領域のトップカンファレンスの ACL2, NAACL3, EMNLP4などでは Industry Track ではなく、 System Demonstration という部門が用意されているらしい。例えば、Industry Track で有名所だと KDD の Applied Data Science Track5 や RecSys の Industry Talk6 があります。それらと比較して異なる点としては、 What problem does the proposed system address? Why is the system important and what is its impact? What is the novelty in the approach/technology on which this system is based? Who is the target audience? How does the system work?...

KyTeaをPythonで扱えるMykyteaを使うために必要なこと

テキスト解析機 KyTea KyTeaを業務で使う機会があり、Python wrapper である Mykytea を使ってみたのですが、poetry や pip で Mykytea をインストールするだけでは、 Library not loaded: /usr/local/lib/libkytea.0.dylib in version = "0.1.5" 上記のエラーが出力され、KyTea を使うことができませんでした。 Mykytea のリポジトリに issue 1 を立てて、@chezou さんにお聞きしてみたところ、 Good point. Mykytea wheel assumes that kytea is installed under /usr/local/lib, while your kytea exists another place. This should be Mykytea issue and there are two options we can avoid it like: Use delocate, like Linux’s audit-wheel https://realpython.com/python-wheels/ Install from source using wheel instead....

Google Colaboratory で Mecab-ipadic-Neologd を使用可能にする

Colabratory 上で日本語に対する NLP をしたいときありませんか？ 1 2 3 4 5 # install MeCab neologd !apt-get -q -y install sudo file mecab libmecab-dev mecab-ipadic-utf8 git curl python-mecab > /dev/null !git clone --depth 1 https://github.com/neologd/mecab-ipadic-neologd.git > /dev/null !echo yes | mecab-ipadic-neologd/bin/install-mecab-ipadic-neologd -n > /dev/null 2>&1 !pip install mecab-python3 > /dev/null インストールに成功しました。 Google Colabratory も以下で公開しているので参考にしてみてください colab-mecab-ipadic-NEologd.ipynb