自然言語処理（NLP）は、人間の言語をコンピュータで理解・解析・生成する技術で、テキストデータの解析や処理に活用されています。PythonにはNLPを効率的に行うためのライブラリが多く存在しますが、その中でもspaCyは高性能かつ使いやすいツールとして注目されています。本記事では、Pythonでの自然言語処理を始めるために、spaCyライブラリを使った基本的なテキスト解析の方法を紹介します。

spaCyとは？

spaCyは、Pythonで自然言語処理を行うための強力なライブラリです。簡単に利用できるだけでなく、高速で効率的な処理が可能です。機械学習の前処理やテキスト解析、固有表現抽出などの多くのタスクに使用されます。以下のような機能が含まれています。

  • トークン化：テキストを単語や記号に分割
  • 品詞タグ付け：各単語に対して品詞を付与
  • 固有表現抽出：人名、場所、組織名などの固有表現を抽出
  • 依存構造解析：単語間の文法的な関係を解析

spaCyのインストールとセットアップ

まず、spaCyを使用するために、ライブラリをインストールし、必要な言語モデルをダウンロードします。

インストール

以下のコマンドでspaCyをインストールします。

pip install spacy

言語モデルのダウンロード

spaCyは、テキストの解析に言語モデルを使用します。英語のモデルをダウンロードするには、以下のコマンドを実行します。

python -m spacy download en_core_web_sm

en_core_web_smは英語の小規模な言語モデルで、トークン化、品詞タグ付け、固有表現抽出などを行うために必要なデータを含んでいます。他の言語にも対応しており、ja_core_news_smなど日本語のモデルも存在します。

spaCyを使った基本的なテキスト解析

それでは、具体的にspaCyを使ってテキスト解析を行う方法を見ていきましょう。

言語モデルの読み込み

まず、言語モデルを読み込み、解析したいテキストを処理します。

import spacy
# 英語のモデルを読み込む
nlp = spacy.load("en_core_web_sm")
# テキストを解析
text = "Apple is looking at buying U.K. startup for $1 billion."
doc = nlp(text)

このコードで、nlpオブジェクトを使ってテキストを解析し、docという変数に解析結果が格納されます。docは単語ごとに分解されたトークンのリストを持っています。

トークン化（Tokenization）

トークン化は、テキストを単語や記号などの単位に分割する処理です。解析したテキストをトークン化するには、次のようにします。

for token in doc:
    print(token.text)

出力結果は以下のようになります。

Apple
is
looking
at
buying
U.K.
startup
for
$
1
billion
.

各単語や記号がトークンとして分割されていることが確認できます。

品詞タグ付け（Part-of-Speech Tagging）

品詞タグ付けでは、各トークンに対してその品詞が付与されます。これにより、単語が名詞、動詞、形容詞などのどの品詞に該当するかがわかります。

for token in doc:
    print(token.text, token.pos_)

出力例：

Apple PROPN
is AUX
looking VERB
at ADP
buying VERB
U.K. PROPN
startup NOUN
for ADP
$ SYM
1 NUM
billion NUM
. PUNCT

ここでは、token.pos_で各トークンの品詞を取得しています。

固有表現抽出（Named Entity Recognition）

固有表現抽出では、テキスト内の特定の情報（例えば、人名、場所、組織、金額など）を検出します。

for ent in doc.ents:
    print(ent.text, ent.label_)

出力例：

Apple ORG
U.K. GPE
$1 billion MONEY

このように、Appleは組織名、U.K.は場所、$1 billionは金額として認識されています。ent.label_で固有表現のカテゴリを取得できます。

依存構造解析（Dependency Parsing）

依存構造解析では、文中の単語同士の文法的な関係を解析します。これは、主語や動詞などの関係性を理解するために重要です。

for token in doc:
    print(f"{token.text} -> {token.head.text} ({token.dep_})")

出力例：

Apple -> looking (nsubj)
is -> looking (aux)
looking -> looking (ROOT)
at -> looking (prep)
buying -> at (pcomp)
U.K. -> buying (dobj)
startup -> buying (dobj)
for -> buying (prep)
$ -> billion (quantmod)
1 -> billion (nummod)
billion -> for (pobj)
. -> looking (punct)

この結果から、Appleがlooking（動詞）の主語であり、U.K.がbuying（動詞）の目的語であることがわかります。

応用：テキストから有用な情報を抽出する

これまで紹介した機能を組み合わせることで、具体的なタスクに応じたテキスト解析が可能です。例えば、ニュース記事やレポートから重要な固有表現を抽出して要約を作成したり、トークンの品詞を利用して、特定の名詞や動詞だけを抽出して分析したりすることができます。

例：名詞と動詞の抽出

以下のコードは、テキストから名詞（NOUN、PROPN）と動詞（VERB）を抽出する例です。

for token in doc:
    if token.pos_ in ["NOUN", "PROPN", "VERB"]:
        print(token.text, token.pos_)

これにより、分析に必要な単語だけを抽出し、簡単なテキスト要約やキーワード抽出などに役立てることができます。

まとめ

spaCyは、Pythonで自然言語処理を行うための非常に強力なライブラリであり、トークン化、品詞タグ付け、固有表現抽出、依存構造解析などの多彩な機能を提供します。特に、テキスト解析や機械学習の前処理において、簡単かつ高速に使用できるため、実務においても広く利用されています。 本記事では、spaCyの基本的なテキスト解析の手法を紹介しましたが、これを活用してさらに高度な自然言語処理のタスクにも応用してみてください。

参照:

spaCyの公式ドキュメントでさらに学ぶ