自然言語処理(NLP:Natural Language Processing)とは、人が日常で使う言葉(自然言語)をコンピュータで扱い、意味を読み取ったり、文章を作ったりする技術の総称です。 検索エンジン、かな漢字変換、機械翻訳、対話型AIなど、身近なところで使われています。

この記事で分かること

  • 自然言語処理の基本的な処理の流れと、日本語ならではの難しさ
  • 従来の自然言語処理と、大規模言語モデル(LLM)以降の違い
  • 問い合わせ対応・議事録・翻訳・社内文書検索などの活用例
  • 業務に取り入れるときの注意点

自然言語処理とは

自然言語とは、日本語や英語のように、人が自然に使ってきた言葉のことです。プログラミング言語のように、意味が1通りに決まるよう作られた言葉と区別するために、こう呼びます。

自然言語は、同じ内容をさまざまな言い方で表せます。一方で、同じ言葉が文脈によって違う意味になります。「この資料、大丈夫です」が「問題ない」の意味か「不要です」の意味かは、前後の流れで決まります。こうした曖昧さを含む言葉を、コンピュータで扱えるようにするのが自然言語処理です。

自然言語処理はAI(人工知能)の重要な分野の1つで、現在は機械学習、特にディープラーニングの技術が中心になっています(関係は AI・機械学習・ディープラーニングの違い、仕組みは ディープラーニングとは を参照)。

自然言語処理の仕組み

従来の処理の流れ

従来の自然言語処理は、文章を段階的に分解して意味に近づけていく方法が基本でした。

段階 やること 例:「明日の会議資料を部長に送ってください」
形態素解析 文を意味を持つ最小の単位(形態素)に区切り、品詞を付ける 明日/の/会議/資料/を/部長/に/送っ/て/ください
構文解析 単語どうしの係り受け(どの語がどの語にかかるか)を調べる 「会議資料を」「部長に」が「送って」にかかる
意味解析 単語や文の意味を決める 「送る」は物の郵送ではなく、資料を渡す・共有する意味
文脈解析 前後の文や状況を踏まえて解釈する 「明日の会議」がどの会議を指すかを、前のやり取りから特定する

日本語ならではの難しさ

日本語の自然言語処理では、英語にはない難しさがあります。

特徴 内容 業務で起きること
単語の区切りがない 英語のように単語の間に空白がないため、区切り方から判断が必要 「東京都庁」を「東京/都庁」と「東京都/庁」のどちらで区切るか
表記のゆれが多い ひらがな・カタカナ・漢字、全角・半角、送り仮名の違い 「問い合わせ」「問合せ」「問合わせ」が別の言葉として扱われ、検索から漏れる
主語や目的語が省略される 文脈から分かる語を書かないことが多い 「確認しました」が、誰が何を確認したのかを前後から読み取る必要がある
敬語・婉曲表現 丁寧な言い回しや、遠回しな断りが多い 「検討いたします」が前向きな返事か、やんわりした断りかの判断

形態素解析は、日本語の文章を扱うための基本の処理です。MeCab などの形態素解析のツールが広く使われ、社内文書のキーワード検索やテキストの集計の土台になってきました。

言葉を数値で表す(ベクトル化)

コンピュータは、言葉をそのままでは計算できません。そこで、単語や文章を数値の並び(ベクトル)に置き換えて扱います。現在の方法では、意味の近い言葉ほど近い数値になるように、大量の文章から置き換え方を学ばせます。

例えば、「請求書」と「インボイス」は文字が違っても、近い数値として表されます。この仕組みを使うと、キーワードが一致しなくても意味の近い文書を探せます。社内文書の検索で「経費の締め日」と質問して、「精算の提出期限」と書かれた規程を見つけられるのは、この仕組みのおかげです。後で紹介する社内文書の検索と回答(RAG)でも、この考え方が使われています。

従来の自然言語処理とLLM以降の違い

大きな転換点になったのが、2017年に発表された Transformer という仕組みです。Transformer は、機械翻訳の研究の中で提案され、文章の中の離れた言葉どうしの関係もまとめて捉えられるようにしました(出典:Vaswani ほか「Attention Is All You Need」(arXiv))。この仕組みを土台に、大量の文章を学習した大規模言語モデル(LLM) が作られ、対話型AIとして広く使われるようになりました。

観点 従来の自然言語処理 LLM以降
作り方 作業ごとに、辞書・ルール・専用のモデルを用意する 1つの大きなモデルに、言葉で指示する
必要なもの 作業ごとの学習データ、辞書のメンテナンス 指示文(プロンプト)と、必要に応じて参考資料や例
得意なこと 決まった項目の抽出、キーワード検索、件数の集計 文脈を踏まえた要約、文章の作成、言い回しの違う文の分類、対話
結果の安定性 同じ入力なら同じ結果 同じ入力でも結果が少し変わることがある
主な課題 想定外の言い回しに弱い。辞書の更新に手間がかかる 事実と違う内容を作ることがある(ハルシネーション)。処理の費用

従来の方法では、「問い合わせの分類」「要約」「翻訳」がそれぞれ別の技術でした。LLM以降は、1つのモデルに「この問い合わせを分類して」「要約して」「英語にして」と頼めば、ほとんどの作業をこなせます。専門家でなくても、言葉で指示するだけで自然言語処理を使えるようになったことが、最も大きな変化です。LLMの仕組みは LLM(大規模言語モデル)とは で解説しています。

ビジネスでの活用例

業務 AIに任せる部分 人が判断・確認する部分
問い合わせの分類・一次回答 問い合わせの内容を読み、種類・緊急度・担当部署を判定する。回答を下書きする 判定の誤りの修正、契約・金額にかかわる回答の確認と送信
文書の要約 長い報告書・契約書・調査資料の要点をまとめる 要約の抜けや誤りの確認、判断に使う部分の原文確認
議事録の作成 文字起こしを整え、決定事項・宿題・期限を抜き出す 決定事項の正確さの確認、参加者への共有
翻訳 海外取引先とのメールや仕様書を翻訳する 契約条件・数値・固有名詞の確認
社内文書の検索と回答 規程・マニュアルから関連する箇所を探し、根拠を示して回答する 回答の根拠の確認、規程の更新
顧客の声の分析 アンケートやレビューの自由記述を、テーマや評価で分類・集計する 分類の基準づくり、施策の判断
書類からの情報の抜き出し 請求書・注文書・契約書から、日付・金額・品名などの項目を取り出す 抜き出した値と原本の照合、例外の判断

議事録

会議の録音を文字にし(音声認識)、その文章から決定事項と次のアクションを整理する(自然言語処理)流れが定着しつつあります。Microsoft Teams の会議での使い方は Teams 会議の Copilot プロンプト例18本 で紹介しています。

社内文書の検索と回答

LLMに社内規程やマニュアルを参照させて答えさせる方法を、RAG(検索拡張生成) と呼びます。関連する文書を先に検索し、その内容に基づいて回答させることで、社内の決まりに沿った回答にしやすくなります。仕組みは RAGとは、具体的な作り方は 社内規程・マニュアルを読み込ませて回答させるAIの作り方 で解説しています。

問い合わせの分類と自動化

言い回しが揃っていない問い合わせでも、LLMなら内容を読んで分類できます。さらに、分類の後に担当者への連絡や管理表への記録まで進める場合は、LLMに道具の操作を組み合わせた AIエージェント を使います(AIエージェントとは)。

導入するときの注意点

  • 事実と違う回答への備え:LLMは、もっともらしい誤りを作ることがあります(ハルシネーション)。根拠となる文書を示させる、数値や固有名詞は原本で確かめる、といった確認の手順を業務に組み込みます(AIのハルシネーションとは)。
  • 入力してよい情報のルール:顧客情報や機密情報を入力してよいか、どのサービスなら使ってよいかを、先に決めておきます(生成AI利用ガイドラインの作り方)。
  • 社内用語・業界用語:社内の略語や製品の型番は、AIが知らないことがあります。用語集を参考資料として渡すと、精度が上がります。
  • 評価の仕方を決める:導入前に、正解の例(過去の問い合わせと正しい分類、模範的な要約など)を用意しておくと、精度を客観的に確かめられます。
  • 従来の方法との使い分け:決まった表記の検索や件数の集計は、従来の方法のほうが速く確実です。すべてをLLMに置き換える必要はありません。

進め方

手順 やること
1. 対象業務を選ぶ 文章を読む・書く・探す時間が多い業務を洗い出し、件数が多く繰り返す業務から選ぶ
2. 任せる範囲を決める AIが下書き・分類・抜き出しを行い、人が確認して確定する部分を決める
3. 参考資料を整える 規程・マニュアル・過去の回答・用語集など、AIに渡す資料を揃える
4. 小さく試して測る 正解の例と比べて精度を確かめ、作業時間がどれだけ減ったかを測る
5. 手順書にして広げる 指示文と確認の手順をまとめ、ほかの担当者や部署に広げる

当社の支援

言葉を扱う業務は、どの会社にも多くあります。だからこそ、自然言語処理はAI活用の最初のテーマになりやすい分野です。当社は、AIを前提に業務・組織・意思決定の仕組みを作り替えること(AX:AIトランスフォーメーション)を、研修だけで終わらせず定着まで支援しています(AX(AIトランスフォーメーション)とは)。

サービス こんなときに
社内規程・マニュアルQAの導入支援 社内規程やマニュアルに基づいて回答するAIを、自社の文書で作りたい
AIエージェント研修 問い合わせ対応や議事録の整理など、文章を扱う業務をAIエージェントに任せる設計と実装を学びたい
階層別・テーマ別研修 一般従業員が、要約・翻訳・文書作成での生成AIの使い方と確かめ方を身につけたい

AIの最新の動きは無料のメールマガジン 週刊AXニュース で毎週お届けしています。自社のどの業務から始めるかを整理したい場合は、無料相談 からお問い合わせください。

よくある質問

自然言語処理とLLM(大規模言語モデル)は何が違いますか?
自然言語処理は、言葉をコンピュータで扱う技術や研究分野の全体を指す言葉です。LLMは、その中で現在の中心になっている技術の1つで、大量の文章を学習した大規模なモデルを指します。形態素解析やキーワード検索のような従来の技術も、LLMも、どちらも自然言語処理に含まれます。
LLMが登場した今、従来型のテキスト分析ツールはもう不要ですか?
不要とは限りません。大量の文書から決まった項目を数える、決まった表記で検索する、といった処理は、従来の方法のほうが速く、費用も安く、結果も毎回同じになります。LLMは、文脈を読んだ要約や、言い回しが揃っていない文章の分類などに向いています。処理の内容に合わせて組み合わせるのが現実的です。
音声の文字起こしも自然言語処理に含まれますか?
音声を文字にする部分は「音声認識」と呼ばれ、厳密には自然言語処理とは別の分野として扱われることが多いです。ただし、議事録の作成のように、音声認識で文字にした後、その文章を整え、要約し、決定事項を抜き出す部分は自然言語処理です。実際のサービスでは、両方が組み合わさって提供されています。