Notionエージェントでお問い合わせ分析をしてみた話

はじめに

運用保守部でマネージャーしています、とっしーです。
hacomonoサービスへの問い合わせはお客さまが増えることと比例して増加傾向にあります。このお問い合わせは一旦サポート部で受け取り回答していますが、回答が難しいものに関しては運用保守部にエスカレーションされてきます。
運用保守部はお問い合わせに対してエンジニアの知識を活かして調査・回答を行う部署でして、開発メンバーが機能改善や新規開発に集中できるようする「壁」の役割を担っています。

直近ですと月当たり150-180件のお問い合わせに対応してますが、以前は220件超えが当たり前のようになっていて、目の前の調査に向き合っていく日々が延々と続いている状態でした。
サポート部の体制強化や運用保守部が精度の高い調査を証跡として残すことで過去のお問い合わせを見るとある程度打ち返せるようになってきたことが結果としてエスカレーションされるお問い合わせが減ってきていることに繋がっているのだと思っています。

実は今、新しい課題にぶつかっています。
それは運用保守部にエスカレーションされてくるお問い合わせ難易度が上がってきているのです。
件数が減ってきても1件あたりの調査時間が長くなってくることが容易に想像つき、限られたリソースのためいつかは壁の崩壊に繋がりかねません（進撃の巨人みたい）。
ではどうするかと言うと、やはりお客さまからのお問い合わせ自体を減らしていくことでエスカレーションされる数自体を更に減らしていくことが課題解決のための手段の1つとなります。

どんな機能に対して
どんな課題があるのか

の分析を行い、運用保守部でもできる改善・改修を行う…これをやっていきたいのです。
本記事ではNotionエージェントを活用したお問い合わせ分析の実践例と、業務での活用可能性について紹介します。

Notionエージェントとは

Notionエージェントは2025年9月にリリースされたAIアシスタントです。
特定の役割や目的に特化したエージェントを作成できたり、パーソナライズできたりもします。
hacomonoではNotionをドキュメント管理ツールとして採用していて、もちろん運用保守部でもエスカレーションされたお問い合わせをチケットとしてNotionデータベースで管理しています。

世の中ChatGPTやGrokもあるし、開発者ならClaude CodeやCursorの方が馴染み深いのかもしれませんがドキュメントがNotionで管理されている以上、一番近いAIアシスタントはNotionエージェントになります。
ChatGPTでも「メモリ機能」がありますが、Notionエージェントにも「思い出」というのがあり、使っていくうちに学習していって精度を高めることができます。

Notionエージェントの主な特徴

特徴	説明
ワークスペース内の情報を直接活用	Notion内のドキュメントやデータベースを直接理解・活用
複雑なタスクを自律実行	複数ステップの作業を最大20分以上自動で実行可能
外部ツール連携	Slack、Google Drive、GitHubなどと連携し、情報を横断的に活用
スタイル学習	使うほどユーザー固有のフォーマットや言葉遣いを学習し最適化
プライバシー・セキュリティ	顧客データはAIモデルの学習に使用されず、機密情報も安心

業務で使えるかを楽しみにながら、分析用の「エスカレチケット分析エージェント」を作ってみました。

エージェントの作成プロセス

基本設定の理解

新しいエージェントを作る時には以下の項目を設定する必要があります：

エージェントのアイデンティティ - 役割や目的を定義
チャットでのやり取り - 対話スタイルやルールを設定
思い出 - エージェントとやりとりしていく中で自動的に蓄積される学習データ

はじめの一歩として、デフォルトの「アナリスト」エージェントでどんな分析をするのかを確認しました。

このアウトプットから、頭の中の分析したい項目をある程度固めていきました。

エージェントの設計

エージェントの役割を定義するにあたり、以下の主要項目を設定しています。
書き方のベストプラクティスがあると思いますので、これが正解とかではなく、このくらいのことがあった方が良いだろうという思い込みから作っています。

▶️ 設定した主要項目

アイデンティティの説明
- 「あなたは運用保守部のお客さまお問い合わせ（以下、エスカレのこと指す)チケット分析のプロフェッショナルです。データに基づいて徹底的な分析に取り組んでください。事実ベースに基づくレポートを徹底し、事実を踏まえて課題の検出をしてください。」
キーワード定義
- 用語のマッピングをしてAIが迷わないようにする
分析対象のデータベース
- データソースURL、プロパティ説明（名称・型・説明）を明記
主要な分析軸
- 時系列分析、パフォーマンス分析、カテゴリ分析、品質分析、貢献度分析
アウトプット形式
- レポートのフォーマットを別ページで定義

▶️ チャットでのやり取りルール

エージェントとの対話ルールを定義しました。ここでは口調の定義と命令文の解釈について記載しています。

試行錯誤のプロセス

初回の結果：期待値とのギャップ

エージェントを作成して実行してみた結果、まったく期待値からは遠かったです💦

グラフはNotionデータベースが必要となるため、コンテンツ内で2列ブロック表示ができない
チケットの内容から創出した課題の抽象度が高い
改善提案の内容も抽象度が高い
テンプレートにはない項目が勝手に追加されている
見た目のバランスが悪く、レポート全体が間延びしている

エージェントとの壁打ちで精度向上

レポート上段の項目から1つずつ期待値のすり合わせを行いました。
この工程が一番時間が掛かっています。「エージェントのアイデンティティ」を初めから盛りすぎずに小出しにしていった方が良かったという学びにつながりました。

具体的な改善内容

改善項目	対応内容
グラフ化	コードブロック形式にすることで2列表示を実現。
課題の具体性	「お客さま目線（操作しにくい、わかりづらい、業務に支障をきたす）」を追加。 5つ→3つに絞って深く考察。
改善提案の具体性	「FAQ・ナレッジベースの充実」と「対象機能についての提案」の観点を追加。お客さまの自己解決や高効果な改善を提案するよう指示。
不要項目の削除	「その項目はいらないよ」の繰り返しで整理。
レイアウトの改善	必要な項目に絞り込み、2列表示でスペースを活用。提案系メッセージは分かりやすく簡潔にまとめるのを指示。

完成した分析レポート

4時間かかりましたが、1つ1つの項目に対しての精度を上げることで良い感じのレポートができました。
時間がかかったもうひとつの要因はデザインのこだわり部分もあります。
ハルシネーションの心配もありましたが、数値系はデータに基づいているため正確で、提案系は壁打ちによってある程度の精度を保てるようになっています。
このレベルなら分析レポートを業務でも活用できそうというところです。

今後の課題と学び

残された課題

精度の更なる向上 - 今がベストではなくベターとすると、より確度の高い考察となるための壁打ちの継続が適度に必要
定期実行ができない - 今時点だとエージェントへのお願いでは定期実行はできないため、レポート作成の自動化を第一弾とし、次のアクションとして定期実行の方法を模索していく
チーム展開の準備 - パーソナルスペースのエージェントのため、チーム展開する場合はアイデンティティを外出しする必要がある
信頼性の検証 - できたレポートをそのまま周知したいが、内容を信じるにはもう少し作成を重ねて判断したい

得られた学び

Notionエージェントを含むAIツールを使う場合、「期待値通りに限りなく近い」「100点満点」にしようとするとその分時間がかかるので、割り切りも必要な気がしました。
やりたいことは「お問い合わせを分析」だったので、どこに時間を掛けて精度を高めていくか、例えば体裁を整えるこだわりは程よくにすることができれば作業時間を1/3は短くできたと思います。
とはいえ、久しぶりの実装（ノーコードですが）とすると良い経験を積めましたし、エージェントが助手になりうる可能性は大いに見せてくれました。