はじめに

パートナーブログをお読みいただいている皆様、初めまして。ネットワンパートナーズ株式会社（以下、当社またはNOPという）の若手SEが、日々の技術業務の中でどのように過ごしているかの一端を、1年目メンバーである筆者からお伝えしたいと思います。

本稿「Challenge Blog」 第6弾では、以前このカテゴリーでご紹介したネットワングループ主催「データ分析コンペ」について、エントリーチームの一員だった筆者から、具体的なデータ分析の進め方、また苦労した点について、ご紹介いたします。

「自責トラブル・ゼロ」のための仮説

「データ分析コンペ」の概要については、「Challenge Blog」 の第4弾で紹介していますので、ぜひそちらをご一読ください。

コンペのお題は「役務品質を上げ、『自責トラブルをゼロにする』にはどうすればよいか」です。私たちは、組織と事象には一定の関係があると考え、「同じチームから同じ事象が発生しているのではないか」という仮説を立てました。つまり、同じ組織で同じ事象が繰り返されているということです。 そして、このような（悲しい）現状は、トラブルナレッジとして蓄積していく組織活動によって、事象発生の削減と抑止に繋がると考えました。

私たちは、新卒OJTの「ヒューマンエラー基礎」の講座で、過去のエラーから根本原因を知識化し、未来のエラーへの危険予測を行うKY活動について学びました。これは、先人の研究成果ですが、同じことが先入観の無いデータ分析からも導けるのだろうかという点にとても興味を持っていました。

仮説を検証するために

私たちのチームでは、仮説の検証をより正しく行うために、次の手法を採用しました。
•全ての部署・チームが含まれたデータを、同じ部署・チーム毎に分類する
•データを用いて、「人間による分析」と 「AIによる分析」の結果を比較・照合する

ここで、人間による分析とAIによる分析の違いは、主に分析モデルが、前者がホワイトボックスであるのに対して、後者はブラックボックスであることです。AIによる分析を必ず正とする「いまどきの」誤りに陥るのを避けるために、両者の分析結果を比較・照合することで、分析結果の信頼性を高めることが必要だと考えました。それぞれの分析の概要は、次の通りです。

人間による分析：

1．コーディングルールの作成
文中の文字列をカテゴリーに分類するためのコーディングルールを作成する。
例として、設計フェーズの認識や確認不足に関するコーディングルールの例は以下の通り：
(設計|'設計フェーズ'|範囲|要件|条件|状況|仕様|構成)&(確認|把握|整理|連携|精査|認識|'誤'|'怠'|'せず'|'ていな'|'漏れ'|不足|'不十分'|事前|忘れ|ミス|'疎か'|失念|相違|'違'|'無'|'なし'|'反映不足'|'変更漏れ')etc.

2.発生事象の分類
発生事象を設定や接続時のミス、コミュニケーションの問題などのカテゴリーに分類し、特に高い割合を占める発生事象から共起ネットワークを作成する。

3.共起ネットワークの分析
作成した共起ネットワークの結果から、どういった傾向が見られるか、同じような事象が発生していないかを分析する。

図 共起ネットワークの例

AIによる分析：
​
ネットワングループ内の生成AIである「NELMO」を用いて、チーム毎の発生事象を分析する。

1.データの読み込み
チーム毎の発生事象をまとめたファイルを「NELMO」に読み込ませる。

2.指示と分析実行
そのデータに対して、「再発している事象を分析し、カテゴリー別に分類してください」という指示を出し、分析を行わせる。

分析で特に難しかったところ①　～人間による分析～

人間による分析で特に難しかった点は、分析を行うためのカテゴリー分類でした。カテゴリーに分類するためには、例えば「文中に”設定”+”ミス”という文字列があるときには、”設定ミス“のカテゴリーへ分類する」というコーディングルールの作成が必要になります。そこで、まずは前回の入賞者が作成したコーディングルールを使用してみました。

このコーディングルールには「想定外の事象」というカテゴリーがあるのですが、このカテゴリーに該当するものは、そもそも問題自体が想定外で発生するので、今回の分析には適さないと判断し削除しました。すると、全ての事象のうち約80％がどのカテゴリーにも属さない「非該当」となり、それこそ想定外の結果になりました。この状況では、コーディングルールを全体から作り直さなければならないのですが、客観的な視点でカテゴリーとそれに属する用語を考えることは非常に難しく、なかなか思うような結果が得られませんでした。

そこで、コーディングルールの作成にAIを利用して、私たちが見落としている点の追加と、客観的な視点での見直しを試みました。具体的には、最初にNELMOに全ての発生事象を学習させ、次に頻出する用語を出力させて、前のコーディングルールに用語と新たなカテゴリーを追加しました。その結果、「非該当」の事象を80％から30％まで低下させることができ、他のカテゴリーの該当割合を高めることができたので、求めるコーディングルールを作成できたと考えています。

分析で特に難しかったところ②　～AIによる分析～

AIによる分析の中で特に難しかったところは、AIに指示するためのプロンプトの作成でした。筆者は、普段AIを利用していないため、「データがあるので、共通した事象をまとめてください！」と指示すれば、期待している結果が得られるだろうと思っていました。

しかし、このプロンプトで出力された結果は、ただ「設定ミス、コミュニケーション不足が見られる」というものでした。これはAIに対する「聞き方」にノウハウが必要なのだと考え、先輩に相談すると、「（人に相談するのと同じように）AIに目的と状況を説明して、具体的に何をやってほしいのかを指示してはどうか」というアドバイスをいただきました。そこでプロンプトを、「筆者自身がネットワークエンジニアであり、同様の発生事象を探しているところ、事象から具体的に抽出して出力してください」と指示してみました。

すると、以前と比べて、実際に頻出している設定ミスの具体例を交えて出力してくれました。このことは、AIにおけるプロンプトとその挙動・効果の関係を体験する良い機会になりました。また、それを導いてくれた先輩にも感謝しています。

分析の結果と所感から

ここで、今回の人とAIの二つの分析手法の結果とその比較・照合について触れておきます。人間による分析では、発生事象が特に高い割合を占めるカテゴリーは「設定ミス」でした。この事象の原因となっている技術的分野は、AIにおける分析でも再発していると判断され、両者の分析結果に一致が見られました。よって、この結果は、妥当であると判断できますし、トラブルの事象を蓄積したデータからAIによって根本原因を導き出し、ナレッジ化によって発生を削減・抑止するKY活動のデジタル版であることが確認できました。

こう書くと「めでたし・めでたし」感が一杯なのですが、データ分析コンペの活動の約3か月間は、「仮定と違う結果がでたらどうしよう…」とずっと不安を感じながら進める毎日でした。それだけに、期待通りの良い結果が得られたときにはとても安堵しました。
また、このアプローチは、私たちの主な業務である技術QA対応における問い合わせの頻度と傾向を分析することで、勉強会やFAQ記事の最も期待されている内容の類推に活用できるではないかと考えています。

この活動を通じて特に学びになったのは、プロジェクトの一員として活動の進め方を学べたことでした。筆者にとって、昨年（2024年）の入社以降、1つのプロジェクトとしては最も長い期間に及ぶ活動でした。プロジェクトの開始当初、成果物の提出が約3か月先であり、この先の進め方がまったく見通せませんでした。そのような状況でもプロジェクトマネージャーたる先輩は、提出日から逆算し、工程を分解してクリティカルパスを設定し、全体の線表をどんどん描いていったのが印象的でした。また活動人数も重要です。今回のチームは、4年目の先輩と同期2人の計3人の小規模であったからこそ、プロジェクトの全体と部分を同時に知り得る活動になったのだと思います。

おわりに

今回のデータ分析コンペは、2025年2月26日に応募結果が発表され、私たちのチームが見事最優秀賞に輝きました。データ分析に深く触れたことがない筆者ともう一人の新卒メンバーでも、分析ツールやAIを適切に用いることで、評価に値する結果が得られるものだと自信を得ました。また、新たな領域・分野に自ら進んで触れて挑戦することで、活動の幅と可能性を広げられることを実感しました。

今後はデータ分析に関連した活動を継続しつつ、新たな分野にも挑戦していく所存です。

今回も最後までお読みいただき、誠にありがとうございました。私たちの記事が皆さまのお役に立てれば幸いです。