ネットワーク業務とChatGPT~NOPヘルプデスク業務での検証~
今年5月にヘルプデスクチームがQA業務でChatGPT(無償版）がどこまで使えるか、という検証を行ったのでその内容とネットワーク業務で使用できそうなシーンを紹介します。
また、5月の検証結果と8月時点では、同じ質問をしても回答が異なっているため、どのように変化したのかについても紹介します。
目次[非表示]
- 1.■機種選定
- 2.■仕様確認
- 3. ■メーカドキュメントの提示
- 4.■機器設定
- 5.■操作手順
- 6.■トラブル原因の推測
- 7.■製品比較
- 8.■ネットワークの勉強
- 9. ■総合評価
- 10.■ネットワーク業務とChatGPT~まとめ~
■機種選定
特定の要件に対して機種選定をChatGPTに依頼した場合、以下2点の問題点がありました。
1.オーバスペックの機種が回答される
L2Switchの選定に対してL3Switchが回答されるなど、要件は満たしているが少々オーバスペックな回答
2.要件は満たしているが、1～2世代古い機種を回答する
ChatGPTの学習データは2021年秋までのものなので、直近のモデルチェンジに対応できておらず、そのまま流用できない回答
ただし、多少細かい要件を提示すれば、学習データ内で適切なものが選択できることは確認できています。
■仕様確認
2021年秋時点でサポートされている機能に対して仕様確認できるかを検証しました。
EtherChannelの最大ポート数問合せ（5月時点）
EtherChannelには複数の動作モードがあり、PagPやスタティック設定であれば、最大8Portという回答は間違いではありません。ただし、LACPの場合、最大16port(Active8port,Standby8port)でChannelが構成可能です。そのため、回答としては、正確性に欠けます。
また、問合せは「EtherchannelのInterfaceを最大何ポート作成可能なのか」「物理Interfaceを最大何ポート使ってEtherChannelは構成可能か」とどちらにもとらえられることができます。
人間であれば、どちらの意図の質問か確認を行えますが、ChatGPTの場合は曖昧な質問に対して確認することなくChatGPTがとらえた内容で回答します。
次に8月時点の回答を見てみましょう。
EtherChannelの最大ポート数問合せ（８月時点）
一般的にという言い方がついているため、回答としてはセーフな言い回しになっています。考え方のポイントは押さえていますが、もう少し具体的な回答が欲しいところです。
■メーカドキュメントの提示
Webで公開されているメーカドキュメントは、ベンダーごとに整合性は取られておらず、知りたい情報に対して、どのドキュメントを確認すればいいのか判断ができず困ることがよくあります。
知りたい情報を入手するためにどのドキュメントを確認すればいいのか、ChatGPTで解決可能か確認しました。
現状、ChatGPTは回答作成時にインターネットに接続しません。また、既存の学習情報でどこまでデータベースを生成できているのか、またそのデータベースの正確性などはブラックボックスです。
まずは、シンプルにメーカドキュメントのURLを提示可能なのかどうかを確認するために、特定製品のデータシートのURLをChatGPTに問い合わせました。
データシートURLの問合せ（5月）
結果としてURLは提示されたものの、リンク先のページは存在せずアクセスできない状況となりました。しかし、8月時点での回答は以下のように変化しています。
データシートURL問合せ（8月時点）
URLの表示はせず、ChatGPT自身に情報がないので、どう検索すべきかが表示されています。現在はすべてのURL問合せに対する返答は、このような内容となっています。（有償版ではURL表示機能あり）
インターネットに接続しているBingなどを使用すれば、URL問合せは可能です。
参考）BingでのデータシートURL問合せ
同じLLM（GPT)を使っているので、環境が整えばURL問合せには使えそうです。
■機器設定
以前のブログでも記載しましたが、一般的なコンフィグは問題なく作成できます。しかし、少々入力モードや入力順に注意が必要なコンフィグ（例：EtherChannelのTrunk設定など）は正しい回答ではありませんでした。
■操作手順
アップグレード手順について問い合わせてみます。
C9300アップグレート手順回答（5月）
8月時点の回答もあまり変わりはありませんでした。CatalystにはInstallモードとBundleモードという2種類の動作モードがあり利用しているモードによってアップグレード手順が異なるので、もう少し親切な回答をして欲しいところです。
■トラブル原因の推測
トラブルの原因を問い合わせてみます。
模範的回答かと思います。ただし、実際の環境のトラブルを考えてもらうには環境情報の入力が必要になります。ネットワークは複雑化しており、必要情報をすべて入力するのであれば、自分で考える方が早いという状況です。（外部データを取り込むような自社ChatGPTを開発すれば、入力情報を省くことは可能です）
■製品比較
商品比較の文章作成を依頼してみます。
多分、製品ページの要約から作成されているので、同じ目線での比較ができていません。
例えば、Cisco Talosと同等のチームとしてPaloaltoでは Unit42 がありますが、その記載はありません。ただ、製品特徴を表すキーワードは出てきているので、文章作りのヒントとしては使えそうです。
■ネットワークの勉強
ネットワークの基本知識の内容であれば特に問題ないかと思います。ただし、基本的に計算は苦手としているので、IPアドレスの計算も100％正解というわけではありません。（前回のブログを参照）
■総合評価
昨今AIから最適な答えを引き出すために、メッセージやコマンドなどを使用して指示を出すプロンプトエンジニアという職種が登場していますが、今回の検証を通してChatGPTを利用する人間にもある程度のスキルが必要という事が分かりました。
ChatGPTに技術的な質問を投げた結果、よく言われている「誤った情報を正解のように答えてくる」挙動もあり、専門性を必要とする質問に対して現時点では「スキルのない人間がChatGPTを利用することでベテラン社員と同じパフォーマンスが出せる夢のTool」ではなく、「自身で回答の整合性を確認することができるスキルを持つ人間が業務効率化のために参考程度に利用するTool」である結論となりました。
上記は現時点での話であり、生成AIは日進月歩で進化しつづけています。社内用アプリケーションを開発し、学習データの追加やプロンプトエンジニアの技術を磨くことで、人間が望む回答が出るようにすることが可能な能力を持っていると思います。
製品での利用例を少し紹介すると、Juniper NetworksのMist(AccessPoint)では、運用管理AI「Marvis」に対して、ChatGPTの機能を追加しています。（参考https://www.juniper.net/jp/ja/company/press-releases/2023/pr-2023-06-05-00-00.html） このことにより、ユーザからの自然言語での問い合わせに対して、技術文書やその他の一般公開されている過去の知識ベースの情報から応答ができるようになっています。
他のベンダも様々な製品にAIを搭載することを発表しており、この技術の進化はまだまだ止まらないという状況です。
現時点では これまで紹介したように正確性に欠ける欠点もありますが、欠点があるので利用しないのではなく、新技術に対する利点と欠点を把握し正しく活用することで、先端技術の成長に我々も貢献できればと考えています。
■ネットワーク業務とChatGPT~まとめ~
CHatGPTを使いこなすには、素のChatGPTの機能や性質がどのようなものであり、どうカスタマイズすればよいかを見極める必要があります。
いずれ、多くのシーンで何等かの生成AIが使用されることになると思います。そうなると、エンジニアに求められる能力にも変化が出てくると思っています。
こういった変化を見据えながら、今後どうビジネスを展開すべきなのか、パートナー様におすすめするべきものは何なのか、ということを提案していきたいと考えています！
ChatGPTだけではなく、新しい技術を使って何か新しいサービスを作っていきたいと思っているパートナー様がいれば、気軽に声をかけて下さい！！
具体的に思いつかないけど、何か仕掛けたい、と思っているのであれば、一緒に考えるお手伝いをさせていただければと思います。
■関連記事はこちら
