みなさんこんにちは！

ネットワンパートナーズ セールスエンジニアリング部の森居です。

前回のVDIの記事に続いて、VDIでNSXを使ったマイクロセグメンテーションの記事を書こうと思っていましたが、最悪の場合リロードしてしまう可能性がある Cisco UCS の うるう秒問題と回避策について書いてみようと思います。 今回のブログでは、短期的な回避策と設定方法、恒久的な対策であるVersionUp方法、それぞれの影響度についてご紹介いたします。今回は具体的な操作手順が含まれるため、画像多めです。

今回の記事は、2015年4月7日現在の情報を元に書いています。今後、Cisco社が発表する情報により、内容を修正する場合がありますので予めご了承ください。また、最新の情報はCisco社の発表をご確認ください。

そもそも今回のうるう秒とは、日本標準時(JST) 2015年7月1日(水) 午前8時59分59秒と午前9時00分00秒の間に「午前8時59分60秒」が挿入され、この「60秒」が正しく認識されず通信機器などに影響を与える可能性があります。 そして、弊社で多く販売をさせていただいている Cisco UCS Fabric Interconnect も、NTPの設定がされていて、かつ特定のFirmwareを使用しているとリロードしてしまう可能性があります。

※「うるう秒」については、NICT(独立行政法人 情報通信研究機構)のページなどにも記載があります。
http://jjy.nict.go.jp/news/leap-info2015.html

さて、今回対象になってしまった機器と Version は下記のとおりです。  

影響

うるう秒発生時またはそれ以前(うるう秒が挿入される24時間程度前から)に、UCS Fabric Interconnect が再起動する場合がある。 primary,subordinate いずれの Fabric Interconnect でも発生する可能性があります。

対象機器

Cisco UCS Fabric Interconnect 6120XP
Cisco UCS Fabric Interconnect 6140XP
Cisco UCS Fabric Interconnect 6248UP
Cisco UCS Fabric Interconnect 6296UP

対象Version

Fabric Interconnect の Kernel/System Version が下記である場合。
2.2(3d)
2.2(3c)
2.2(3b)
2.2(3a)
2.2(2e)
2.2(2d)
2.2(2c)
2.2(1g)
2.2(1f)
2.2(1e)
2.2(1d)
2.2(1c)
2.2(1b)
※本事象は2.2(3e)で修正されました。2.2(3e)以降にリリースされた、2.2(3f)も修正済みです。

対象にならない例

・Cisco UCS-C Series などで、FabricInterconnct 配下には存在しないStandalone構成の場合
・UCS mini の場合
・UCS のFirmware Version が 2.1以前の場合
・NTP の設定がされていない場合  

回避策

1. NTPの設定を消して、うるう秒が過ぎたらまた再設定する
2. 修正済みVersionにUpdateする

今回はこの2つについて、考えられる影響と手順をご紹介します。  

1. NTPの設定を消して、うるう秒が過ぎたらまた再設定する

NTPでうるう秒を配信することが問題なので、この回避策はNTP設定を削除してしまい、うるう秒の影響をなくすものです。 ただし、NTPではうるう秒が挿入される瞬間だけではなく、うるう秒が挿入される24時間前から、Leap Inidicator (LI) がセットされるため、これより前にNTP設定を削除する必要があります。
具体的に言いますと、少なくとも25時間前の日本標準時(JST) 2015年6月30日(火) 午前7時59分59秒 までには設定を削除いただくことが Cisco 社の推奨です。

影響

NTP設定を削除すると、UCS Manager、Fabric Interconnect で記録されるログの時刻が正確ではなくなる可能性があります。少なくともうるう秒である「午前8時59分60秒」の存在を知らないので、1秒以上ズレます。 設定変更時にFabric Interconnect、ブレードサーバーなどの再起動は発生しません。ブレードのOSやその上の仮想マシンなどに通信影響は発生しません。  

設定方法

※弊社で所有する UCS Fabric Interconnect 6248UP に 2.2(1c) の Firmware を入れた状態での設定手順です。画像をクリックすると大きく表示されます。

1. UCS Manager から "Admin" タブから "Time Zone Management" を開きます。

2. 設定済みの NTP Server のアドレスを控え、削除ボタンを押します。確認メッセージは"はい(Y)"をクリックします。複数の NTP Server が設定されている場合は、同様にすべて削除します。

3. 全ての NTP Server のアイコンに × が表示されていることを確認し、"Save Changes" をクリックします。成功した旨を示すメッセージの "OK" をクリックします。

4. 全ての NTP Server が削除されていることを確認します。

うるう秒の後に設定を追加する場合には、右側の + ボタンを押して、NTP Server を追加します。

参考までに、Fabric Interconnect に SSH でログインして NTP の設定状況を見てみると、下記のようになります。

ログイン後、"connect nxos" と入力して、NX-OS の CLI モードに入り、NTP の設定削除前後で "show ntp peer-status" を確認すると、設定削除後は CLI で見ても NTP Server が消えていることが確認できます。

NTP Server の削除方法は以上です。2015年6月30日 午前7:59:59 までに設定を削除して、2015年7月1日 午前9時以降に NTP Server の再設定をすれば、暫定対策は完了です。    

2. 修正済みVersionにUpdateする

つぎに、恒久対策ですが、Fabric Interconnect, UCS Manager, Blade の Firmware をあげることです。

こちらは NTP Server の削除と違い、Fabric Interconnect の Version Up 時に再起動が伴うため通信が数回瞬断したり、ブレードのVersion Up時は再起動が必要ですので、影響については十分ご検討ください。今回は Auto Install を使用してみます。

※弊社で所有する UCS Fabric Interconnect 6248UP に 2.2(1c) の Firmware が適用された状態から、2.2(3e) に Version Upする際の手順です。画像をクリックすると大きく表示されます。  

手順概要

1.Cisco のサイトから Firmware を ダウンロードします。

2. Firmware を Fabric Interconnect(FI) に Upload します。

3. Auto Install (Infrastructure) を実行します。UCS Manager, Fabric Interconnect (subordinate) までは自動的に Version Up されます。

4. Fabric Interconnect (primary) の再起動前に確認を求められます。ユーザーの承認後に再起動し、UCS Manager と Fabric Interconnect の Version Up が完了します。

5. 各ブレードの Maintenance Policy が "User Ack"になっていることを確認します。

6. Auto Install (Server) を実行します。確認を求められるので、対象のブレードから仮想マシンを vMotion して、順次ブレードの Version Up を実行します。  

影響度

手順3では、subordinate 側のFIを通る通信は、再起動前後で1回ずつ瞬断します。

手順4では、primary 側のFIを通る通信は、再起動前後で1回ずつ瞬断します。

手順6では、ブレードの Version Up は再起動を伴います。

仮想化環境などでは vMotion などで仮想マシンを退避させながらUCSのVersionUpを行う事で、影響を最小限にすることができます。

VersionUpする際には、ReleaseNotesをご覧いただき、現Versionと新Versionの差分をご確認いただくことと、検証環境などでの確認を推奨しております。  

所要時間

手順2はInfrastructureとB-Series,C-Series すべてアップロードして10分程度

手順3でprimary側FIの確認を求められるまで約30分

手順4で約15分

手順5以降は1ブレードあたり約20分ですが、本番環境では vMotion などにかかる時間を考慮いただく必要があります。同時に複数ブレード実行しても時間は変わりません。  

Version Up 手順

1. UCS Firmware を Cisco Download Software Site からダウンロードします。

Product > Servers - Unified Computing > UCS B-Series Blade Server Software > Unified Computing System (UCS) Server Software Bundle の順に開き、今回は"All  Releases" から、2.2(3e) を選びます。

ファイルが複数ありますので簡単にご説明します。

ucs-k9-bundle-infra.2.2.3e.A.bin　→　UCS Manager, Fabric Interconnect, IOModule, fabric extender の Firmware セットです。

ucs-k9-bundle-b-series.2.2.3e.B.bin　→　UCS-B シリーズのブレード、ブレードに含まれるコンポーネントの Firmware セットです。

ucs-k9-bundle-c-series.2.2.3e.C.bin　→　UCS-C シリーズを Fabric Interconnect 配下に配置する場合に使用する、UCS-Cシリーズ用の Firmware セットです。
Standalone構成のUCS-Cシリーズには使えませんのでご注意ください。

UCS-Bだけの場合は、AとBを、FI配下にUCS-Cシリーズもある場合にはCも追加でダウンロードしてください。  

2. Firmware を FI に Upload します。 UCS Manager にログインし、
左の "Equipment" タブから右ペインの "Firmware Management" > "Download Tasks" > "Download Firmware" を開きます。

ファイルを選択する画面になりますので、"Browse" から Firmware を選択し、"OK" をクリックします。

数分して、Success になることを確認します。同様の手順を B,(C) で実施します。

  3. Auto Install (Infrastructure) を実行します。

"Firmware Auto Install" タブから、"Install Infrastructure Firmware" を開きます。

適用する Version を選び、"Force" と "Upgrade Now" にチェックを入れ、"OK" をクリックします。

"FSM"タブを開くと、現在の進行状況がわかります。UCS Manager が Activate されると、強制的にログアウトされるため、再ログインします。
ちなみに、2.2(3e) にするとログイン時に下記の様な画面で使用状況を Cisco にレポートしますか？ と聞かれます。今回は "No" を選びました。

 4. Fabric Interconnect (primary) の再起動前に確認を求められますので承認します。 ログイン後、再び "FSM" タブを開き、状況を確認します。少しすると、"Wait For User Ack" となり、Primary 側の Fabric Interconnect の再起動の承認待ち状態となります。 一番上の "Pending Activities" をクリックします。

"User Acknowledge Activities" から "Fabric Interconnects" を開き、"Reboot now" をクリックします。この後、確認メッセージが表示されますので "はい(Y)" をクリックします。

この後、Primary 側の FI が再起動するため、UCS Manager がログアウトされるため、再ログインします。

"FSM"タブを確認し、100%, Success となることと、"General" タブの IOM,UCS Manager, Fabric Interconnect が全て新しいバージョンになっている事を確認して、Infrastructure の Firmware Update は完了です。

  5. 各ブレードのMaintenance Policy が “User Ack”になっていることを確認します。

"Servers"タブ > 対象の Service Profile を選んで、右ペインの "Maintenance Policy" が "User Ack" となっている事を確認します。

    6. Auto Install (Server) を実行します。

"Equipment" タブ > "Equipment" > 右ペインの "Firmware Management" > "Firmware Auto Install" > "General" > "Install Server Firmware" を選びます。

  ウィザードが表示されるので、”Ignore All" と すぐ下のチェックボックスにチェックを入れ、"Next" をクリックします。

アップデートしたいFirmware のバージョンを選択し、"Next" をクリックします。今回は 2.2(3e) を選びます。

変更する Host Firmware Packages を選択し、"Next" をクリックます。
これは、各 Service Profile に、この Host Firmware Packages が選択されている必要があります。

※今回は "default" という Host Firmwa Packages が各サービスプロファイルに適用されている状態です。

もう一度 "Next" をクリックします。  
再起動が生じるものが一覧で表示されます。Reboot Policy が "User Ack" であることを確認して、"Install" します。
確認画面が表示されますので、"Confirm Install" をクリックします。

  "Pending Activities" をクリックします。

Reboot Policy が "User Ack" になっているブレードが表示されます。
仮想化環境などの場合には、リブートするブレードから仮想マシンを vMotion などで退避させ、1台ずつリブートして、システム全体を停止させずに Version Up することが可能です。

リブートさせるブレードの右側 "Reboot Now" にチェックを入れ、"Apply" をクリックします。確認画面は表示されずにリブートされますのでご注意ください。

  途中経過はブレードを選択して "FSM" タブで確認できます。

  全体の状態は "Installed Firmware" で確認できます。

以上で、Firmware の Version Up 手順のご紹介は終わりです。  

最後に..

UCS の Firmware をあげるのは簡単ですが、vMotionしながらあげたり、場合によっては UCS の Firmware に適合するドライバを ESXi などにインストールしていただく必要があります。

弊社からUCSをご購入、保守に加入いただいているお客様には、弊社テクニカルセンターの検証環境をお使いいただき、検証していただくこともできますし、日本で一番 Cisco UCS を販売しているネットワングループのノウハウをもとにVersion Up を代行（有償）することもできます。必要な場合には担当営業までご相談ください。  

関連リンク

Title: UCS-FI: reload or switchover may occur due to Leap second update (要Cisco.comID) https://tools.cisco.com/bugsearch/bug/CSCus83447/   Release Notes for Cisco UCS Software, Release 2.2 http://www.cisco.com/c/en/us/td/docs/unified_computing/ucs/release/notes/ucs_2_2_rn.html   Upgrading Cisco UCS from Release 2.1 to Release 2.2 www.cisco.com/c/en/us/td/docs/unified_computing/ucs/sw/upgrading/from2-1/to2-2/b_UpgradingCiscoUCSFrom2-1To2-2.html   Hardware and Software Interoperability Matrix Utility Tool http://www.cisco.com/web/techdoc/ucs/interoperability/matrix/matrix.html