この文書はVxRail 4.0.x -> 4.5.x/4.7.xへのUpgradeに関連する変更点や留意事項についてまとめています。
Dell EMCの公式文書や実際の事例をもとに記載しておりますが、正式な内容については公式文書を正とし、本文書は参考資料としてお使いください。
公式文書と差異がある場合はこちらのドキュメントを劣後としてください。
もっとも大きな差異はvSphere のVersionが変わることです。
VxRail 4.0.xの場合はvSphere 6.0系を使っています。
VxRail 4.5.xの場合はvSphere 6.5系です。
VxRail 4.7.xの場合はvSphere 6.7系になります
vSphereと連携するSolutionの互換性について事前の確認が必要になります。
Solutionの互換性以外では、vSphere 6.5/6.7へのUpgradeに伴い以下のような代表的な変更が発生します。
vSphere Web (Flash) Client Supportability and End of Life (78589)
その他のvSphere 6.5および6.7の新機能については以下のVMware Documentをご参照ください。
Upgrade前後のSolutionの互換性を確認するにあたり、まずは詳細なvSphere コンポーネントのVersionを知る必要があります。
Upgrade前(VxRail 4.0.x)のVersionについてはVxRail のVersionがわかれば確認できます。
もしくは、WebClientなどから各コンポーネントのVersionをご確認いただくこともできます。
VxRailのVersionがわかる場合はRelease Noteから詳細なvSphere コンポーネントのVersionを確認可能です。
・VxRail 4.0.x リリースノート(英語のみ)
https://support.emc.com/docu80740_VxRail-Appliance-Software-4.0.x-Release-Notes.pdf
※VxRailのVersionはVxRail Manager GUIより確認可能です。以下の図をご参考にしてください
Upgrade後のVersion(ターゲットVersion:VxRail 4.5.x/4.7.x)のvSphere コンポーネントの詳細についてはVxRail 4.5.x/4.7.xのリリースノートをご参照いただけます。
・VxRail 4.5.x / 4.7.xリリースノート(英語のみ)
https://support.emc.com/docu86659_VxRail-Appliance-Software-4.5.x-Release-Notes.pdf
https://support.emc.com/docu91467_VxRail_Appliance_Software_4.7.x_Release_Notes.pdf
お客様にてご使用中のvSphere と連携するVMware / 3rd Solutionがある場合、各Solutionのアップグレードが事前もしくは事後に必要になる可能性があります。
VxRail関連のバージョンにVMware Solutionが対応しているか否かは以下をご確認いただけます
https://partnerweb.vmware.com/comp_guide2/sim/interop_matrix.php
更新の順序については以下のVMware KBをご参照ください。
https://kb.vmware.com/kb/2148021
例:VDP 6.1.3以下をご利用の場合は4.5.xにUpgradeするまえにVDPを6.1.4以上にUpgradeする必要があります。
※VDPはvSphere 6.7(VxRail4.7.x)では非サポートになっています
NSX 6.2をご利用の場合は4.5.xにUpgradeするまえに6.3以上にUpgradeする必要があります。
※NSX for vSphere をご利用の場合はVxRail 4.0 → 4.5(4.7)のUpgradeに際し、NSX VIBの再インストールが発生します。詳細は以下のKBをご覧ください。(2019/08/07 update!)
(参考)Dell EMC KB#524819 および Dell EMCKB#530299
3rd Party Solutionにつきましては各ベンダに互換性をご確認ください。
VxRailに含まれるソフトウェアコンポーネントのすべてがUpgrade作業によってUpgradeされるわけではありません。
VxRailのUpgrade作業によってUpgradeされるコンポーネントは以下です。
※VxRail Upgradeファイル以外の更新(個別のVIBやパッチを適用)を実施することはサポート外になりますのでご注意ください。
・ESXi(追加のVIBも含む)
・VSAN
・VCSA/PSC(外部VCの場合は除外)
・Firmware (BIOS,iDRAC,HBAなど、Versionやモデルに依存します。)
・VxRail Manager VM
Upgradeされないものは以下です。
※UpgradeはVersion管理(互換性など)はお客様管理になります。
・VDP (お客様作業になります。参考手順:VxRail: vSphere Data Protection の Upgrade手順 (参考資料) Part 1 , VxRail: vSphere Data Protection の Upgrade手順 (参考資料) Part 2 )
・RP4VM (別途サポート窓口にお問い合わせください)
・CloudArray (別途サポート窓口にお問い合わせください)
・Loginsight (お客様作業になります。 参考手順: vRealize Log Insight のUpgrade (参考資料) )
・ESRS (お客様作業になります。 参考手順: VxRail: ESRSVE VMのUpdate 手順(参考資料) )
・既存VMのHardwareVersion(Intel CPUの脆弱性の対応で必要です)
・ESRSの内部イメージ(内部イメージは出荷時から変わりません)
・ESXiのファクトリーイメージ(出荷時から変わりません)
※ その他vSphereと連携するDell EMC製品(UnityVSA、IsilonSD Edge、AvamaerVEなど)についてはサポート窓口にお問い合わせください。
※ その他vSphereと連携するSolution(NSX/VDI/vRangerなどその他3rdパーティ製品すべて) についてはすべてお客様作業範囲となります。
4.0.x -> 4.5.x/4.7.xのUpgradeの際に以下をお客様にご準備いただきます。
・一時IPアドレス(1つ)
VxRailのUpgradeの際に一時的に利用されます。
VxRail 4.0.x -> 4.5.x/4.7.x のUpgradeの際にVCSAとPSCのVersionが6.0 -> 6.5/6.7にUpgradeされます。
このUpgradeは従来のOS内部の更新という形ではなく、新規VMの構築&データ移行という形で実行されます。
そのため旧VCSA/PSC(6.0)から新VCSA/PSC(6.5/6.7)へのデータ移行する際に、新VCSA/PSCへ仮のIPアドレスを割り当てる必要があり、その際に使われる一時的なIPアドレスが、一時IPアドレスです。
Upgrade完了後はそれまでのVCSA/PSCのIPアドレスが使用されますので、一時IPアドレスがUpgrade後も使用されることはありません。
一時IPアドレスはVCSA/PSC/VxRail Managerと同じサブネットのIPアドレスでご用意ください。
一時IPアドレスの確保が難しい場合はLogInsight VMやESRSVE VMなどUpgrade時に必要のないSystem VMをShutdownし、そのIPアドレスを利用することができます。
※一時IP Addressは未使用でかつ同じサブネットでなくてはいけません。もし条件に満たしていないIPが使用されていた場合はUpgradeに失敗します。(KB#522181)
※VCSA/PSCのMigrationが完了したのち、新規VCSA/PSCのIPアドレスが一時IPから本来のIPアドレスにつけ変わります。IPアドレスの改ざんやなりすまし防止機能が働いている環境では設定を無効化、もしくは例外設定としてください。(NSX Spoof Guardなど)
※一時IPは一時的ですがVCSA/PSCと同じネットワーク要件を満たす必要があります。DNS/NTPサーバへのアクセスをIPアドレスでフィルターしている場合は、一時IPからのDNSおよびNTP接続も許可する必要があります。
・お客様環境DNSサーバ(1つ以上2つまで)
VxRail 4.5からはお客様環境のDNS設定が必須となりました。(VxRail 4.0までは無くても構築可能)
したがってVxRail 4.5.x以上にUpgradeする前にお客様環境のDNSサーバをご準備いただく必要があります。
VxRail 4.0の構築時にご準備いただいたものがあればそれを流用可能です。
お客様にご準備いただくDNSサーバは以下の要件を満たす必要があります。
・Zoom端末(Dell EMCにUpgradeを依頼する場合のみ)
Dell EMCの保守契約に付随する無償のUpgradeサービスを利用する場合はZoom経由での作業となります。
端末は物理マシンでも仮想マシンでもどちらでも構いません。
※VxRail上の仮想マシンでも構いませんが、vMotionなどの妨げになる可能性もあるため推奨しません。
利用されるZoomでは以下のスペックが推奨されます。(トラブルシューティングでの利用も想定)
また、以下のアプリケーションが準備されていることが望ましいです。(トラブルシューティングでの利用も想定)
Dell EMC KB#536987 にUpgradeの概要やUpgradeされるコンポーネントごとの既知の不具合などがまとめられています。
※閲覧にはDell EMCパートナー権限が必要です。
VxRailのUpgrade前には、vSANのすべてのキャパシティディスクの容量使用率が70~75%以下であることが推奨です。
推奨される理由は以下です。
容量使用率について、VMwareの推奨を守ることはデータ可用性や安定稼働の観点で重要です。
それ以外にも、自動リバランスが発生するとVxRailのUpgradeが停止してしまう、という問題があります。
VxRailのUpgrade見積時間にはリバランス待ちは含まれないため、作業時間が想定よりも大きく上回る可能性があります。
Upgrade中にリバランスが発生しないようにvSANデータストアの使用容量を確認し、容量が多い場合は、少なくとも75%以下に減らすことを推奨します。
また、vSANデータストア全体としての使用容量が少ない場合でも単体Diskの使用容量が80%に近い場合は事前にリバランスが必要です。
リバランスについては下記の記事が参考になります。
VxRail: 「Virtual SAN ディスク バランス」の警告の詳細と対処
VxRail 4.7.301 または VxRail 4.5.401 以降へUpgradeを実施する際に、administrator@vsphere.local のパスワードに使用している文字によって
Upgradeが失敗する事例が報告されております。
具体的な文字としては下記の"Bad Character" にリストされている文字がadministrator@vsphere.local のパスワードに使用されている場合となります。
またKB:539930では使用可能な文字として、" : " および " @ " がリストされていないため、こちらの文字に関しても使用しないことを推奨いたします。
なお " ! " に関してはパスワード文字列の最後であれば使用可能です。
Special characters list:
Bad Character | space | " | # | % | * | ' | / | = | ? | [ | \ | | | & | ; | < | > | ( | ) | $ | ^ | ` | ~ | : | @ |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
ASCII | 32 | 34 | 35 | 37 | 38 | 39 | 47 | 61 | 63 | 91 | 92 | 124 | 42 | 59 | 60 | 62 | 40 | 41 | 36 | 94 | 96 | 126 | 58 | 64 |
Note: The ‘!’ character (ascii 33), works correctly as the last character, but in any other position, it can cause scripts to fail.
詳細に関しては下記のKBをご確認ください
VxRail: VxRM health-check fails for test 'vc_pw_char' | VxRail: VxRM health-check fails for test 'vc_pw_char' | Dell US |
VxRail: LCM failed to expand /data/store2 partition on VxRail manager |
パスワードの変更手順に関してはSolve Onlineより確認可能です
https://solveonline.emc.com/solve/home/51
VxRail Procedures > Miscellaneous > 'How To' Procedures
> Is the system running VMware Cloud Foundation on VxRail? No
> Change VxRail Passwords (画面上部のAcknowledgeを押下)
> Select your "How To" Procedure にて
Change the VxRail Internal vCSA Administrator Password 又は Change the VxRail External vCSA Administrator Password を選択
Upgrade中はVxRailがHealth MonitoringがOffになりますが、vCenterのアラーム通知機能は動作します。したがってDell EMCへの自動通知機能は無効になりますが、ユーザへのアラーム通知機能は引き続き利用可能です。
Upgradeの進捗はVxRail GUIから確認可能ですが、REST APIからUpgradeを開始した場合、GUIからは進捗を確認できません。
NodeのUpgrade実施中にBIOS画面で停止してしまうことがまれにあります。その場合、VxRail ManagerはUpgrade失敗を検知できず最大2時間ほどそのままとなります。
NodeのUpgrade中はiDRACやBMCの仮想コンソールから進捗を確認しておくことが推奨です。
VxRail 4.7.x 以前(4.0.x or 4.7.x)から4.7.x 以降にUpgradeする際の注意事項です。
vSAN 6.7U1から、Object Repair Timerの値をvCenterから一元管理できるようになりました。
その関係で、ESXiをUpgradeした際にObject Repair Timer(ClomeRepairDelay)の値を変更していた場合、デフォルト値に強制的に戻されます。
しかし、vCenterをUpgradeした直後にvSphere Client (HTML5)から対象の項目を変更しておけば回避可能です。
つまり、VxRailのUpgradeの順序として、
の順番でUpgradeされますが、3のVCSA Upgradeが完了した後にvSphere Client (HTML5)からObject Repair Timerを変更しておけばデフォルト値に戻ることを回避できます。
Object Repair Timerの変更方法はこちらの記事をご参照ください。
https://cormachogan.com/2018/11/13/new-vsan-6-7u1-advanced-options/
なお、VxRailのUpgradeをDell EMCに依頼した場合でも上記の対処は実施してくれないため、Resyncが走ってしまうことがありますので、ご注意ください。
VCSAがインターネット経由でVMware社にアクセスできないことに起因しております。
Proxyサーバを設定することでも対処可能ですが、VCSAのインターネットへのアクセスを希望しない場合はこの警告を静観していただくか、もしくはこの項目自体を無効にする必要があります。
この項目のチェックを無効にする手順は下記のコミュニティ投稿をご参考にしてください
Upgrade前に使用していた古いVCSAが「VMware vCenter Server Appliance(legacy)」としてインベントリに残ります。
Upgradeが失敗した場合はロールバックとして使用する可能性があるものですが、完了後は基本的に不要です。
お客様のご判断にても不要であれば、Upgrade完了後に削除をお願いいたします。
PSC VMについても同様です。
VxRail 4.5.152以降にはIntel CPUのセキュリティ脆弱性についての修正が含まれております。
VMwareの環境では、Upgradeしただけでは修正が個々の仮想マシンに適用されません。
修正が必要な仮想マシンにたいして以下の対処を実施お願いいたします。
### 補足 ###
※セキュリティ対策が不要な場合は実施不要です。
※VxRail 4.0.402にはすでにセキュリティ脆弱性への修正が含まれております。4.0.402にUpgradeした際に同様の対応を実施していた場合は不要です。
※下記の説明文中SystemVMとは以下のVxRail によって自動デプロイされた以下のVMのことです。
##########
― すべてのお客様仮想マシンに対して以下の対処を実施ください ※System VMを除く
1. GuestOSレベルでの修正を適用ください。修正についてはOSベンダにお問い合わせください
2. 仮想マシンハードウェアをVersion 9以上にしてください。
※すでにVersion 9 以上のものに関しては対応不要です。
3. 対象のVMをShutdownし、完全にPower Off状態となったのち、PowerONしてください。※RebootではなくPowerCycleが必要です。
― System VMに対して以下の作業を実施ください
1. 上記「すべてのお客様仮想マシンに対して」のStep2とStep3のみ(PowerCycle)を実行ください。Step1の実施は不要です。
※以下の順序で実施してください
① VxRail Manager
② vRealize Log Insight [if deployed]
③ vCenter Server Platform Service Controller (PSC) [if Internal]
④ vCenter Server Appliance (VCSA) [if Internal]
※PSC/VCSAをPower Offすると認証およびWebClientへのアクセスができなくなります。WebClientへのアクセスが失われた場合、これらのVMのPowerOn作業は各ESXiのHostClientにて実施する必要があります。そのため、PSC/VCSAについてはあらかじめどのNodeにて稼働しているのかをご確認いただくことをお勧めします。
ESRSVE VMについてIntel CPUのセキュリティ脆弱性についての対処をご希望の場合は以下を実施する必要があります。
1. ESRSVE VMのSnapshotを取得
2. ESRSVEを最新VersionへのUpdate (※手順は添付。Downloadはお客様のネットワーク環境に依存して2時間以上かかることがあります)
3. ESRSVE VMの仮想ハードウェアVersionを最新にする
4. Dell EMCへ接続性チェックを依頼。※このメールスレッドにてご依頼ください
5. 正常性を確認後、Snapshotを削除。※VSANデータストア上にVMについては必ずしも削除は必要ではありません
※上記はすべて以下のコミュニティ文書にて詳しく解説されていますのでご参照ください。
https://communities.vmware.com/docs/DOC-40114
VxRailのVersionが4.0 -> 4.5/4.7になることでvSphereのVersionが6.0 -> 6.5/6.7になるため、VxRailが管理している最初の仮想分散スイッチについても自動的にVDS version 6.5/6.6にUpgradeされますが、お客様にて作成された分散スイッチは対象外となります。必要に応じて手動で分散スイッチのUpgradeを実施してください。
・仮想分散スイッチのUpgrade方法
Upgrade a vSphere Distributed Switch to a Later Version
既存のVCSA/PSCに対してPasswordの有効期限の変更などを実施していた場合はUpgradeによって設定がデフォルトに戻ります。これはUpgradeの過程で新しいVCSA/PSC VMの作成→移行というプロセスを経ているためです。
ほとんどの場合はPassword有効期限に対する変更のみと思いますが、実施していた場合は再設定が必要になります。
Upgrade後、もしくはUpgrade中にWebClient GUI上に、CVE-2018-3646に関するアラートが表示される場合があります。
こちらもIntel CPUの脆弱性に関するものであり、下記のコミュニティ文書を参考に対応方針(修正の適用 or 静観)を蹴っていただき、必要であれば対応を実施していただく形になります。
Upgradeにより、過去に取得したSystem VM (VCSA/PSC/VxRail Manager)のバックアップとの互換性がなくなります。
Upgrade後は必ずSystem VMのバックアップを取得してください。
バックアップについては以下の方法を利用可能です。
VCSA/PSCの再デプロイによるUpgradeとなりますのでActive DirectoryへJoinしていた場合は、Upgrade後に再Joinが必要になります。詳細については以下のドキュメントをご参照ください。