GaussDB运维管理案例分析—实例创建失败

现象描述

GaussDB实例创建失败。

可能原因

GaussDB Service服务不正常，或者IAAS服务不正常。

定位思路

查看实例创建的告警信息，在Service OM查看创建失败的报错信息，查看实例创建的失败步骤，登入管理节点查看日志信息定位失败原因。

处理步骤

1、使用浏览器，登录ManageOne运维面。

1)登录地址：https://ManageOne运维面主页的访问地址:31943。例如，https://oc.type.com:31943。

2)默认帐号：admin。默认密码可在《华为云Stack  帐户一览表》中“A类Portal”页签，产品名称为“ManageOne”，帐户登录界面名称为“ManageOne 运维面”获取。

须知：为了您的帐户安全，请定期修改密码。

2、在“集中监控 > 告警管理 > 当前告警”中查看集中告警，并处理告警信息，获取告警中的实例ID（instance_id）或者工作ID。

3、登录DBS运维管理平台。

4、选择“实例运维 > 任务管理”，右上角筛选条件选择“实例ID”或“任务流ID”，输入框中输入获取的实例ID或工作流ID，执行搜索，查看“当前状态”为失败的任务。

“失败原因”列输出了失败时的程序错误日志。单击“树表”，则可以查看任务失败具体的环节。

5、根据4中任务执行结果，定位不同的故障场景操作。

场景一：创建服务器失败（CreateServersTaskV2执行失败），根据4中展示的失败概览，分析失败原因。

如果4的失败原因中包含“not enough hosts”，则说明服务器资源不足。修复方案：

1）登录DBS运维管理平台，在“实例运维 > 配置管理 > 引擎资源管理”页面，引擎名称选择“GaussDB”，单击“查询”，查看对应内核版本的镜像ID是否为空，如下图所示：

• 镜像ID为空，执行5.b。

• 镜像ID不为空，执行5.c~5.d。

说明：查看对应内核版本的镜像ID是否为空，不同的实例对应不同的字段

x86环境：MCS实例对应“引擎资源管理”页面的“容器镜像ID”列。

x86环境的BMS，ARM环境MCS及BMS对应“引擎资源管理”页面的“扩展镜像ID”列。

2）镜像ID为空，则单击对应版本所在行“编辑”，按照已有格式关联需要的镜像ID，镜像ID可通过Service OM平台的“服务列表 > 镜像资源 > 镜像列表”中查询获取，如下图所示。

图1 查询镜像ID

图2 编辑镜像ID

3）如镜像ID不为空，但在Service OM平台的镜像资源中查询不到该镜像ID，可能存在两种情况：

• 该镜像未注册，此种情况需要注册镜像，请联系技术支持。

• 镜像已在service om中注册，但配置错误，此种情况需要点击对应版本“编辑”，按照已有格式更新对应版本的镜像ID，参见图2。

   

4）镜像ID不为空，且与ServiceOM的镜像ID一致，则需要排查镜像文件是否存在于OBS桶中，如不存在，则需要重新注册镜像，如OBS桶中镜像存在，则执行6。

场景二：创建服务器失败（WaitCreateServersTask执行失败），根据4中展示的失败概览，分析失败原因。

1）如果4的失败原因中包含“not enough hosts”，则说明服务器资源不足。修复方案：联系IaaS对计算资源扩容，然后在Console实例管理页面上，等待该实例状态显示为“创建失败”，删除实例，并重新创建新实例。

2）如果4的失败原因中包含“PlacementDiskFilter”，说明没有满足的磁盘资源。修复方案：联系IaaS对磁盘进行扩容，然后在Console实例管理页面上，等待该实例状态显示为“创建失败”，删除实例，并重新创建新实例。

3）如果4的失败原因中包含“No more IP addresses available”，则说明IP资源不足。修复方案：在Console页面服务列表下，选择“网络 > 虚拟私有云”服务，释放实例所在子网下的空闲ip，然后在Console实例管理页面上，等待该实例状态显示为“创建失败”，删除实例，并重新创建新实例。

须知：如果创建服务器失败，可能存在底层返回信息不完整无法删除残留资源的场景，需要在实例运维 > 租户管理 > 残留资源统计页面，单击对应用户名名称，批量删除残留资源。

场景三：Agent执行失败（SendInitAgentCmdTask或下一个任务 WaitAgentInitResulTask执行失败），根据4中展示的失败概览，分析失败原因。

如果4的失败原因中包含“RPCClient.RPCClientBuilder failed”或“Agent may not be ready to connect”，则可能是网络不通。修复方案：联系运维排查网络故障原因，确认网络恢复正常后，重新创建实例。

场景四：报送审计服务失败（NotifyToCTSTask失败）。

报送审计失败，对实例无影响，但是需要检查审计服务是否正常。修复方案：在“树表”页面，单击NotifyToCTSTask的下拉按钮，选择跳过任务，跳过NotifyToCTSTask，等待任务执行成功。审计是对事件进行记录，跳过审计步骤对实例无影响，跳过后需要对审计服务进行检查。

若失败原因不在上述场景，请执行6。

6.若以上步骤仍不能解决问题，收集日志和告警信息，联系技术支持进行处理。

需要下载的日志信息有：

管理侧：

•DBS-GaussDB-backupmanager组件下的日志。

•DBS-GaussDB-instancemanager组件下的日志。

租户侧：

agent组件下的：

•/home/Ruby/log/agent.log

•/home/Ruby/log/asyncJobResult.dat

•/home/Ruby/log/om_agent/agent.log

GaussDB Kernel组件下的：/var/lib/log/Ruby