公司虚拟化平台VMware vCenter Server无法连接故障排查解决

1.环境:

系统:Windows 2008R2

vCenter版本:VMware vCenter Server 5.1.799731

数据库:Oracle 11.2.0

2.故障描述:

用VMware vSphere Client客户端无法登录,提示“出现未知连接错误。(由于连接故障,请求失败。无法连接到远程服务器)

排错过程:

1.mstsc远程桌面到服务器。

打开服务器管理器--服务,找到vCenter的服务VMware VirtualCenter Server,发现服务没有启动。

2.确认oracle数据库的服务OracleServiceBNVCDB状态,为已启动状态。

3.手动尝试启动vCenter服务,启动失败,报错

4.此时,怀疑是不是Windows系统本身问题,于是,尝试重启系统。看来这招大招也不行,vCenter服务依然无法启动。根据报错提示,查看系统事件日志,诊断--Windows日志--系统。果然发现有错误信息:“VMware VirtualCenter Server 服务因 系统找不到指定的文件。 服务特定错误而停止。(the VMware VirtualCenter Server service terminated with service-specific error The system cannot find the file specified..)”

根据错误提示,到vmware 官网查KB库http://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=1003926,根据KB的解决方案去排查,问题依旧,看来这个KB不适用当前的问题。

5.继续查看Windows的系统日志,诊断--Windows日志--应用程序。看到一条错误信息:“无法找到来自源 VMware VirtualCenter Server 的事件 ID 1000 的描述。本地计算机上未安装引发此事件的组件,或者安装已损坏。可以安装或修复本地计算机上的组件。如果该事件产生于另一台计算机,则必须在该事件中保存显示信息。 以下是包含在事件中的信息:  Failed to intialize VMware VirtualCenter. Shutting down... 

消息资源存在,但在字符串/消息表中找不到该消息”

根据错误的信息继续上官网查KB库,根据查到的几个KB库,问题依然无法解决。

6.没办法,只能看vCenter的日志了。Note: In Windows 2008, the vpxd.log file is located at C:\ProgramData\VMware\VMware VirtualCenter\Logs.

看到日志最后有个错误输出:

2014-10-28T15:09:31.000+08:00 [04992 error ‘vpxdvpxdMain‘] [Vpxd::ServerApp::Init] Init failed: Unexpected exception

--> Backtrace:

--> backtrace[00] rip 000000018018977a 

--> backtrace[01] rip 0000000180100c98 

--> backtrace[02] rip 0000000180101fae 

--> backtrace[03] rip 000000018008aeab 

--> backtrace[04] rip 0000000000514971 

--> backtrace[05] rip 00000000004b1298 

--> backtrace[06] rip 00000000004b16c9 

--> backtrace[07] rip 0000000000420fae 

--> backtrace[08] rip 0000000140ddbfb8 

--> backtrace[09] rip 000000013fcd0078 

--> backtrace[10] rip 000000013fcd016a 

--> backtrace[11] rip 000000013fcd0279 

--> backtrace[12] rip 000000013fcd0609 

--> backtrace[13] rip 0000000140012903 

--> backtrace[14] rip 00000001407be4b9 

--> backtrace[15] rip 00000001407b835c 

--> backtrace[16] rip 00000001409d8a3b 

--> backtrace[17] rip 000007feff26a82d 

--> backtrace[18] rip 0000000077a4f56d 

--> backtrace[19] rip 0000000077b83281 

-->

2014-10-28T15:09:31.000+08:00 [04992 warning ‘VpxProfiler‘] ServerApp::Init [TotalTime] took 11122 ms

2014-10-28T15:09:31.000+08:00 [04992 error ‘Default‘] Failed to intialize VMware VirtualCenter. Shutting down...

2014-10-28T15:09:31.000+08:00 [04992 info ‘vpxdvpxdSupportManager‘] Wrote uptime information

2014-10-28T15:09:31.889+08:00 [03356 warning ‘VpxProfiler‘ opID=SWI-ee9b4a9d] VpxUtil_InvokeWithOpId [TotalTime] took 12012 ms

2014-10-28T15:09:43.901+08:00 [03356 warning ‘VpxProfiler‘ opID=SWI-b94098aa] VpxUtil_InvokeWithOpId [TotalTime] took 12012 ms

2014-10-28T15:09:55.913+08:00 [03356 warning ‘VpxProfiler‘ opID=SWI-898eea54] VpxUtil_InvokeWithOpId [TotalTime] took 12012 ms

2014-10-28T15:10:07.925+08:00 [03356 warning ‘VpxProfiler‘ opID=SWI-aaa55fdf] VpxUtil_InvokeWithOpId [TotalTime] took 12012 ms

2014-10-28T15:10:19.937+08:00 [03356 warning ‘VpxProfiler‘ opID=SWI-46814322] VpxUtil_InvokeWithOpId [TotalTime] took 12012 ms

2014-10-28T15:10:20.936+08:00 [04992 info ‘Default‘] Forcing shutdown of VMware VirtualCenter now

其中有几个关键字:“Init failed: Unexpected exception”,从字面看不出具体是什么原因,只能还是借助万能的google。根据关键字搜索了一下,果然有相关的文章,但很不幸,这些文章都无法解决这个问题。

7.时间一分一秒的过去,依然没什么头绪,只能不断的看网上的文章,看了好几篇的文章,虽然情况描述的不一样,但是很多都反馈vCenter服务无法启动的问题,大多数都是数据库方面问题。于是,心思重点放在oralce数据库。

8.手动重启oracle数据库服务,确认oracle数据库服务正常,然后再启动vcenter服务,还是失败。

9.继续搜索,找到一篇文章:https://communities.vmware.com/message/2151843,描述的问题很相近,于是对着文章去排查

1)在浏览器输入https://192.168.1.244:7444/ims/CommandServer,提示404错误。为了确认是不是都是提示404的,找了公司另一个正常的vCenter服务器验证,正常的提示应该是“该网站的安全证书不受信任”。

2)根据之前的经验,网站提示404,一般是找不到页面或者数据库连接错误导致。难道真的是数据库问题?继续查.......

3)netstat -na|findstr 7444,确认了端口正常。

4)根据文章的提示,SSO SERVER数据库有问题。查看日志:D:\Program Files\VMware\Infrastructure\SSOServer\logs,目录下的lookupServer日志有报错:

Caused by: java.sql.SQLException: ORA-28001: the password has expired

 at oracle.jdbc.driver.T4CTTIoer.processError(T4CTTIoer.java:439)

 at oracle.jdbc.driver.T4CTTIoer.processError(T4CTTIoer.java:388)

 at oracle.jdbc.driver.T4CTTIoer.processError(T4CTTIoer.java:381)

 at oracle.jdbc.driver.T4CTTIfun.processError(T4CTTIfun.java:564)

 at oracle.jdbc.driver.T4CTTIoauthenticate.processError(T4CTTIoauthenticate.java:431)

 at oracle.jdbc.driver.T4CTTIfun.receive(T4CTTIfun.java:436)

 at oracle.jdbc.driver.T4CTTIfun.doRPC(T4CTTIfun.java:186)

 at oracle.jdbc.driver.T4CTTIoauthenticate.doOAUTH(T4CTTIoauthenticate.java:366)

 at oracle.jdbc.driver.T4CTTIoauthenticate.doOAUTH(T4CTTIoauthenticate.java:752)

 at oracle.jdbc.driver.T4CConnection.logon(T4CConnection.java:359)

 at oracle.jdbc.driver.PhysicalConnection.<init>(PhysicalConnection.java:531)

 at oracle.jdbc.driver.T4CConnection.<init>(T4CConnection.java:221)

 at oracle.jdbc.driver.T4CDriverExtension.getConnection(T4CDriverExtension.java:32)

 at oracle.jdbc.driver.OracleDriver.connect(OracleDriver.java:503)

 at java.sql.DriverManager.getConnection(DriverManager.java:582)

 at java.sql.DriverManager.getConnection(DriverManager.java:154)

 at org.apache.commons.dbcp.DriverManagerConnectionFactory.createConnection(DriverManagerConnectionFactory.java:78)

 at com.vmware.vim.lookup.impl.DbStorage$ConnectionFactoryWithSetup.createConnection(DbStorage.java:811)

 at org.apache.commons.dbcp.PoolableConnectionFactory.makeObject(PoolableConnectionFactory.java:582)

 at org.apache.commons.pool.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:1148)

 at org.apache.commons.dbcp.PoolingDataSource.getConnection(PoolingDataSource.java:106)

 at com.vmware.vim.lookup.impl.DbStorage$SqlExecutor.execute(DbStorage.java:698)

 ... 40 more

报错提示很明显“ORA-28001: the password has expired”,连接数据库的用户的密码过期了。是不是这个问题引起的呢?如果把密码过期问题解决了,是不是整个问题就解决了呢?不放过任何一个机会。

10.根据上面的错误提示google,找到一篇很不错的文章,顺便科普了我的oracle数据库知识。http://hi.baidu.com/5unge/item/cade17d405b4861b21e25035

Oracle提示错误消息ORA-28001: the password has expired,是由于Oracle11G的新特性所致, Oracle11G创建用户时缺省密码过期限制是180天(即6个月), 如果超过180天用户密码未做修改则该用户无法登录。 Oracle公司是为了数据库的安全性默认在11G中引入了这个默认功能,但是这个默认的功能很容易被DBA或者是开发人员给疏忽,一旦密码180天未修改过,就会出现这样的问题。

看到这里,当前环境的数据库不就是oracle 11g的么?看到一丝丝曙光了。根据文章的步骤:

1)SELECT * FROM dba_profiles WHERE profile=‘DEFAULT‘ AND resource_name=‘PASSWORD_LIFE_TIME‘

查询密码的有效期设置,LIMIT字段是密码有效天数。查到的结果是180天。

2)select username,account_status from dba_users;查看用户的状态信息,查到很多用户几乎都是EXPIERD状态。问题又来了(不是挖掘机),哪个用户才是vCenter所使用的呢?

3)找到配置文件:D:\Program Files\VMware\Infrastructure\SSOServer\webapps\lookupservice\WEB-INF\classes\config,很明显了,用户名就是RSA_USER

4)首先去除180天的密码生存周期的限制

ALTER PROFILE DEFAULT LIMIT PASSWORD_LIFE_TIME UNLIMITED;

再查看确认,已经是unlimited状态了。

5)这样修改后,用户密码还是过期的,也就是说,还要修改用户的密码才行,为避免修改其它密码引起不必要的错误,还是用回原来的密码去修改

alter user RSA_USER identified by "your_password"; 

6)最后确认用户

11.最后,重启oracle数据库,再启动vcenter服务,结果,竟然:还不行!泪奔~~~

12.没辙了,继续放大招:重启系统。

13.奇迹出现了,vcenter服务自启动正常了。

14.用客户端测试连接,成功了。看了看时间,时间已经过去了8个小时。

心得:

1.要善于查看日志,定位问题。

2.善于利用搜索,官方的KB库,如果有现成的解决方案最好,如果没有,可以参考思路。

3.不放过任何的错误提示。


本文出自 “[reed@卢伟开~]#rm -rf /” 博客,请务必保留此出处http://luweikai.blog.51cto.com/1705672/1569146

郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。