【现象描述】
从上图可以看出问题URI_[game.4ko.cn] 全天成功率都只在8%以下,平均每小时的GET次数均在4.5W次左右,说明这是个一个存在严重问题的URI,希望通过本次分析能找出故障点。 【问题定位】 通过以往的经验先对可能存在问题或有助于分析统计进行汇总,以便于更快问题定位。 CMNET接入与CMWAP接入分析 详细列表 类型 | 请求次数 | 小区数 | 用户数 | 成功率 | 响应时延(ms) | CMNET(GET) | 无 | 无 | 无 | 无 | 无 | CMNET(POST) | 36255 | 1697 | 1716 | 8.32% | 3385 | CMAWAP | 16 | 6 | 2 | 1 | 1395 |
CMAWAP虽然说成功率高,但由于次数很少基本没有对比意义,问题URI都是以CMNET POST的HTTP请求方式为主。 DNS解析对应DIP分析 URI | dip | POST请求次数 | 小区数 | 用户数 | 成功率 | game.4ko.cn | 221.130.182.212 | 36236 | 1691 | 1713 | 8.28 | game.4ko.cn | 52.56.67.67 | 1 | 1 | 1 | 0 | game.4ko.cn | 119.97.151.160 | 1 | 1 | 1 | 0 | game.4ko.cn | 230.18.23.231 | 1 | 1 | 1 | 0 |
问题URI的服务器可以通过4个IP进行访问,但已221.130.182.212IP为主,其他IP占用次数太少没有对比意义。 DIP对于不同URI性能分析 dip | URI | req | 小区数 | 用户数 | 成功率 | 221.130.182.212 | cms.1000chi.com | 105 | 15 | 15 | 63.81 | 221.130.182.212 | game.4ko.cn | 36236 | 1691 | 1713 | 8.28 | 221.130.182.212 | samsungappsstore.1000chi.com | 1439 | 1018 | 1173 | 0 |
问题URI 服务器存在了3个URI资源,主要已问题URI为主,其他两个URI成功率也不高但次数也偏低。 URI下各类资源的访问情况 URI | URI_PATH | req | 小区数 | 用户数 | succ | 成功率 | game.4ko.cn | common_api/online/online.do | 30732 | 349 | 135 | 0 | 0 | game.4ko.cn | common_api/ad/pushInfoBar.do | 3684 | 1409 | 1612 | 1610 | 43.7 | game.4ko.cn | common_api/command/getCommand.do | 1636 | 808 | 858 | 1253 | 76.59 |
问题URI下主要的访问资源出现了问题,其他部分资源的使用情况相对还正常,说明:221.130.182.212服务器wap接入配置和网络侧问题不大,服务商针对common_api/online/online.do资源的配置可能存在问题。 DIP对应端口分析 URI | DPN | GET/POST请求次数 | 小区数 | 用户数 | 成功率 | game.4ko.cn | 80 | 36252 | 1696 | 1715 | 8.32 | game.4ko.cn | 13123 | 1 | 1 | 1 | 0 | game.4ko.cn | 27648 | 1 | 1 | 1 | 0 | game.4ko.cn | -10538 | 1 | 1 | 1 | 0 |
主要已80端口为主,其他端口占用较少没有对比意义。 失败CASE值分析 URI | game.4ko.cn | req | 36255 | succ | 3017 | GET接入失败 | 2648 | Cause_404 | 28782 | Cause_502 | 70 | Cause_503 | 0 | Cause_403 | 0 | Cause_500 | 0 | Cause_504 | 11 | Cause_400 | 3118 | Cause_其他 | 0 |
问题URI失败原因主要已Cause_404为主,404 Not Found 服务器拒绝请求,当服务器不想揭示到底为何请求被拒绝或者没有其他适合的响应可用的情况下。 通过以上的DO现有的数据分析可以初步得出结论:问题URI通过POST方式向服务器(221.130.182.212)的80端口发起common_api/online/online.do资源的HTTP请求,但服务器内部配置问题导致错误,回复了HTTP 404响应,导致HTTP响应失败。 接下来我们通过信令抓包来验证之前的结论是否正确: 通过对IMSI的信令抓包验证没有发现特殊情况,都是手机在发送POST请求后,服务器先回复了ACK确认了服务器已经收到了HTTP请求,随后又发送了HTTP 404的响应。有点疑问的就是服务器有少量的HTTP 400响应,在抓包时发现是由于一些POST请求在 [TCP segment of a reassembledPDU]包中,针对这部分的POST请求服务器都回应400(服务无法解析该次请求),由于次数不多具体原因没有深入分析。
|