四维三步法内容质量网络保障工作月报（4月）

四维步法内容质量网络保障工作保障工作月报

立即制作

发布者：😘💕琳儿💋

发布时间：2017-05-09

版权说明：该作品由用户自己创作，作品中涉及到的内容、图片、音乐、字体版权由作品发布者承担。

侵权举报

四维三步法内容质量网络保障工作月报（4月）

H5，H5页面制作工具

贵州移动互联网室
2017.4
四维三步法工作月报

目录
3、工作计划
2、工作内容
1、四维三步法工作模型

开展日常分析工作：按照DPI、 DNS、拨测、投诉四个维度，开展全网TOP100网站、TOP10视频、本省TOP20网站,以及咪咕、魔百和等自有业务的日常质差分析工作；跟进热点变化，从流量、调度、服务质量三个方面，定位、定界质差原因。
落实问题处理：从IDC引入、Cache缓存、CDN分发、ICP直连等方面入手，落实解决，形成问题解决策略，并推广实施。
持续评估调整：针对互联网动态变化内容的质量，实时监测引入、缓存、分发效果，逐月优化和总结内容调度、内容质量问题的处理情况报告，持续评估，闭环保障。
围绕“两聚焦”，多维度采集分析数据，通过细分保障方法、建设支撑手段、优化组织流程、提升重点内容四项举措，全面推进内容网络四维三步法落地。
四维三步法模型

流量本省率核算方法：（IDC服务本省流量+WebCache流量）/地市总流量
指标：
流量本省率4月份为75.66%，3月份为75.39%, 指标上升0.27个百分点，属于合理范围波动。

原因分析：
本月本省流量贡献较大的Cache厂家为中兴，峰值已经达到131.78Gbps，均值为72.31Gbps。
DPI维度核心指标(流量本省率)

处理措施：
本月统计出网并建议缓存域名72个，经缓存分析，可缓存域名45个，已经加入缓存。
DIP维度分析数据能力提升方法，对建议引入网站进行网站频道流量筛选，通过网站频道访问热度数据提供建议引入网站，增加对视频质差资源分析，并通过ICP调度等方式优化。
定位原因：
- 对出网的域名进行资源分布探测，发现97%以上域名网内无内容资源。
发现问题：
- 聚焦TOP100热门网站、TOP10视频、省内TOP20网站,通过DPI维度中访问热度和流量情况，使用分光数据分析，获取TOP15000出网域名，对出网域名进行资源爬取，获得建议缓存域名至少100个。
DPI维度

定位原因：
备注：通过端到端系统4月份发现质差域名问题94个，均已发集中化管理工单，并得到妥善解决，有效提高了质差处理效率。
回源被劫持
取消对缓存平台的劫持。
组带宽跑高
安排降量。
cache利用率低
取消缓存。
处理措施：
回源失败问题：
缓存优化，调整回源链路。
取消该域名缓存服务。
回源节点问题：
采取调整或更换回源节点方式。
源站优化调度。
源站问题：
对该类质差域名取消缓存服务，加黑处理。
源站不通可以优化回源链路。
源站资源调度调整，优化调度。
回源被拒，调整回源路径，改走三方。
发现问题：
通过互联网质量监控系统端到端平台，对域名质差查询分析，4月份共发现质差域名94个，其中取消缓存域名3个，占 3.19%；正常的4个，占比4.26%；重复出现三次以上的域名49个，均已解决。
DPI维度（端到端质差分析）

质差资源对应业务优化
通过互联网质量监控系统端到端平台，对质差域名按业务查询分析，发现并提炼TOP5端到端质差业务。经过逐一排查，定位，并通过Cache、调整链路、取消缓存等方式优化。其中业务优化率最高达到99%（乐视网），业务优化率均值为90%。
质差资源对应IP 优化
通过互联网质量监控系统端到端平台，对质差域名查询分析，发现涉及质差资源对应IP重复较多，4月针对TOP10重复IP进行质差资源优化，IP优化率最高达到100%，优化率均值达到94.7%。
DPI维度（端到端质差分析）

定位原因：
对已经优化的2646个URL内容进行分析：71.43%视频网内无资源；25.87%ICP资源受限，服务器负荷；2.7%属于合理出网范围。
处理措施：
通过将资源首次回源添加至本地服务器621个;
增加存储力度，将热门资源加入服务器，优化视频URL 1890个；
另外小部分视频URL资源较小，属于合理范围内出网。
- 发现问题：
1. 针对TOP20热点视频，通过爬虫技术对视频内容进行分析，4月发现出网视频URL 2646个（主要包括优酷视频、搜狐视频、酷6视频等）。
DPI维度（出网视频优化）

点击本网率核算方法：DNS本网点击次数/DNS总访问次数。
原因分析：
因3月27日DNS日志取消过滤后，DNS系统为真实数据，故4月份点击本网率大幅度下降。
指标：
4月份DNS点击本网率为81.16%，环比下降7.32个百分点，未到集团要求指标。总访问量为2624亿次。较3月份上升62亿次，访问量日均值为87.47亿次。
DNS维度核心指标(点击本网率)

解决措施：
经分析将可缓存域名19个添加至缓存白名单进行优化服务，将443端口域名等172个添加到缓存黑名单，避免劫持导致投诉。
对于已经缓存，但出网率较高的194个域名进行质量追踪，其中83%以上域名因源站加密而被取消缓存服务， 17%域名服务质量有所提高。
将调度错误导致出网域名，通过IP调度至集团出口或发邮件至牵头省协调处理。
定位原因：
将出网域名中未分配缓存的域名进行重点分析，本月通过DNS维度建议缓存质差域名194个，其中可缓存域名19个、缓存黑名单域名172个、调度域名2个。
发现问题：
基于TOP100网站、TOP10视频、省内TOP20网站，每周通过DNS流量流向系统查询出网域名Top100，每月通过汇总整理筛选出网资源超过70%的域名206个。
DNS维度

指标：
4月，TOP100网站重点网站、TOP20视频、TOP20本省网站，均达到集团指标。行编辑
拨测维度指标

解决措施：
通过调整出口、强解等解决因出口质量导致网站故障；
因缓存导致故障，通过取消缓存解决；
因CDN导致故障，通过调整至其他CDN节点解决。
- 定位原因：
- 通过人工拨测核实，与电信网络对比测试，因链接失效或者源站问题导致网站无法打开，共122次；测试打开正常共658次；网站故障共25次；
因出口质量导致网站故障共10次，因浩瀚Cache无法回源导致网站故障2次，因中兴Cache缓存https域名、无法回源导致网站故障7次，因网宿CDN质量不稳定导致网站故障6次。
发现问题：

4月，由飞思达拨测系统提示网站无法打开告警共805次，其中，贵州移动
地址186次，非贵州移动地址618次；

贵州移动地址186次，包括浩瀚Cache地址73次，中兴Cache地址19次，网
宿CDN地址65次，贵州其他地址29次；
非贵州移动地址618次，包括电信地址124次，联通地址34次，外省移动地址397次，其他运营商地址63次。
拨测维度指标

拨测维度缓存域名统计（个）
拨测维度能力要求：基于拨测系统，监测、分析、处理本省IDC/Cache/CDN/直连等节点的质量问题；根据总部下发的重点、热点业务列表，监控、定位、分析重点业务质差问题，及时解决。
解决措施：
联系中兴取消对此域名的缓存，DNS取消转发，测试后页面显示正常；
浩瀚对此域名取消缓存。
定位原因：
核查域名001.img.pu.sohu.com.cn的443端口开放，URL为https。
核查为域名到源站120.192.81.190回源不稳定。
发现问题：
2017年4月12日，”搜狐视频会员首页 ”图片无法显示，图片域名001.img.pu.sohu.com.cn ，解析地址为117.187.29.103，归属中兴Cache 。
2017年4月28日，”中维世纪公司门户网站”图片无法显示，域名www.jovetech.com ，解析地址为117.135.251.15 ，归属浩瀚Cache 。
拨测维度

备注：接集团通知10月份移动MM下载速率指标由原来9Mbps提升到10Mbps
咪咕视频业务运行情况：
4月份咪咕视频服务带宽峰值为2.34Gbps，均值0.92Gbps，4月10回源链路出现断链，用户不断尝试连接导致当天用会并发数增多，除10日数据，在线人数峰值为3645人，均值113人。
自有业务指标情况：
基于移动自有业务4月份拨测数据显示，咪咕视频卡顿次数为0.16次/h、咪咕音乐播放时延1.64s，均已达到集团指标要求。4月移动MM下载速率为12.03Mbps，优于集团指标要求值10Mbps。
自有业务

4月，直播业务首帧时延逐渐稳定，4月初首帧时延均值为1.42s，4月底首帧时延均值为1.45s，波动在正常范围内。
得出结论
直播：4月初与月底优化后首帧时延(s)比对
得出结论
4月，点播业务首帧时延逐渐稳定，4月初首帧时延均值为1.37s，4月底首帧时延均值为1.02s，波动在正常范围内。
点播：4月初与月底优化后首帧时延(s)比对
魔百盒运行数据比对

2月节点命中率平均保持在99.58%以上。上月份节点命中率平均保持在96.65%以上。说明节点命中率基本保持稳定，且命中质量属正常波动。
4月统一CDN系统的CPU使用率基本保持在13%以内，内存使用在47.04%以内，磁盘存储空间使用率在48%以内。网卡发送速率最大2.65Gbps,网卡接收速率最大386.47Mbps。
2月整体调度成功率保持在99.85%以上，上月整体调度成功率保持在99.87%以上。说明整体调度成功率保持非常稳定，与上月比较，基本持平。
直播（LIVE）峰值日均流量18.57Gbps、并发用户数5759户；
点播（VOD）峰值日均流量58.31Gbps、并发用户数是20968户；
回看（TVOD）峰值日均流量11.70Gbps、并发用户数是4251户。
- 从已观察监测数据分析和运营情况判断得出结论：融合统一CDN系统4月份运行正常，目前系统运行提供服务稳定。
- 从服务带宽占用及设备负载等对融合CDN设备分析，流量占用在系统承受范围之内，CPU负荷使用正常，内存符合满足系统运行要求，磁盘存储空间满足目前业务数据缓存需求，网卡可以支撑目前业务的流量发送和接收运行。
2月节点命中率平均保持在99.58%以上。上月份节点命中率平均保持在96.65%以上。说明节点命中率基本保持稳定，且命中质量属正常波动。
2017年4月融合CDN中兴平台服务带宽、调试成功率、节点命中率、服务器运行数据进行跟踪监测观察进行质量分析。
融合CDN中兴平台

地市发展用户数量统计（户数）
运行情况：
提高业务稳定性：
4月业务发展相对较平稳，负荷量在预期范围内，用户发展速度稳定。
优化措施：
1. 1、毕节CDN服务器容量达到95%，117.135.231.0/28网段业务调度到省平台承载。
2、“昆仑决世界极限格斗赛遵义站”，魔百和业务保障保障，系统正常运行。
3、安装神州泰岳的监控代理，对CDN服务器的硬件、CPU、内存等进行监控。
4、配合绿盟进行安全扫描并整改。
发展情况：
- 融合CDN平台承载贵州移动九个地市的直播、点播业务，2017年4月业务开户速度稳定，发展速度排名TOP3分别为：遵义、黔东南、毕节。4月用户发展情况由3月的404859户增长到444733户，4月增长39874户，涨幅达9.85%。系统平台支撑能够满足当前业务量，平台支撑处于稳定状态。
融合CDN全业务平台

优化质差域名网外TOP5，优化前页面加载时间均值为6192.46ms，优化后页面加载时间均值为2356.88ms。
优化质差域名省外TOP5，优化前页面加载时间均值为16236.12ms，优化后页面加载时间均值为4107.27ms。
感知提升：通过对质差域名进行质量跟踪，4月发现质差域名共338个，已缓存域名共95个。
优化质差域名省内TOP5，优化前页面加载时间均值为6107.05ms，优化后页面加载时间均值为2087.61ms。
质差域名优化情况

指标 :
- 本月投诉处理及时率100%，所有工单均正确快速处理。
- 4月重复投诉率7.00%。实际有效处理投诉14条，1起重复投诉（联通网上营业厅）。
投诉维度指标

拨测维度能力要求：
按网站名称、行业类别、问题现象等，梳理内容质量投诉数据，建立和管理典型、重点投诉处理案例，并设立内容投诉分析岗，协调处理质量问题；要建立投诉处理手段和流程，推动投诉前移，提高解决效率。
处理措施：
- 集团出口大部分均可正常访问，软件系统及网页类受运营商限制无法连接服务器或者访问失败，调整至优质链路，或者资源方优化后可恢复。
定位原因：
- 网页类投诉主要原因是互联互通导致；4月故障较之前大幅减少，部分软件系统及网页类受运营商限制会无法登陆或者访问失败。
发现问题1：
- 4月故障平台投诉共25起，实际有效处理共13起：包含地州提交10起、飞思达拨测告警3起，效处理故障均提交至故障平台。 12起因提交信息不正确或者省网测试正常被退回。
- 客响中心共反馈35起，实际有效处理2起（“么么直播”图片显示异常）。其他均测试正常或者需要地州运维上门查看。
- 从类型上看，故障平台均网页类投诉占比71%，软件应用类占比29%（均为系统无法连接服务器等故障）；客响中心网页类占比占40% ，其次是游戏类和软件类均占29%。游戏类包括“梦幻西游”、“王者荣耀”等，均为省网测试正常或者回访用户反馈故障已经恢复。
投诉维度

处理措施：
电信和联通方向处理措施为：
- 将非电信联通地址调整至集团出口使其恢复。
- 资源方优化后可恢复。
- 投诉涉及网内资源处理措施为：
- 及时联系缓存和CDN相关厂家进行调整使业务恢复；
- 协调缓存厂家取消缓存并定期自查以防误将该类域名缓存，
- 回源问题根据对应回源方向进行优化。
- 强制解析域名到指定IP。
定位原因：
电信和联通方向的原因为：
- DPI流控导致故障。
- 部分电信资源在三方出口访问失败。
- 投诉涉及网内资源主要原因为：
- 缓存、CDN问题；
- 端口为443的域名被缓存；
- 回源问题。
- 源站域名授权服务器不稳定或者未授权导致解析异常或者无法解析
发现问题2：
- 4月从投诉故障运营商来看，电信占比50%，移动占比21%（缓存，CDN），联通占14%。总体电信资源故障较多。
- 4月份故障55%在集团出口，27%在力创三方。18%在鹏博士三方。
投诉维度

典型故障案例

基于TOP100热门网站、TOP10视频、TOP20本省网站等全网性及地方性热点、重点业务，为提高我省互联网业务质量，提升用户感知，4月份建议引入公众网站TOP10（除集团统一引入公众网站TOP55以外）和贵州省内网站TOP10。已经向大数据部门发起内容引入协作单，并主动协调ICP做调度优化工作。
建议引入网站

- 4月份，TOP10视频调度服务器全部调度到集团出口做保障。
- 4月份TOP10视频全部添加流控白名单做保障。
- TOP10视频流量本省率均值96.80%，达到集团要求。
基于TOP100热门网站、TOP10视频以及本省TOP20网站的流量、点击量情况分析如下：
流量控制、调度管理情况

4月完成对省内TOP20网站域名智能DNS白名单核对，针对省内TOP20网站，加入智能DNS进行最优调度管理。
4月完成对省内TOP20网站IP流控白名单核对，重点保障省内TOP20网站IP地址均在流控系统白名单中。
近六个月本省网站TOP20总体点击量情况，4月份省内TOP20网站总点击量为76.20万次。比3月份上升2.57万次。 4月份全国公务员考试带动本省政府、教育类网站点击量上升。
- 近六个月本省网站TOP20总体流量运行情况。4月份总流量为54.05GB，较三月份上升29.62GB。4月份全国公务员考试带动本省政府、教育类网站流量大幅度上升。
针对本省TOP20网站的流量控制及调度管理情况。
流量控制、调度管理情况