智能运维解决方案:网络流量可视化

引言

数字化时代,越来越多的企业开始拥抱云计算,传统的IT系统正在向云架构转型。因此,运维系统也将再一次迎来新的挑战。面对复杂难懂且体量庞大的运维数据,如何快速准确的捕获我们想要的信息,图表发挥着重要的作用,这也就是我们为什么要谈网络数据可视化。

智能运维解决方案:网络流量可视化

数据可视化的发展

数据可视化是关于数据视觉表现形式的科学技术研究。可以简单的理解为数据可视化研究的是如何将数据转化成为交互的图形或图像等,并以视觉可以感受的方式表达,增强人的认知,达到发现、解释、分析、探索、决策和学习的目的。常见的数据表现形式有2D图表、3D图表、地图、矢量图等。

智能运维解决方案:网络流量可视化

数据可视化流程

数据可视化是一个交叉研究领域,其融合了科学可视化(Scientific Visualization)、信息可视化(Information Visualization)和可视分析学(VisualAnalytics)三个学科方向。

智能运维解决方案:网络流量可视化

数据可视化涉及学科方向

20世纪50、60年代利用计算机设计出来了首批图形图表,孕育了早期数据可视化的雏形。

到1987年,随着大量基于计算机可视化技术方法的提出,数据可视化被真正提到一个应用理论的高度,并成为了可视化领域的一个里程碑。

随着互联网时代的到来,各种产品兴起,数据信息成爆炸式增涨,处理总量与日俱增,形成了较为庞大的数据级。越来越多的高性能计算机图形学技术与方法相继被提出,促进了数据可视化技术的飞速发展。

智能运维解决方案:网络流量可视化

数据可视化发里程碑

智能运维解决方案:网络流量可视化
智能运维解决方案:网络流量可视化

可视化意义

有句话说的好“一图胜千言”,顾名思义,数据可视化就是将数据转换成图表等元素,并且以一种更加直观的方式让人们更加容易说明和容易理解。这种图形化的呈现方式可以准确高效、简洁全面地传递数据信息,进一步帮助我们发现某种规律和特征,挖掘数据背后的价值。

智能运维解决方案:网络流量可视化

可视化赋能数据挖掘

当前,业务系统主要以一线运维人员为处理核心,其要求工程师对接多个复杂的系统应用和输出,针对多种方式触发后进行响应,并按照既定业务流程处理后以多种输出模式汇报或传递信息。另外,面对业务系统快速迭代、灵活伸缩以及更高的SLA的要求,这些既要按照工作规范,又要依赖操作经验,同时还要兼顾实效性和安全性的运维任务成为了重中之重。

随着数据时代的来临,大数据的分析、挖掘与可视化已经成为信息技术发展的迫切需求。面对当前科学可视化、信息可视化、可视分析研究和应用的新形势,需要发展新的复杂数据的处理、分析与可视化方法,并围绕实际科学和社会问题的求解设计高效的人机交互界面。

智能运维解决方案:网络流量可视化

可视化设计

智能运维解决方案:网络流量可视化

了解了可视化的含义,那么如何进行数据可视化呢?

1.定义问题

其实,数据可视化的方法有很多,但首先要定义问题。明确数据可视化是要让用户看懂数据,理解数据,所以开始数据可视化前一定要定义主要解决的问题。假设现在要通过观测网络流量来判断日常系统故障,你可以从网络行为逻辑、监控指标以及真实的网络访问关系等角度来定义自己要解决的问题。

智能运维解决方案:网络流量可视化

网络流量数据可视化

2.确定数据

进行数据可视化首先要有数据,由于画布大小的限制,过量的数据不能够在直接显示出来,所以要确定展示的数据。例如,在上面的场景中,网络节点之间存在着复杂的访问关系,你需要知道自己的系统节点是否健康,以及当前系统内外部网络访问关系。所以你希望能够得到一份详细的网络数据,以寻求在最短的时间内,准确定位相关节点的异常事件。通过对真实数据的查询、清洗、聚合、逻辑分类等操作,为工程师提供直观的应用系统内外部网络访问结构观测手段,呈现包含系统-逻辑层级-端口三个级别的通讯访问关系。使目标用户能够高效的监控网络中真实的通讯状态,从而快速发现问题。

智能运维解决方案:网络流量可视化

可视化网络拓扑

3.确定维度

进行数据可视化时要对数据进行分析,而确定数据纬度则是一个不可能绕过的话题。通过结构化属性、连续性特征和测量尺度,可以将数据进行分类,进而通过不同纬度进行分析。另外,通过数据类型,也可以将数据划分为定性和定量两个纬度。像网络行为逻辑、网络关键指标等文本型数据一般为定性纬度,而丢包重传数、连接失败数等数值型数据则为定量纬度。

智能运维解决方案:网络流量可视化

数据分类

4.确定类型

在前端展示上有非常多的图表类型可以使用,但是要根据要解决的问题、数据的结构、选择的数据维度来确定要选择的图表类型。常见的图表包括各类折线图、柱状图、饼图、热力图、表格等。

智能运维解决方案:网络流量可视化
智能运维解决方案:网络流量可视化

图表元素

对于上述场景提到的服务器存活流量的观测指标,考虑到能够在连续时间上显示数据的变化趋势,这里可以选择折线图进行展示,以判断服务器是否存在异常的网络行为。

智能运维解决方案:网络流量可视化

服务器存活流量相关参数

智能运维解决方案:网络流量可视化
智能运维解决方案:网络流量可视化

解决方案

可视化的业务场景千差万别,但其本质需求可以抽象为以下几类:

1.通用报表需求

开发过程中面临的 85% 以上的需求都是通用报表的需求,可以使用一般的图表库来满足日常的开发需求,行业内比较常用的图表库有Highcharts、Echarts、amCharts、AntV 等开源图表库。

智能运维解决方案:网络流量可视化

开源图表库

(引自Highcharts、Echarts、amCharts、AntV官网)

2.移动端可视化

如果你的需求是需要 PC 端和移动端都兼容那么使用 G2 然后适配移动端的屏幕即可;但是如果你在移动 APP 上使用 H5 或者小程序开发,那么就选择 F2开箱即用的可视化解决方案。AntV 提供了 G2 和 F2 两个统计图表框架,G2 本质上是为了传统的中后台产品设计的图表库,除了一般的报表显示外,还提供了大量的交互有很强的分析能力;而 F2 则专门为移动端开发,最关注的是代码大小、性能、表现力。

智能运维解决方案:网络流量可视化

开源图表库(引用来自antv官网)

3.大屏可视化

大屏可视化聚焦于会议展览、业务监控、风险预警、地理信息分析等多种业务的展示,在图形渲染、可视化设计方面都有很高的要求。大屏目前几乎已成为to B项目的标配,应用场景越来越广泛。前端可视化大屏的插件有gsap+svg、echarts、antv g6等,根据不同需求选用合适的插件。

智能运维解决方案:网络流量可视化

可视化大屏案例

智能运维解决方案:网络流量可视化

总的来说,数据可视化的本质是将数据通过各种视觉通道映射成图形,可以使得用户更快、更准确的理解数据。因此数据可视化要解决的问题是如何将数据通过视觉可观测的方式表达出来,同时需要考虑美观、可理解性,需要解决在展示的空间画布有限的情况下覆盖、杂乱、冲突等问题,再以交互的形式查看数据的细节。相信大家都可以设计出符合需求的可视化数据。

智能运维解决方案:网络流量可视化

文章作者:任爱华

孙艳平

排版设计:王蔚棋

手绘插画:岳   媛

在看不好意思,那就点个赞吧

原创文章,作者:EBCloud,如若转载,请注明出处:https://www.sudun.com/ask/33503.html

Like (0)
EBCloud的头像EBCloud
Previous 2024年4月2日 下午3:28
Next 2024年4月2日 下午3:28

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注