基于大数据技术的计算机网络安全问题分析

•

基于大数据技术的计算机网络安全问题分析

本文利用大数据技术对网络摘 上的安全日志、流量、用户方位、 要业务行为等信息进行采集、存储和数据分析。建立一个基于大数据技术的智能化计算机网络安全分析模型，以提高计算机网络的安全性。【关键词】大数据技术 网络安全分析 智能化

随着科学技术发展以及互联网技术广泛应用，整个互联网络环境更加多样灵活，计算机网络安全就显得尤为重要，其中最为重要的就是对计算机网络安全进行分析，只有进行准确快速的分析，才能及早对未知的网络攻击进行防御，从而减少不必要的损失。

1 大数据技术的应用背景

1.1 大数据技术的概念

大数据技术是采用分布式系统对采用常规数据处理方法无法处理的超大数据集进行处理的技术，常用的大数据技术有Spark、Hadoop以及MapReduce。大数据技术主要的目的是挖掘这些数据集背后隐藏的信息，通过机器学习的方法以产生商业价值。1.2 大数据技术的作用

大数据技术主要包括数据采集、数据存储、数据清洗、数据挖掘以及基于数据模型的构建。其中数据的采集是主要包括两方面，一方面是利用网络爬虫采集互联网上的数据，如管理信息、Web信息；另一方面是利用各种类型的传感器采集各种工业数据。数据存储是按照指定的格式对采集到的数据进行存储，如物理信息、实验信息。数据清洗是对采集到的有缺陷的数据进行筛选和处理，保证其结构的完整性。数据挖掘是利用机器学习方法挖掘数据背后隐藏的信息。数据模型的构建是利用采集到的数据建立模型进行各种预测。大数据技术有诸多应用，如利用大数据技术可以构建银行的信用卡欺诈检测模型，或构建产品推荐系统，还可以利用大数据技术进行金融风险评估或进行基因信息分析。

2 网络安全分析技术

2.1 计算机网络安全分析的作用

网络安全分析是通过对网络的安全日志、

文/沈振华

流量、用户方位、业务行为等信息进行采集、网络安全，否者分析出的数据没有任何的价值。存储和数据分析，从而发现网络中的漏洞、网因此，利用Hadoop大数据技术中的HDFS以络攻击、网络信息窃取等已知和未知的安全威及YARN分布式文件系统对数据进行存储后，胁，并能够对网络上的不安全因素进行风险识可以大大加快数据的读取速度，从而提高整个别和风险定位。通过网络的安全分析结果为维网络安全分析的效率，满足实时性的要求。护网络的安全与稳定奠定基础，因此网络安全分析是保障网络安全正常运行的关键步骤。3.3 基于大数据技术的网络信息处理分析2.2 计算机网络安全分析技术的现状

互联网上产生的安全日志、流量、用户方位、业务行为等信息的背后隐藏着各种各样当前主要的网络安全分析技术为网络全的有价值信息，网络安全分析可以通过对这些流量分析技术，任何网络攻击都会留下网络痕数据进行分析从而得知网络的安全状况，进而迹，而且网络攻击产生的网络数据通常与正常采取措施保证网络的安全。大数据技术中的流量网站产生的数据往往不同，因此通过对网MapReduce是一种用于数据处理的编程模型，络痕迹的分析进而感知网络的威胁并及时快速可以进行大规模的数据集处理，效率非常高响应制止网络攻击，最后对网络攻击取证进行效。由于各个用户的访问信息是独立的，因此责任判定。然而随着互联网技术的发展，网络可以采用MapReduce网络模型框架进行编程攻击形式也是多种多样，单纯依靠网络全流量进而进行数据分析。首先，将存储的数据利用分析技术已经无法满足各种大型互联网公司对HDFS分布式系统发送到各个网络节点，各个网络安全的需求，因此迫切需要一种变革的智节点组成一个集群，然后将数据的处理过程按能化网络安全分析技术，自动识别各种各样的照MapReduce框架转化为Map阶段和Reduce网络攻击并具有自适应防护功能。

阶段进行处理。利用MapReduce框架我们不3 大数据技术在网络安全分析中的应用

但可以进行数据的筛选，去掉一些不完整的数据或完善数据集，以避免数据集质量问题给网网络安全分析涉及对网络信息的信息采络安全分析造成错误或不好的分析结果。同时，集、存储和数据分析，而大数据技术也涉及到我们还可以利用MapReduce将预处理后的数数据采集、数据存储、数据清洗、数据挖掘以据集采用机器学习的方法进行数据分析，挖掘及基于数据模型的构建。由于两者的模式特别出数据背后的价值建立预测模型，从而准确地接近，所以可以将大数据技术引入到网络安全进行网络安全分析。由于机器学习具有较好的分析中，以此提高网络安全分析的效率和准确泛化性能，因此可以应对各种各样的网络攻击。

度。本文以互联网公司为例对大数据技术在网4 总结

络安全分析中的应用进行论述。3.1 基于大数据技术的网络信息采集

本文通过对大数据技术的作用和优点进行介绍，然后对当前网络安全分析存在的问题每个互联网公司每天都会产生大量的安进行分析，最后引出将大数据技术的优点引入全日志、流量、用户方位、业务行为等信息，到计算机网络安全分析中，并分别从基于大数我们可以将每台通信设备作为一个数据节点，据技术的网络信息采集、存储和处理分析方面整个公司所有的通信设备作为一个集群，采用进行论述，以提高计算机网络安全分析技术的Flume日志收集系统、Scribe分布式日志收集效率和准确度。

系统等进行安全日志、流量、用户方位、业务行为等信息的采集。Flume日志收集系统具有参考文献

流式数据方式的特点，而且具有故障转移与故[1]肖占军,赵志杰,吴宝明.基于大数据的

障恢复的能力，因此更加安全。Scribe分布式网络安全分析系统构建问题研究[J].网日志收集系统可以采用分布式方式，具有较强络安全技术与应用,2019(03):47.

的容错能力，因此可以更加高效地收集数据。[2]包利军.基于大数据的网络安全态势感知

平台在专网领域的应用[J].信息安全研3.2 基于大数据技术的网络信息存储

究,2019,5(02):168-175.

传统的网络数据量较大，一般都存储在硬盘当中，虽然磁盘的容量在稳步增加，但是作者简介

磁盘的读取速度却没有与时俱进。磁盘中数据沈振华（1989-），男，山东省莒县人。主要量大而读取效率低，将会导致整个网络安全数从事网络安全方面的工作。

据分析效率低下。由于网络安全分析必须具有快速实时性，这样网络才能进行快速响应维护

作者单位

中央网信办 北京市 100044

Electronic Technology & Software Engineering 电子技术与软件工程• 199