Web服务器攻击日志分析研究（安全）

Web服务器攻击日志分析研究（安全）

                     邓诗琪¹，刘晓明²，武旭东³，雷敏¹

(1．北京邮电大学信息安全中心，北京100876；2．国家计算机网络应急技术处理协调中心，北京1000129；3．四川科瑞软件有限责任公司，四川绵阳621000)

摘要：互联网技术的飞速发展改变了人们的生活方式，其中电子商务是近年来应用最为广泛的互联网应用之一。越来越多的Web服务器部署在互联网上向外提供服务，因此针对电子商务Web服务器的攻击不断增加。OWASP组织每年都公布Web应用程序遭受到的最多的10种攻击技术，其中攻击危害性较大的有SQL注入、XSS攻击和DDoS攻击等。这些攻击一方面使得电子商务服务器无法向外提供服务，另一方面还可能造成电子商务服务器中数据和用户个人隐私的泄露，因此电子商务服务器的安全防护是Web服务器安全运维最为重要的一个环节。通过对Web服务器日志的分析研究可以对网站的攻击事件进行检测，进而掌握Web服务器被攻击的来源和原因等，提高Web服务器的安全防护能力。文章通过对Web服务器攻击日志进行分析，将Web服务器日志进行分类，通过将日志记录中各个字段值与具有攻击特征的模式进行匹配，并对模式匹配后的日志进行分析，发现常见的攻击类型和攻击源等信息，并以图形化的形式展示，以此提高网站服务器的安全运维能力。

 关键词：Web服务器；攻击日志；日志分析

中图分类号：TP309  文章编号：1671-1122( 2016) 06-0056-06

0引言

    随着电子商务的飞速发展，越来越多的Web服务器在互联网上提供电子商务服务，人们也越来越依赖电子商务给生活带来的快捷与方便。然而，Web服务器开始遭受越来越多的不同形式的恶意攻击。根据OWASP( OpenWeb Application Security Project) TOP 10显示，Web服务器所受的最常见、最危险的威胁主要有互联网泄密事件／撞库攻击、第三方应用不安全引用、SQL注入漏洞、XSS跨站脚本攻击/CSRF、越权操作以及内部重要资料／文档外泄等。

    每年电子商务平台遭受各种攻击给电子商务的运营者和用户都带了巨大的损失，因此如何保证电子商务平台持续稳定地为用户提供正常的服务是当前电子商务运营商面临的重要挑战之一。

    当用户通过浏览器向服务器发送页面请求信息时，Web服务器会将用户所请求页面所对应的相关静态或动态页面文件返回给用户，同时在Web服务器的日志文件中记录用户的此次请求。对于大多数向电子商务网站发起网络攻击的行为，都会在Web服务器的日志中留下访问痕迹。因此，对电子商务网站的Web服务器日志文件进行深入研究和分析，能够帮助网站安全管理人员检测到相关攻击事件，进而为网站的安全加固和安全运营提供更好的防御方案。

    然而，通常情况下用户所请求的页面会包含多个文件，而HTTP协议中对Web服务器的文件请求是每个文件对应一个单独的URL联接，所以在用户发送某个页面的请求信息之后，Web服务器的日志文件中就会产生多条记录，使得Web服务器产生的日志文件数量异常庞大。例如，一个日访问量一般的网站，每日产生的Web服务器日志文件就能达到数十兆，长时间积累以后网站生成的Web服务器日志文件总数量可以达到GB级甚至更大，如果对Web服务器日志文件采用手工分析的方法，不仅工作量巨大，而且效率极低。此外，随着网站系统设计层次的复杂，攻击者的攻击行为也将变得难以捕捉。

    为更好地对Web服务器攻击日志进行深入分析和研究，本文设计实现了Web服务器攻击日志分析系统，该系统可以针对Web服务器所遭受的攻击行为进行分类，并将结果以图形化的形式展示。实验证明，该方法能够有效地检测多种Web攻击行为，从而较好地保障电子商务服务器网站的安全运营。

1 Web服务器安全简介

1.1 HTTP协议解析

    随着Web 2.0时代的到来，互联网从传统的C/S架构转变为更加方便快捷的B/S架构（浏览器／服务器结构）。当客户端与Web服务器进行交互时，就存在Web请求，这种请求都基于统一的应用层协议（HTTP协议）交互数据。

    HTTP（HyperText Transfer Protocol，即超文本传输协议）允许将HTML（超文本标记语言）文档从Web服务器传送到Web浏览器。当用户在浏览器地址栏输入一个URL并按回车键后，就向服务器发起了一个HTTP请求，之后Web服务器会进行响应并向客户端发送所请求的HTML数据。

1.2 Web服务器常见攻击

    1)互联网泄密事件／撞库攻击

    互联网泄密事件／撞库攻击将大量的用户数据作为攻击基础，将已经在互联网中泄露的用户信息收集起来制成相应的字典，然后尝试登录其他网站，从而获取更多的用户信息。近年来，互联网泄密事件／撞库攻击已经严重威胁到Web网站的数据安全，传统的登录方式无法再确保Web网站的安全。

    2)第三方应用不安全引用

    第三方应用的不安全引用是指Web应用程序开发人员在开发网站系统时对第三方组件、应用、库或者框架进行了不安全的直接引用。

    随着技术手段的不断提升，越来越多的Web网站开始引用第三方应用，然而，这也增加了Web网站被入侵的风险。由于Web网站在对第三方应用进行引用时一般将其平行地部署在系统之上，如果攻击者成功利用了一个安全性不高的第三方应用并向Web网站发起攻击，这种攻击将直接导致Web网站的崩溃和数据泄露。

  3)系统错误／逻辑缺陷带来的暴力破解

  暴力破解也被称为枚举测试、穷举法测试，是一种针对密码破译的方法，即将密码逐个比较，直到找出真正的密码为止。  虽然暴力破解有难度，但成功的机会是比较高的，而且危害也非常大。例如，公司内部系统某用户密码被成功破解，那么攻击者很有可能伪装成这个用户开展社会工程学入侵。如果攻击者侥幸破解了管理员或者高层的管理账号，后果将不堪设想。另外，攻击者如果破解了MySQL的管理员密码，数据就会被泄露，服务器也可能因此沦陷。

    4)敏感信息／配置信息泄露

    对于一个W eb网站系统，配置信息、数据信息、备份系统信息、敏感信息以及用户信息等都需要采取重点防护。如果没有对这些关键信息加以防护，进而这些信息发生了泄露，并被攻击者加以利用，将对Web网站造成巨大的危害。

    5)应用错误配置／默认配置

    Web网站开发人员在部署Web网站系统时，如果对于一些Web应用程序、第三方应用、中间件以及服务器端程序没有进行严格的安全配置，将会给攻击者对网站发起攻击提供便利，对网站的安全造成严重威胁。

    6) SQL注入漏洞

    SQL注入是指Web网站开发人员在编写网站代码时，忽略了对用户输入数据的合法性的判断，导致一部分不可信的数据没有被过滤掉并作为部分查询命令被发送到了解释器，解释器被攻击者所制造的恶意数据欺骗，执行了攻击者的恶意命令或者允许攻击者访问未经授权的数据。

    7) XSS跨站脚本攻击/CSRF

    XSS跨站脚本攻击是指攻击者在网页中嵌入客户端脚本（通常是用JavaScript编写的恶意代码），当用户用浏览器浏览被嵌入恶意代码的网页时，恶意代码将会在用户的浏览器上执行。

    当用户对某个Web网站进行正常访问时，浏览器与网站所在的Web服务器将会产生一个会活，在该会话处于合法有效期间，用户可以对网站进行一些合法的授权操作。CSRF攻击建立在这样的会话基础之上，在访问网站的合法用户不知情的情况下，以用户的名义伪造合法请求发送给目标Web网站，未经用户授权执行相应操作，给Web网站安全带来巨大风险。

    8)未授权访问／权限绕过

    未授权访问是指攻击者使用某种手段伪造用户请求，由于服务器没有对收到的请求进行严格的完整性检查，使得攻击者可以成功访问到没有授权的网站资源或信息。

  9)越权操作

  Web网站系统中，如果服务器端未对来自客户端的请求进行严格的身份验证，攻击者就能利用Web应用程序中与认证和会话管理相关的安全漏洞，通过社会工程学方法搜集相关有用信息或者通过泄露的其他重要信息访问未经合法授权的网站数据。

    10)内部重要资料／文档外泄等

    随着数字化时代的到来，人们开始越来越频繁使用电子设备来存储、处理和传输重要数据，部分安全意识不够强的程序员或者企业员工将涉密数据直接存储在非涉密的移动介质上，导致重要数据泄露。

2系统设计

    本文提出的Web服务器攻击日志分析系统架构如图1所示。用户访问电子商务网站，点击页面后，网站向Web服务器发送页面请求信息，Web服务器与数据库服务器进行交互，获取相应页面信息后，在Web服务器产生日志记录文件，日志分析系统对Web服务器日志记录文件进行相关处理，进行攻击日志记录的抓取和分析，最后自动化生成相关分析报告。

 

3日志分析

    根据Web服务器产生并访问日志记录文件的特点和Web服务器所遭受的网络攻击的特征，Web服务器攻击日志分析系统分为日志数据预处理、攻击记录抓取、日志深度分析和自动化报告生成4个阶段，流程如图2所示。  

  

从图2可以看出，日志数据预处理阶段主要由日志格式修改、日志文件导人数据、建立规则库等部分组成。同时，在对日志进行深度分析时，需要对攻击类型、被攻击资源和攻击者地理位置进行详细统计。

3.1日志数据预处理

    在W。b服务器攻击日志分析系统中，日志数据预处理是至关重要的一步。为了在对Web服务器攻击日志进行分析的过程中挖掘出更有价值的信息，数据源必须具有一定的规则性、准确性以及简洁性。然而，Web日志文件收集到的原始数据往往不尽人意，既不规则也不完整，甚至不准确，这对Web服务器攻击日志的分析和研究造成了困难。日志数据预处理可以改进日志数据的质量，提高日志数据的精度和性能。Web服务器日志数据预处理操作通常包括数据净化、数据抽取、数据转换和数据集成等过程。

    1)数据净化

    当用户通过浏览器向服务器发送页面请求信息时，Web服务器会将用户请求页面所对应的相关静态或动态页面文件返回给用户，同时在Web服务器的日志文件中记录用户此次请求。因此，即使用户只向Web服务器发起一次页面请求（即一次点击），Web服务器的日志文件中也可能产生许多记录。例如，跟踪一个固定IP地址的正常用户的访问记录可以发现，仅仅是简单的20次点击，就产生了上百条日志记录。如果要在庞大繁琐的Web服务器日志文件中抓取与恶意攻击相关的有用信息，对Web服务器日志文件进行数据净化十分必要。

    数据净化的目标是初步删除Web服务器日志文件中与分析目标不相关的垃圾数据，即在对Web服务器攻击日志进行研究时，需要处理掉与恶意攻击无关的数据。

    2)数据抽取

    在对Web服务器日志文件进行数据净化处理后，日志文件的数量不仅大幅度减少，日志原始数据也变得相对精确。根据目标信息的不同，还需要对数据净化处理后的Web服务器日志数据进行进一步的数据抽取工作。

  数据抽取是指在对目标信息进行充分的分析和理解后，确定需要用到的数据源和数据定义，制定相应的数据抽取规则，用以除去与目标信息不相关的数据，得到源数据。因此，数据抽取与目标信息紧密联系，目标信息不同，所需要的数据源不同，因而数据抽取规则也不相同。在对W。b服务器日志数据完成数据抽取工作之后，就能够形成比较精确的Web服务器日志源数据。

    Web服务器日志的字段是以字符串的形式存在的，如果含有攻击特征的信息存在于某个字段中，采用正则表达式表示此攻击特征，就会获取与之相对的匹配规则。为形成一个规则库，需要对Web服务器日志中存在的所有可能的网络攻击行为特征进行深入分析。规则库成功建立后，将所有规则与从Web服务器日志中提取的所有记录进行匹配，如果出现与规则库中规则相匹配的情况，则相对应的日志记录为网络攻击行为；相反，如果没有出现与规则库中规则相匹配的情况，则提取的日志记录为用户正常访问记录。

    通常情况下，网络攻击行为会在Web服务器日志文件中留下较为明显的痕迹，并且具备一定程度的统计性。因此，我们可以采用统计分析的方法来研究Web服务器日志文件，建立匹配规则库以捕捉安全事件。

    规则库中的规则需要包含的信息有规则编号( id)、攻击行为名称( name)、规则内容(rule)、攻击行为描述( description)以及危害程度(impact)，如表1所示。规则编号( id)具有唯一性，用来标识每一条与攻击行为相对应的规则。危害程度( impact)用于对由攻击行为造成的危害情况加以说明，取值范围为1～10，数值越大表示危害程度越严重。攻击行为描述( description)是对标识的攻击行为的简要描述，用于对匹配结果进行解释，帮助规则库的维护者对规则库进行维护。

 

  规则库的建立对Web服务器攻击日志分析系统具有关键性的作用，Web服务器所遭受攻击行为的分析结果与规则库的完善程度直接相关。如果规则库不具备完善性，可能会导致系统产生漏报的情况；如果规则库不具备精确性，可能会导致系统产生误报的情况；如果规则库中的规则太多、太复杂，又会导致匹配效率下降的情况。因此，Web服务器攻击日志分析系统中的规则库需具备完善性和可信性。

    3)数据转换

    对Web服务器日志文件进行数据净化和数据抽取后，Web服务器日志源数据已变得比较精确。但此时的Web服务器日志文件依然是文本文件，是一种半结构化的数据。数据转换是将非结构化或半结构化数据转换成结构化数据。为让Web服务器日志文件能导入到数据库中进行后续处理，需要对日志默认内容进行修改，对日志格式进行修改。首先对日志格式进行判断（是标准格式还是扩展格式）；然后根据实际意义将日志文件分开，并在对应的数据表中构造相应的字段；最后进行实际的数据转换工作。

    4)数据集成

    Web服务器日志文件在经过数据转换后，成了数据表。电子商务网站每间隔一定时间都会不断将Web服务器日志文件经过相应处理形成的新的数据表追加到一个固定的数据表文件中，再对这些数据进行数据集成操作。数据集成是将多个相关数据源（如注册用户数据表，网站结构数据表等）中的数据结合起来存放到一个数据表中存储，从而形成电子商务网站的数据仓库。

3.2抓取攻击记录

    在抓取个别类型的攻击行为记录时，由于无法直接从单条日志记录中捕捉到攻击行为，需要对该种类型的攻击行为采用统计分析的方法进行分析。例如，对从同一源lP到同一目的1P的记录进行统计，如果短时间内对应用的连续失败认证数量超过一定的阈值，则该行为可以被判定为Brute Force攻击。

    将经过预处理的Web服务器日志记录与规则库中的规则逐一进行匹配，如果匹配成功，则该日志记录包含了对应攻击行为的特征信息，反之则说明该日志记录是正常的访问记录。

3.3日志深度分析

    日志深度分析主要是采用统计分析和数据挖掘的方法对上一阶段的结果进行分析。采用统计分析的方法可以获取网站受到的攻击种类的分布情况、攻击发起者所处地理位置的分布情况、遭受攻击的网站的资源分布情况等信息。采用数据挖掘的方法还可以对攻击的来源，地理位置的分布，攻击的网站资源分布情况等信息进行分析。

3.3.1攻击类型统计

    对于某一条Web服务器日志记录，在匹配成功的情况下，可以根据与之对应的匹配规则分析出相应的攻击类型。统计所有成功匹配的Web服务器日志记录，可以获取网站所遭受的所有类型的网络攻击的攻击次数。同时，根据STATUS字段可以对某个攻击的具体情况进行判断（成功或者失败），从而获取网站所遭受的所有类型的网络攻击的攻击成功次数。将统计分析结果制成相应的表格或者图形，方便网站相关安全管理人员直观查看网站遭受攻击的总体情况。图3所示为网站遭受AWVS扫描时反馈的信息。

 

3.3.2遭受攻击的网站的资源分析情况统计

    根据正则匹配结果中的访问路径及参数，进行聚类分析，识别访问同一网站资源的路径，并统计相应次数，生成图形以及表格分析结果，如图4所示。

 

  访问路径及参数的形式为：“路径”？“参数”。“路径”部分的内容包含等级结构的路径定义，一般以斜线(／)来分隔不同部分。“参数”部分是用于动态访问位于服务器上的数据库时所需的参数。

为参数。与规则库中的规则进行匹配操作的主要是参数部分，因此通过这种统计方法得到的网站资源很有可能是攻击者进行猜测性攻击所致的，而不是真实存在的。为了获取真实有效且遭受到网络攻击的网站资源，需要先去除被攻击者所猜测而不是真实存在的网站资源：从Web服务器日志中提取用户进行过正常访问且服务器返回正常的所有访问路径，将这些访问路径与匹配成功的网页路径相对比从而确定攻击的网站资源。

3.3.3攻击者地理位置统计

    通过对日志中IP地址来源进行分析，可以得到IP地址地理位置信息，包括所属国家、城市、区域、邮政编码，甚至经纬度等信息，如图5所示。

 

3.4生成报告

  在生成报告阶段，系统将对Web服务器日志进行分析所得的结果在网页上以报表、图形的方式展示，为电子商务网站管理人员提供网站的整体安全状况展示，分析可能存在的安全漏洞，从而为电子商务网站安全管理人员设计网站的安全加固和防御方案提供思路。

4结束语

    目前，电子商务网站正在逐渐渗透到人们的牛活中，但其所受到的各种安全威胁也在飞速增长，因此对电子商务网站的安全防护至关重要。对于大多数向电子商务网站发起网络攻击的行为，都会在Web服务器的日志文件中留下访问痕迹。本文设计了_一套Web服务器攻击日志分析系统，能够帮助电子商务网站安全管理员了解并分析Web电子商务网站遭受攻击的部分情况，提出有效的Web服务器安全加固和防御方案，从而提高电子商务网站安全运营的能力。