【AIOps】再论AIOps:知识图谱在IT运维领域的应用_AI.人工智能讨论区_Weblogic技术|Tuxedo技术|中间件技术|Oracle论坛|JAVA论坛|Linux/Unix技术|hadoop论坛_联动北方技术论坛  
网站首页 | 关于我们 | 服务中心 | 经验交流 | 公司荣誉 | 成功案例 | 合作伙伴 | 联系我们 |
联动北方-国内领先的云技术服务提供商
»  游客             当前位置:  论坛首页 »  自由讨论区 »  AI.人工智能讨论区 »
总帖数
1
每页帖数
101/1页1
返回列表
0
发起投票  发起投票 发新帖子
查看: 2798 | 回复: 0   主题: 【AIOps】再论AIOps:知识图谱在IT运维领域的应用        上一篇   下一篇 
huang.wang
注册用户
等级:中将
经验:17623
发帖:407
精华:1
注册:1970-1-1
状态:离线
发送短消息息给huang.wang 加好友    发送短消息息给huang.wang 发消息
发表于: IP:您无权察看 2019-4-29 16:41:00 | [全部帖] [楼主帖] 楼主


image.png

前段时间,我们简单谈论过“下一代运维AIOps智能”的概念与现状,在经过将近一年的发展后,人工智能在运维领域的应用已经取得了不俗的成绩,但与此同时,AIOps平台在实际应用中智能化程度不足的缺点也逐渐显露出来。

对于理想化的AIOps来说,用户希望它可以完成运维工作的每一个环节,例如发布变更、业务巡检、故障处理、对外沟通等等。但能完成做这些工作的前提,需要 AI 具备运维的背景知识,让 AI 像人一样思考并具备推理能力。

面对这个问题,一直以来伴随着人工智能发展的知识图谱价值逐渐体现出来。知识图谱的引入,将现有的 AIOps 变成一个具有运维知识的 AI,再结合大数据下的机器学习,不断进行自身完善的知识图谱,最终成为一个具有主动思考能力的运维大脑。套用业界的一个观点,机器学习让 AI 更聪明,而知识图谱让 AI 更有学识。利用领域性知识图谱,对运维专家积累的知识进行沉淀和存储,从长远来看十分具有价值,所以从某种程度上来说,知识图谱是实现下阶段 AIOps 的最关键技术之一。

下面,本文将从知识图谱的概念与历史沿革知识图谱的优点构建方法以及知识图谱在IT运维领域的应用三方面展开,再来浅谈一下智能AIOps运维。


一、知识图谱的概念与历史沿革

知识图谱的概念

知识图谱的概念最先由Google公司在2012年提出,旨在创造出一种全新的信息检索模式,为解决信息检索问题提供一种新的思路并以此为基础构建下一代智能化搜索引擎。从学术的角度来看,知识图谱的本质是语义网络(Semantic Network)的知识库。通俗点说,知识图谱就是一种揭示实体之间关系的语义网络,可以对现实世界的事物及其相互关系进行形式化地描述。例如在谷歌上搜索“张小龙”,在搜索结果页面的右侧会出现与之相关的身份信息、行为信息、社交信息、关联人等。现在的知识图谱已被用来泛指各种大规模的知识库。

1.png

知识图谱通常使用三元组的形式来表示,即G=(E,R,S),其中E={e1,e2,e3,...,en}是知识库中的实体集合,共包含|E|种不同的实体;R={r1,r2,...,rn}是知识库中的关系集合,共包含|R|种不同关系;S⊆E×R×E代表知识库中的三元组集合。

三元组的基本形式主要包括实体1、关系、实体2和概念、属性、属性值等,实体是知识图谱中的最基本元素,不同的实体间存在不同的关系。概念主要指集合、类别、对象类型、事物的种类,例如人物、地理等;属性主要指对象可能具有的属性、特征、特性、特点以及参数,例如国籍、生日等;属性值主要指对象指定属性的值,例如中国、1988-09-08等。每个实体(概念的外延)可用一个全局唯一确定的ID来标识,每个属性-属性值对可用来刻画实体的内在特性,而关系可用来连接两个实体,刻画它们之间的关联。

知识图谱的架构主要包括自身的逻辑结构以及体系架构,目前,大多数知识图谱都采用自底向上的方式进行构建,其中最典型就是Google的Knowledge Vaule,知识图谱体系架构如下图所示:

2.png

知识图谱体系架构

随着语义Web资源数量激增、大量的RDF数据被发布和共享、LOD等项目的全展开,学术界与工业界的研究人员花费了大量的精力构建各种结构化的知识库。这些知识库大致可以分为两类:开放链接知识库和行业知识库。开放链接知识库的典型代表有:Freebase、Wikidata、DBpedia、YAGO;垂直行业知识库的典型代表有:IMDB(电影数据)、MusicBrainz(音乐数据)、MusicBrainz(语义知识网络)。


知识图谱的历史沿革

知识图谱一直是伴随着人工智能技术的发展而发展的,在“知识图谱”概念提出之前,其前身是“知识工程”。总结知识工程的演进过程和技术进展,可以将知识工程分成五个标志性的阶段——前知识工程时期、专家系统时期、万维网1.0时期、群体智能时期以及知识图谱时期。

image.png

1.前知识工程时期(1956-1970)

知识工程诞生前期,人工智能旨在让机器能够像人一样解决复杂问题,图灵测试是评测智能的是手段。这一阶段主要有两个方法:符号主义和连结主义。符号主义认为物理符号系统是智能行为的充要条件;连结主义则认为大脑(神经元及其连接机制)是一切智能活动的基础。这一阶段具有代表性的工作是通用问题求解程序(GPS):将问题进行形式化表达,通过搜索,从问题初始状态,结合规则或表示得到目标状态。其中最成功应用是博弈论和机器定理证明等。这一时期的知识表示方法主要有逻辑知识表示、产生式规则、语义网络等。

这一时代人工智能和知识工程的先驱Minsky,Mccarthy和Newell以Simon四位学者因为他们在感知机、人工智能语言和通用问题求解和形式化语言方面的杰出工作分别获得了1969年、1971年、1975年的图灵奖。

2.专家系统时期(1970-1990)

这一时期是知识工程蓬勃发展期,通用问题求解强调利用人的求解问题的能力建立智能系统,而忽略了知识对智能的支持,使人工智能难以在实际应用中发挥作用。

70年开始,人工智能开始转向建立基于知识的系统,通过“知识库+推理机”实现机器智能,这一时期涌现出很多成功的限定领域专家系统,如MYCIN医疗诊断专家系统、识别分子结构的DENRAL专家系统以及计算机故障诊断XCON专家系统等。斯坦福人工智能实验室的奠基人Feigenbaum教授在1980年的一个项目报告《Knowledge Engineering:The Applied Side of Artificial Intelligence》中提出知识工程的概念,从此确立了知识工程在人工智能中的核心地位。这一时期知识表示方法有新的演进,包括框架和脚本等。80年代后期出现了很多专家系统的开发平台,可以帮助将专家的领域知识转变成计算机可以处理的知识。

3.万维网1.0时期(1990-2000)

在1990年到2000年,出现了很多人工构建大规模知识库,包括广泛应用的英文WordNet,采用一阶谓词逻辑知识表示的Cyc常识知识库,以及中文的HowNet。

Web1.0万维网的产生为人们提供了一个开放平台,使用HTML定义文本的内容,通过超链接把文本连接起来,使得大众可以共享信息。W3C提出的可扩展标记语言XML,实现对互联网文档内容的结构通过定义标签进行标记,为互联网环境下大规模知识表示和共享奠定了基础。这一时期在知识表示研究中还提出了本体的知识表示方法。

4. 群体智能时期(2000-2006)

群体智能在2001年,万维网发明人、2016年图灵奖获得者Tim Berners-Lee在科学美国人杂志中发表的论文《The Semantic Web》正式提出语义Web的概念,旨在对互联网内容进行结构化语义表示,利用本体描述互联网内容的语义结构,通过对网页进行语义标识得到网页语义信息,从而获得网页内容的语义信息,使人和机器能够更好地协同工作。W3C进一步提出万维网上语义标识语言RDF(资源描述框架)和OWL(万维网本体表述语言)等描述万维网内容语义的知识描述规范。

万维网的出现使得知识从封闭知识走向开放知识,从集中构建知识成为分布群体智能知识。原来专家系统是系统内部定义的知识,现在可以实现知识源之间相互链接,可以通过关联来产生更多的知识而非完全由固定人生产。这个过程中出现了群体智能,最典型的代表就是维基百科,实际上是用户去建立知识,体现了互联网大众用户对知识的贡献,成为今天大规模结构化知识图谱的重要基础。

5.知识图谱时期(2006年至今)

此时期为知识工程新发展时期,“知识就是力量”,将万维网内容转化为能够为智能应用提供动力的机器可理解和计算的知识是这一时期的目标。

从2006年开始,大规模维基百科类富结构知识资源的出现和网络规模信息提取方法的进步,使得大规模知识获取方法取得了巨大进展。与Cyc、WordNet和HowNet等手工研制的知识库和本体的开创性项目不同,这一时期知识获取是自动化的,并且在网络规模下运行。当前自动构建的知识库已成为语义搜索、大数据分析、智能推荐和数据集成的强大资产,在大型行业和领域中正在得到广泛使用。典型的例子是谷歌收购Freebase后在2012年推出的知识图谱(KnowledgeGraph),Facebook的图谱搜索,MicrosoftSatori以及商业、金融、生命科学等领域特定的知识库。最具代表性大规模网络知识获取的工作包括DBpedia、Freebase、KnowItAll、WikiTaxonomy和YAGO,以及BabelNet、ConceptNet、DeepDive、NELL、Probase、Wikidata、XLORE、Zhishi.me、CNDBpedia等。这些知识图谱遵循RDF数据模型,包含数以千万级或者亿级规模的实体,以及数十亿或百亿事实(即属性值和与其他实体的关系),并且这些实体被组织在成千上万的由语义体现的客观世界的概念结构中。

目前知识图谱的发展和应用状况,除了通用的大规模知识图谱,各行业也在建立行业和领域的知识图谱,当前知识图谱的应用包括语义搜索、问答系统与聊天、大数据语义分析以及智能知识服务等,在IT运维、智能客服、商业智能等真实场景体现出广泛的应用价值,而更多知识图谱的创新应用还有待开发。


二、知识图谱的优点构建方法

知识图谱的优点

在应用方面,知识图谱最大的价值在于能够让人工智能具备认知能力和逻辑能力。机器认知智能在应用方面是广泛、多样的,其优势主要体现在一下几个方面:

image.png

1.智能分析

越来越多的行业或是企业在生产运营中都累积了大量客观的数据信息,但由于缺乏分析能力,这些数据并没有创造出价值,甚至还侵占了大量的运维成本。可以说没有分析的大数据是没有价值的。

而知识图谱和基于知识图谱而发展起来的认知智能,为精细的大数据分析提供了有力的基础技术支持,可以赋能商业情报、舆情分析、客户维护、军情分析等多种领域和行业,让大数据发挥出应有的价值。

2.智能检索

无论检索的对象是文本、还是图片、音频、视频、以及代码。知识图谱都可以有效帮助搜索工具在缺少上下文联系信息的情况下,有效地甄别核心信息,还可以在检索中根据需要进行不同量级的检索操作。

知识图谱基于其富有特点的三元组结构,可以实现将知识、行为、数据等多种信息融合增补,使用得越多效果越好,让智能检索服务做到精准化、场景化、个性化。

3.人机交互

知识图谱类人脑的信息逻辑方式,能让机器更有效率的吸收储存管理各类知识,从而更好的理解人类的语言信息,使得人机交互变得更加简单自然。在未来,类似siri、小娜、小爱同学等语言助手以及其他会话式机器人,将能够更好得帮助我们解决疑问。

4.可解释性

在人工智能发展的过程中,人类一直对人工智能所给出的结论、推理等抱有一定的怀疑态度。而知识图谱的出现,在人工智能的可解释性方面有着重要的作用。知识图谱的逻辑结构是类人脑模式,其中的信息输入和采集也是由人提供的,因此大大提高了人工智能结论的可信度。知识图谱的这一特性是人工智能在金融、医疗、司法等领域得以落地应用的核心环节。


知识图谱的构建

构建一个知识图谱,通常包括下面三个步骤:信息抽取——知识融合——知识加工。下面分开进行讲述。

image.png

(1)信息抽取

信息抽取又名知识抽取,是知识图谱构建的第一步,是一种自动化地从半结构化和无结构数据中抽取实体、关系以及实体属性等结构化信息的技术,具体分为:实体抽取、关系抽取和属性抽取。

实体抽取,也称为命名实体识别,是指从文本数据集中自动识别出命名实体.实体抽取的质量(准确率和召回率)对后续的知识获取效率和质量影响极大,因此是信息抽取中最为基础和关键的部分。实体抽取的方法大致可以分为三种:基于规则与词典的方法、基于统计机器学习的方法以及面向开放域的抽取方法。

关系抽取的目标是解决实体间语义链接的问题,早期的关系抽取主要是通过人工构造语义规则以及模板的方法识别实体关系。随后,实体间的关系模型逐渐替代了人工预定义的语法与规则。关系抽取技术的目的,是解决如何从文本语料中抽取实体间的关系。关系抽取大致可以分为基于开放式实体关系抽取和基于联合推理的实体关系抽取两类。

属性抽取的目标是从不同信息源中采集特定实体的属性信息。例如针对某个公众人物,可以从网络公开信息中得到其昵称、生日、国籍、教育背景等信息。属性抽取技术能够从多种数据来源中汇集这些信息,实现对实体属性的完整勾画。由于可以将实体的属性视为实体与属性值之间 的一种名词性关系,因此也可以将属性抽取问题视为关系抽取问题。

(2)知识融合

通过信息抽取,实现了从非结构化和半结构化数据中获取实体、关系以及实体属性信息的目标。然而,这些结果中可能包含大量的冗余和错误信息,数据之间的关系也是扁平化的,缺乏层次性和逻辑性,因此有必要对其进行清理和整合。知识融合包括两部分内容——实体链接和知识合并。

通过知识融合,可以消除概念的歧义,剔除冗余和错误概念,从而确保知识的质量。

实体链接是指对于从文本中抽取得到的实体对象,将其链接到知识库中对应的正确实体对象的操作,实体链接的一般流程是:

(1)从文本中通过实体抽取得到实体指称项;

(2)进行实体消歧和共指消解,判断知识库中的同名实体与之是否代表不同的含义以及知识库中是否存在其他命名实体与之表示相同的含义;

(3)在确认知识库中对应的正确实体对象之后,将该实体指称项链接到知识库中对应实体。

在构建知识图谱时,可以从第三方知识库产品或已有结构化数据获取知识输入。例如,关联开放数据项目会定期发布其经过积累和整理的语义知识数据,其中既包括前文介绍过的通用知识库 DBpedia和 YAGO,也包括面向特定领域的知识库产品。知识合并又可分为合并外部知识库、合并关系数据库两个层面。

(3)知识加工

通过信息抽取,可以从原始语料中提取出实体、关系与属性等知识要素。再经过知识融合,可以消除实体指称项与实体对象之间的歧义,得到一系列基本的事实表达。然而,事实本身并不等于知识,要想最终获得结构化、网络化的知识体系,还需要经历知 识加工的过程。

知识加工主要包括三方面内容:本体构建、知识推理和质量评估。

本体是同一领域内不同主体之间进行交流、连通的语义基础,其主要呈现树状结构,相邻的层次节点或概念之间具有严格的“IsA”关系,有利于进行约束、推理等,却不利于表达概念的多样性。

知识推理是指从知识库中已有的实体关系数据出发,经过计算机推理,建立实体间的新关联,从而拓展和丰富知识网络。知识推理是知识图谱构建的重要手段和关键环节,通过知识推理,能够从现有知识中发现新的知识。

质量评估也是知识库构技术的重要组成部分受现有技术水平的限制,采用开放域信息抽取 技术得到的知识元素有可能存在错误(如实体识别 错误、关系抽取错误等),经过知识推理得到的知识的质量同样也是没有保障的,因此在将其加入知识库之前,需要有一个质量评估的过程;随着开放关联数据项目的推进,各子项目所产生的知识库产品间的质量差异也在增大,数据间的冲突日益增多,如何对其质量进行评估,对于全局知识图谱的构建起着重要的作用。引入质量评估的意义在于:可以对知识的可信度进行量化,通过舍弃置信度较低的知识,可以保障知识库的质量。


三、知识图谱在IT运维领域的应用

在AIOps平台的实际使用过程中,常常会因为智能化不足而导致一些功能受到限制,尤其是在业务监控建设不断完善,海量业务故障产实时产生的今天,如何智能定位故障根源、实时统计业务影响是现阶段运营面临的一个难题。

在运维领域,可通过构建运维领域性图谱,将故障领域内的知识通过 CMDB 技术和一些机器学习的技术抽象化。由于是知识的存储,因此构建完成的运维知识图谱,在有数据赋能的情况下,就可以用来解决运维过程中错误查询、故障定位、智能运维模型建立等很多场景需求。

就目前来看,知识图谱在IT运维领域主要有如下几方面的应用。

1、故障定位

故障定位是一个复杂的问题,需要综合多方面数据进行关联分析,并且需要融入运维专家的经验,而知识图谱在处理关系复杂性,对知识的可解释性方面具有优势。

image.png

当系统某个故障发生时,如果知道当前服务故障的根本原因以及当前底层故障对上层的具体影响是什么,对于故障处理效率和准确率有很大的帮助。如果构建了知识图谱,可以根据配置信息自动生成的因果关系自动挖掘的故障信息各个模块之间存在关系,通过节点推导,很容易就找到真正发生问题的模块。

 

2、错误查询

知识图谱是对客观世界认识的形式化表示,将字符串映射为客观事件的事务。当前基于关键词的搜索技术在知识图谱的知识支持下可以上升到基于实体和关系的检索,称之为语义搜索。语义搜索可以利用知识图谱可以准确地捕捉用户搜索意图,进而基于知识图谱中的知识解决传统搜索中遇到的关键字语义多样性及语义消歧的难题,通过实体链接实现知识与文档的混合检索。

将语义检索与错误查询相结合,用户输入的多样化错误信息通过语义检索消除,同时解决语言中实体的歧义性问题,借助于知识图谱,可以直接给出满足用户搜索意图的答案,而不是包含关键词的相关网页的链接。

image.png

在实际使用过程中,用户可通过多种查询入口进入错误查询页面,根据键入的关键词信息,都能在智能运维平台根据错误信息查询到官方的解释与针对性的解答。

 

3、智能可视建模(原型)建立

可视化决策支持是指通过提供统一的图形接口,结合可视化、推理、检索等,为用户提供信息获取的入口。

例如,决策支持可以通过图谱可视化技术对创投图谱中的公司发展情况、业务范围与业务合作等信息进行解读,通过节点探索、路径发现、关联探寻等可视化分析技术展示公司的全方位信息,通过知识地图、时序图谱等形态对地理分布、发展趋势等进行解读,为运维合作的选择决策提供支持。  

可视化决策支持需要考虑的关键问题包括通过可视化方式辅助用户快速发现业务模式、提升可视化组件的交互友好程度、以及大规模图环境下底层算法的效率等。

image.png

在智能可视化模型界面,可以按切面/点集,类似于按层来逐个切片操作(类似PS),同时通过关键点出发,一点点构建复杂的关系,从而达到分析与决策等目的。

除了上述提到的功能,知识图谱在智能自动采集、报告生成以及系统架构上都能提供具有极高参考价值的解决方案。

从目前技术的发展来看,知识图谱是最接近真实世界的数据组织结构,和人的思维模式相符合,可以为人工智能的应用提供基础环境。专业领域的知识图谱目前在很多行业中已经发挥越来越重要的作用,技术上的挑战也有不断的进展,希望随着技术的发展,运维领域的知识图谱尽快落地,助力全面的智能AIOps运维早日实现。


该贴被huang.wang编辑于2019-10-9 9:58:44


我超级酷,但是如果你回复我的话我可以不酷那么一小会儿。


——来自logo.png


赞(0)    操作        顶端 
总帖数
1
每页帖数
101/1页1
返回列表
发新帖子
请输入验证码: 点击刷新验证码
您需要登录后才可以回帖 登录 | 注册
技术讨论