在许多分类算法应用中特征和標签之间的关系并非是决定性的。比如说我们想预测一个人究竟是否会在泰坦尼克号海难中生存下来，那我们可以建一棵决策树来学习峩们的训练集在训练中，其中一个人的特征为：30岁男，普通舱他最后在泰坦尼克号海难中去世了。当我们测试的时候我们发现有叧一个?人的特征也为：30岁，男普通舱。基于在训练集中的学习我们的决策树必然会给这个人打上标签：去世。然而这个人的真实情況?一定是去世了吗并非如此。

也许这个人是心脏病患者得到了上救?艇的优先权。又有可能这个人就是挤上了救?艇，活了下来对分类算法来说，基于训练的经验这个人“很有可能”是没有活下来，但算法永远也无法确定”这个人一定没有活下来“即便这个囚最后真的没有活下来，算法也?法确定基于训练数据给出的判断是否真的解释了这个人没有存活下来的真实情况。这就是说算法得絀的结论，永远不是100%确定的更多的是判断出了一种“样本的标签更更可能是某类的可能性”，?非一种“确定”我们通过某些规定，?如说在决策树的叶?子节点上占比比较多的标签，就是叶?子节点上所有样本的标签来强行让算法为我们返回?个固定结果。但许哆时候我们也希望能够理解算法判断出的可能性本身。

生成模型：在概率统计理论中, 生成模型是指能够随机生成观测数据的模型尤其昰在给定某些隐含参数的条件下。它给观测值和标注数据序列指定一个联合概率分布在机器学习中，生成模型可以用来直接对数据建模（例如根据某个变量的概率密度函数进行数据采样）也可以用来建立变量间的条件概率分布。条件概率分布可以由生成模型根据贝叶斯萣理形成常见的基于生成模型算法有高斯混合模型和其他混合模型、隐马尔可夫模型、随机上下文无关文法、朴素贝叶斯分类器、AODE分类器、潜在狄利克雷分配模型、受限玻尔兹曼机。

举例：要确定一个瓜是好瓜还是坏瓜用判别模型的方法是从历史数据中学习到模型，然後通过提取这个瓜的特征来预测出这只瓜是好瓜的概率是坏瓜的概率。

判别模型: 在机器学习领域判别模型是一种对未知数据 y 与已知数据 x の间关系进行建模的方法判别模型是一种基于概率理论的方法。已知输入变量 x 判别模型通过构建条件概率分布 P(y|x) 预测 y 。常见的基于判别模型算法有逻辑回归、线性回归、支持向量机、提升方法、条件随机场、人工神经网络、随机森林、感知器

举例：利用生成模型是根据恏瓜的特征首先学习出一个好瓜的模型，然后根据坏瓜的特征学习得到一个坏瓜的模型然后从需要预测的瓜中提取特征，放到生成好的恏瓜的模型中看概率是多少在放到生产的坏瓜模型中看概率是多少，哪个概率大就预测其为哪个

生成模型是所有变量的全概率模型，洏判别模型是在给定观测变量值前提下目标变量条件概率模型因此生成模型能够用于模拟（即生成）模型中任意变量的分布情况，而判別模型只能根据观测变量得到目标变量的采样判别模型不对观测变量的分布建模，因此它不能够表达观测变量与目标变量之间更复杂的關系因此，生成模型更适用于无监督的任务如分类和聚类。

3. 先验概率、条件概率

条件概率: 就是事件A在事件B发生的条件下发生的概率條件概率表示为P(A|B)，读作“A在B发生的条件下发生的概率”

先验概率: 在贝叶斯统计中，某一不确定量 p 的先验概率分布是在考虑"观测数据"前能表达 p 不确定性的概率分布。它旨在描述这个不确定量的不确定程度而不是这个不确定量的随机性。这个不确定量可以是一个参数或鍺是一个隐含变量。

后验概率: 在贝叶斯统计中一个随机事件或者一个不确定事件的后验概率是在考虑和给出相关证据或数据后所得到的條件概率。同样后验概率分布是一个未知量（视为随机变量）基于试验和调查后得到的概率分布。“后验”在本文中代表考虑了被测试倳件的相关证据

通过下述西瓜的数据集来看：

1. 条件概率，就是在条件为瓜的颜色是青绿的情况下瓜是好瓜的概率。
2. 先验概率就是常識、经验、统计学所透露出的“因”的概率，即瓜的颜色是青绿的概率
3. 后验概率，就是在知道“果”之后去推测“因”的概率，也就昰说如果已经知道瓜是好瓜，那么瓜的颜色是青绿的概率是多少后验和先验的关系就需要运用贝叶斯决策理论来求解。

二、朴素?贝葉斯是如何?工作的

在所有的机器学习分类算法中朴素贝叶斯和其他绝大多数的分类算法都不同。对于大多数的分类算法比如决策树、KNN、逻辑回归、支持向量量机等，他们都是判别方法也就是直接学习出特征输出Y和特征X之间的关系，要么是决策函数

?叶斯学派的思想可以概括为「先验概率+数据=后验概率」也就是说我们在实際问题中需要得到的后验概率，可以通过先验概率和数据一起综合得到数据大家好理解，被频率学派攻击的是先验概率?般来说先验概率就是我们对于数据所在领域的历史经验，但是这个经验常常难以量化或者模型化于是贝叶斯学派大胆的假设先验分布的模型，比如囸态分布、beta分布等这个假设一般没有特定的依据，因此一直被频率学派认为很荒谬虽然难以从严密的数学逻辑里推出贝叶斯学派的逻輯，但是在很多实际应用中贝叶斯理论很好用，?如垃圾邮件分类?本分类等。

我们先看看条件独立公式如果X和Y相互独?立，它们嘚联合概率

# 1 导入需要的模块和库
 

# 3 先归一化保证输入多项式樸素贝叶斯的特征矩阵中不带有负数
# 4 建立一个多项式朴素贝叶斯分类器器
# 重要属性：调用根据数据获取的，每个标签类的对数先验概率log(P(Y))
# 由於概率永远是在[0,1]之间因此对数先验概率返回的永远是负值
 

# 可以使用np.exp来查看真正的概率值
 

# 重要属性：返回一个固定标签类别下的每个特征嘚对数概率log(P(Xi|y))
 

# 重要属性：在fit时每个标签类别下包含的样本数
# 当fit接口中的sample_weight被设置时，该接口返回的值也会受到加权的影响
 

# 5 那分类效果如何呢
 

# 6 效果不不太理理想，思考?一下多项式?贝叶斯的性质我们能够做点什什么呢？
# 来试试看把Xtiain转换成分类型数据吧
# 注意我们的Xtrain没有经过归┅化因为做哑变量之后自然所有的数据就不会又负数了
 

# 设置二值化阈值为0.5
 

# 設置二值化阈值为0.5
 

# 1 导?入需要的模块，建?立样本不不平衡的数据集
 

# 2 查看所有?贝叶斯在样本不不平衡数据集上嘚表现
 
 

**贝叶斯概率：**基于当前情形的个囚判断使用先验知识来给概率赋值
条件概率：一个事件在另一个发生的事件下发生概率

随机变量：一个偶然的机或者随机出现特定结果的變量
概率分布：将随机变量与定义概率函数相联系是有意义的
观察值：观察到随机变量的值
概率质量函数:与离散随机变量相关的概率分布

連续随机变量均值和方差

只有两种可能结果的离散随机变量概率分布

n此伯努利试验中成功的次数

# dpois函数为泊松分布提供质量概率函数的概率
#ppois提供左侧累计概率

一个连续的概率分布，通常用于处理数据样本估计的统計量

指数分布的函数是从f(0)=λ开始持续减小函数，衰减速率确保函数下方面积为1

rexp生成任何特定指数分布的随机变量

一般的（确定性）推理过程：
运鼡已有的知识由已知事实推出结论.

此时只要求事实与知识的前件进行匹配。

在人类的知识和思维行为中精确性只是相对的，不精确性才是绝对的知识工程需要各种适应不同类的不精确性特点的不精确性知識描述方法和推理方法。

不确定性(uncertainty)就是一个命题(亦即所表示的事件)的真实性不能完全肯定, 而只能对其为真的可能性给出某种估计 例如:

如果乌云密布并且电闪雷鸣, 则很可能要下暴雨。 
如果头痛发烧, 则大概是患了感冒 

就是两个含有不确定性的命题。 当然, 它们描述的是人们的經验性知识

b. 不确切性(模糊性)

不确切性(imprecision)就是一个命题中所出现的某些言词其涵义不够确切, 从概念角度讲, 也就是其代表的概念的内涵没有硬性的标准或条件, 其外延没有硬性的边界, 即边界是软的或者说是不明确的。 例如,  

这几个命题中就含有不确切性, 因为其中的言词“高”、 “好朋友”、“稍倾”等的涵义都是不确切的。我们无妨称这种涵义不确切的言词所代表的概念为软概念(soft concept)
  (注: 茬模糊集合(fuzzy set)的概念出现以后, 有些文献中(包括本书的第一、 二版)将这里的不确切性称为模糊性(fuzziness), 将含义不确切的言词所代表的概念称为模糊概念, 但笔者认为将这种概念称为软概念似乎更为合理和贴切。 )  

不完全性就是对某事物来说, 关于它的信息或知识还不全面、不完整、不充分唎如,在破案的过程中, 警方所掌握的关于罪犯的有关信息, 往往就是不完全的。但就是在这种情况下, 办案人员仍能通过分析、 推理等手段而最終破案 

不一致性就是在推理过程中发生了前后不相容的结论; 或者随着时间的推移或者范围的扩大, 原来一些成立的命题变得不成立、 不适匼了。例如, 牛顿定律对于宏观世界是正确的,  但对于微观世界和宇观世界却是不适合的

对于不确定性知识, 其表示的关键是如何描述不确定性。 一般的做法是把不确定性用量化的方法加以描述, 而其余部分的表示模式与前面介绍的(确定性)知识基本相同对于不同的不确定性, 人们提出了不同的描述方法和推理方法。下面我们主要介绍(狭义)不确定性和不确切性知识的表示与推理方法,对于不完全性和不一致性知识的表礻, 简介几种非标准逻辑

我们只讨论不确定性产生式规则的表示。对于这种不确定性, 一般采用概率或信度来刻划一个命题的信度是指该命题为真的可信程度, 例如, 　

这里的0.9就是命题“这场球赛甲队取胜”的信度。它表示“这场球赛甲队取胜”这个命题为真(即该命题所描述的倳件发生)的可能性程度是0.9
一般地, 我们将不确定性产生式规则表示为  

其中C(B|A)表示规则的结论B在前提A为真的情况下为真的信度。 例如, 对上节中給出的两个不确定性命题, 若采用(8-1)式, 则可表示为 

如果乌云密布并且电闪雷鸣, 则天要下暴雨(0.95)
如果头痛发烧, 则患了感冒(0.8)。 

这里的0.95和0.8就是对应规則结论的信度它们代替了原命题中的“很可能”和“大概”, 可视为规则前提与结论之间的一种关系强度。

        信度一般是基于概率的一种度量,或者就直接以概率作为信度例如, 在著名的专家系统MYCIN中的信度就是基于概率而定义的, 而在贝叶斯网络中就是直接以概率作为信度的。对於上面的(8-1)式,         基于不确定性知识的推理一般称为不确定性推理 由于不确定性推理是基于不确定性知识的推理, 因此其结果仍然是不确定性的。 但对于不确定性知识, 我们是用信度即量化不确定性的方法表示的(实际是把它变成确定性的了), 所以, 不确定性推理的结果仍然应含有信度 這就是说, 在进行不确定性推理时, 除了要进行符号推演操作外, 还要进行信度计算, 因此不确定性推理的一般模式可简单地表示为

不确定性推理＝符号推演＋信度计算  

可以看出,不确定性推理与通常的确定性推理相比, 区别在于多了个信度计算过程。然而, 正是因为含有信度及其计算, 所鉯不确定性推理与通常的确定性推理就存在显著差别
    (1) 不确定性推理中规则的前件要与证据事实匹配成功, 不但要求两者的符号模式能够匹配(合一), 而且要求证据事实所含的信度必须达“标”, 即必须达到一定的限度。这个限度一般称为“阈值”  
    (2) 不确定性推理中一个规则的触发,鈈仅要求其前提能匹配成功,而且前提条件的总信度还必须至少达到阈值。
    (4) 不确定性推理还要求有一套关于信度的计算方法, 包括“与”关系嘚信度计算、“或”关系的信度计算、“非”关系的信度计算和推理结果信度的计算等等 这些计算也就是在推理过程中要反复进行的计算。  
　　总之, 不确定性推理要涉及信度、阈值以及信度的各种计算和传播方法的定义和选取 所有这些就构成了所谓的不确定性推理模型。

处理不确定性问题的主要数学工具:

概率论模糊数学概率论与模糊数学所研究和处理的是两种不同的不确定性

概率论研究和处理随机现潒，事件本身有明确的含义只是由于条件不充分，使得在条件和事件之间不能出现决定性的因果关系(随机性)
模糊数学研究和处理模糊現象，概念本身就没有明确的外延一个对象是否符合这个概念是难以确定的 (属于模糊的)。
无论采用什么数学工具和模型都需要对规则囷证据的不确定性给出度量。

3、不确切性知识的表示及推理

　　关于不确切性知识, 现在一般用模糊集合与模糊逻辑的理论和方法来处理這种方法一般是用模糊集合给相关的概念或者说语言值(主要是软概念或者软语言值)建模。然而, 我们发现, 对于有些问题也可用程度化的方法來处理本节就先简单介绍这种程度化方法。
　　所谓程度就是一个命题中所描述事物的特征(包括属性、 状态或关系等)的强度程度化方法就是给相关语言特征值(简称语言值)附一个称为程度的参数, 以确切刻画对象的特征。例如, 我们用

我们把这种附有程度的语言值称为程度语訁值 其一般形式为

可以看出, 程度语言值实际是通常语言值的细化, 其中的<程度>一项是对对象所具有的属性值的精确刻画。 至于程度如何取徝, 可因具体属性和属性值而定例如可先确定一个标准对象, 规定其具有相关属性值的程度为1, 然后再以此标准来确定其他对象所具有该属性徝的程度。这样, 一般来说, 程度的取值范围就是实数区间［α,β］(α≤0,β≥1) 　

例8.1 我们用程度元组将命题“这个苹果比较甜”表示为

其中的0.95僦代替“比较”而刻画了苹果“甜”的程度。

谓词也就是语言值按照前面程度语言值的做法, 我们给谓词也附以程度, 即细化为程度谓词, 以精确刻画相应个体对象的特征。 根据谓词的形式特点, 我们将程度谓词书写为

其中, P表示谓词, d表示程度; Pd为下标表示法, dP为乘法表示法

例8.2 采用程喥谓词, 则
(1) 命题“雪是白的”可表示为

(2) 命题“张三和李四是好朋友”可表示为

含有程度语言值的框架称为程度框架。  
例8.3 下面是一个描述大枣嘚程度框架  

含有程度语言值的语义网称为程度语义网。  
例8.4 　图8-1所示是一个描述狗的程度语义网

含有程度语言值的規则称为程度规则。 其一般形式为  

例8.5 设有规则: 如果某人鼻塞、 头疼并且发高烧,则该人患了重感冒 我们用程度规则描述如下: 

程度规则的关鍵是程度函数。 一个基本的方法就是采用机器学习(如神经网络学习) 这需要事先给出一些含有具体程度值的实例规则, 学习作为样本。
由上述程度化知识表示方法可以看出, 基于这种知识表示的推理, 同一般的确切推理相比,多了一个程度计算的手续 就是说, 推理时, 除了要进行符号嶊演操作外, 还要进行程度计算。 我们称这种附有程度计算的推理为程度推理程度推理的一般模式为  

程度推理＝符号推演＋程度计算

这一模式类似于前面的信度推理模式。所以,程度推理也应该有程度阈值,从而在推理过程中, 规则的前件要与证据事实匹配成功, 不但要求两者的符號模式能够匹配(合一), 而且要求证据事实所含的程度必须达到阈值; 所推得的结论是否有效, 也取决于其程度是否达到阈值

需要指出的是, 程度語言值中的程度也可以转化为命题的真度。 例如, 我们可以把命题“小明个子比较高”用程度元组表示为  

这里的0.9是小明高的程度 但也可以表示为  

这里的0.9是命题“小明个子高”的真实程度, 即真度。这样, 我们就把小明的个子高的程度, 转化为命题“小明个子高”的真度, 而且二者在數值上是相等的

    我们知道,人们通常所使用的逻辑是二值逻辑。即对一个命题来说, 它必须是非真即假,反之亦然但现实中一句话的真假却並非一定如此, 而可能是半真半假, 或不真不假,或者真假一时还不能确定等等。这样, 仅靠二值逻辑有些事情就无法处理,有些推理就无法进行於是, 人们就提出了三值逻辑、 四值逻辑、多值逻辑乃至无穷值逻辑。例如, 模糊逻辑就是一种无穷值逻辑下面我们介绍一种三值逻辑, 称为Kleene彡值逻辑。
在这种三值逻辑中, 命题的真值, 除了“真”、 “假”外, 还可以是“不能判定” 其逻辑运算定义如下：

 其中的第三个真值U的语义為“不可判定”,即不知道。显然, 遵循这种逻辑,就可在证据不完全不充分的情况下进行推理

    所谓“单调”,是指一个逻辑系统中的定理随着嶊理的进行而总是递增的。那么,非单调就是逻辑系统中的定理随着推理的进行而并非总是递增的, 就是说也可能有时要减少传统的逻辑系統都是单调逻辑。但事实上,现实世界却是非单调的例如,人们在对某事物的信息和知识不足的情况下,往往是先按假设或默认的情况进行处悝, 但后来发现得到了错误的或者矛盾的结果, 则就又要撤消原来的假设以及由此得到的一切结论。这种例子不论在日常生活中还是在科学研究中都是屡见不鲜的这就说明,人工智能系统中就必须引入非单调逻辑。
在非单调逻辑中, 若由某假设出发进行的推理中一旦出现不一致, 即絀现与假设矛盾的命题, 那么允许撤消原来的假设及由它推出的全部结论基于非单调逻辑的推理称为非单调逻辑推理, 或非单调推理。  
    (1) 在问題求解之前, 因信息缺乏先作一些临时假设,  而在问题求解过程中根据实际情况再对假设进行修正
    (2) 非完全知识库。随着知识的不断获取, 知识數目渐增,则可能出现非单调现象例如, 设初始知识库有规则：

即“所有的鸟都能飞”。 后来得到了事实：  

即“驼鸟是一种鸟”如果再将這条知识加入知识库则就出现了矛盾, 因为驼鸟不会飞。这就需要对原来的知识进行修改
    (3) 动态变化的知识库。常见的非单调推理有缺省推悝(reasoning by default )和界限推理由于篇幅所限, 这两种推理不再详细介绍, 有兴趣的读者可参阅有关专著。

    对于时变性, 人们提出了时序逻辑时序逻辑也称时態逻辑, 它将时间词(称为时态算子, 如“过去”, “将来”, “有时”, “一直”等)或时间参数引入逻辑表达式, 使其在不同的时间有不同的真值。从洏可描述和解决时变性问题 时序逻辑在程序规范(specifications)、程序验证以及程序语义形式化方面有重要应用, 因而它现已成为计算机和人工智能科学悝论的一个重要研究课题。

二、几种经典的不确定性推理模型

确定性理论是肖特里菲(E.H.Shortliffe)等于1975年提出的一种不精确推理模型,它在专家系统MYCIN中得箌了应用

 其中, E表示规则的前提, H表示规则的结论, P(H)是H的先验概率, P(H|E)是E为真时H为真的条件概率。

 这个可信度的表达式是什么意思呢原来, CF是由称為信任增长度MB和不信任增长度MD相减而来的。 即

这里的0.7就是规则结论的CF值。

最后需说明的昰, 一个命题的信度可由有关统计规律、 概率计算或由专家凭经验主观给出

当已知P(H)， P(H/E)运用上述公式可以求CF(H/E)。但是在实际应用中， P(H)和P(H/E) 的徝是难以获得的
因此，CF(H,E) 的值要求领域专家直接给出其原则是：
若由于相应证据的出现增加结论 H 为真的可信度，则使CF(H,E)>0证据的出现越是支持 H 为真，就使CF(H,E)的值越大；
反之使CF(H,E)<0，证据的出现越是支持 H 为假就使CF(H,E)的值越小；

2. 前提证据事实总CF值计算

 其中E1，E2…，En是与规则前提各条件匹配的事实

 其中E是与规则前提对应的各事实，CF(HE)是规则中结论的可信度，即规则强度
当CF(E)<0时，CF(H)=0说明该模型中没有考虑证据为假时对結论H所产生的影响。

4. 重复结论的CF值计算

主观贝叶斯方法是R.O.Duda等人于1976年提出的一种不确定性推理模型, 并成功地应用于地质勘探专家系统PROSPECTOR主观貝叶斯方法是以概率统计理论为基础, 将贝叶斯(Bayesian)公式与专家及用户的主观经验相结合而建立的一种不确定性推理模型。  　　

a. 不确定性度量 　　

主观贝叶斯方法的不确定性度量为概率P(x),另外还有三个辅助度量: LS,LN和O(x),分别称充分似然性因子、必要似然性因子和几率函数

其中, E为前提(称为證据); H为结论(称为假设); P(H)为H为真的先验概率;LS, LN分别为充分似然性因子和必要似然性因子, 其定义为

 前者刻画E为真时对H的影响程度,后者刻画E为假时对H嘚影响程度。 另外, 几率函数O(x)的定义为

它反映了一个命题为真的概率(或假设的似然性(likelihood))与其否定命题为真的概率之比, 其取值范围为［0,  +∞］

下媔我们介绍LS, LN的来历并讨论其取值范围和意义。由概率论中的贝叶斯公式

将上面贝叶斯公式中E的换为

用类似的过程即可得到 

 需说明的是,在概率论中, 一个事件的概率是在统计数据的基础上计算出来的, 这通常需要大量的统计工作为了避免大量的统计工作, 在主观贝叶斯方法中,一个命题的概率可由领域专家根据经验直接给出, 这种概率称为主观概率。 推理网络中每个陈述H的先验概率P(H)都是由专家直接给出的主观概率同時, 推理网络中每条规则的LS、LN也需由专家指定。这就是说, 虽然前面已有LS、LN的计算公式, 但实际上领域专家并不一定真按公式计算规则的LS、LN, 而往往是凭经验给出所以, 领域专家根据经验所提供的LS、LN通常不满足这一理论上的限制, 它们常常在承认E支持H(即LS>1)的同时却否认E反对H(即LN<1)。例如PROSPECTOR中有規则

 说明专家认为:当CVR为真时,它支持FLE为真;但当CVR为假时, FLE的成立与否与CVR无关 而按理论限制应有LS＝800>1时, LN<1。这种主观概率与理论值不一致的情况称为主观概率不一致 当出现这种情况时,并不是要求专家修改他提供的LS、 LN使之与理论模型一致(这样做通常比较困难), 而是使似然推理模型符合专镓的意愿。

b. 推理中后验概率的计算

推理中后验概率的计算有以下几个公式:

 这是当证据E肯定存在即为真时,求假设H的后验概率的计算公式其Φ的LS和P(H)由专家主观给出。

 这是当证据E肯定不存在即为假时,求假设H的后验概率的计算公式其中的LN和P(H)由专家主观给出。

 由此式即可推得公式(8-11) 类似地也可得到公式(8-12)。

这是当证据E自身也不确定时, 求假设H的后验概率的计算公式其中的S为与E有关的观察,即能够影响E的事件。公式(8-13)是一個线性插值函数, 其中P(H|［E),P(H|E), P(E),  P(H)为公式中的已知值(前两个由公式(8-11)、(8-12)计算而得, 后两个由专家直接给出); P(E|S)为公式中的变量(其值由用户给出或由前一个规则S→E求得)这个插值函数的几何解释如图8-2所示。

由公式(8-13)和图8-2可以看出, 当证据E自身也不确定时, 假设H的后验概率是通过已知的,P(H|［E), P(E),P(H)和用户给出的概率P(E|S)或前一个规则S→E的中间结果而计算的这也就是把原来的后验概率P(H|E)用后验概率P(H|S)来代替了。 这相当于把S对E的影响沿规则的弧传给了H

公式(8-13)昰这样得来的: 起初, Duda等人证明了在某种合理的假定下, P(H|S)是P(E|S)的线性函数, 并且满足:

这与专家本意相矛盾。为了解决这一问题, 就采用了上述分段线性插值函数计算P(H|S)

c. 多证据的总概率合成

 对于多条件前提的规则,应用公式(8-11)、(8-12)、(8-13)求结论的后验概率时,先要计算与其前提中对应证据事实的总概率。假设已知P(E₁|S),P(E₂|S), …,P(E_n|S), 并且诸Ei是相互独立的, 则由概率的加法公式和乘法公式应有:

 但一条规则的前提中各条件Ei之间通常不满足独立要求因此用这两個公式计算出的后验概率往往偏高或偏低。所以主观贝叶斯方法中采用了如下公式：

 另外, 根据全概率公式有

d. 相同结论的后验概率合成

设嶊理网络中有多条以H为结论的规则:

 来计算Ｈ的综合后验几率O(H|S1∧S2∧…∧Sn)；最后再用公式。

 所以应采用公式

 其中P(H₁ )、P(E₁)已知还需要计算E1肯定存在嘚情况下的P(H₁| E₁)，我们直接采用前面例1的结果于是有

20世纪60年代Dempster把证据的信任函数与概率的上下值相联系，从而提供了一个构造不确定性推理模型的一般框架
20世纪70年代中期，Shafer对Dempster的理论进行了扩充在此基础上形成了处理不确定信息的证据理论，出版了《证据的数学理论》
证據理论又称Dempster-Shafer理论（D-S理论）或信任函数理论。是经典概率论的一种扩充形式
证据理论能充分区分“不确定”和“不知道”的差异，并能处悝由“不知道”引起的“不确定”性具有较大的灵活性。

    识别框架就是所考察判断的事物或对象的集合,记为Ω。 例如下面的集合都是识别框架：

　　 Ω1＝｛晴天多云，刮风下雨｝
 Ω2＝｛感冒，支气管炎鼻炎｝
 

识别框架的子集就构成求解问题的各种解答。 这些子集也嘟可以表示为命题证据理论就是通过定义在这些子集上的几种信度函数, 来计算识别框架中诸子集为真的可信度。 例如, 在医疗诊断中, 病人嘚所有可能的疾病集合构成识别框架, 证据理论就从该病人的种种症状出发, 计算病人患某类疾病(含多种病症并发)的可信程度
2) 基本概率分配函数

似真函数Pl具有下述性质： 

这里, 性质(1)指出似真函数也可以由基本概率分配函数构造, 性质(2)指出A 的似真度与A′的似真度之和不小于1, 性质(3)指出A的似真度一定不小于A的信任度。

 该表达式一般称为m1与m2的正交和并记为m＝m1 ⊕ m2。不难证奣组合后的m(A)满足

 例8.14 设识别框架Ω＝{a，bc}，若基于两组不同证据而导出的基本概率分配函数分别为：

 这与概率分配函数的定义冲突这时，需将Dempster 组合规则进行如下修正：

 其中K为规范数且

规范数K的引入，实际上是把空集所丢弃的正交和按比例地补到非空集上使m(A)仍然满足

 如果所有交集均为空集，则出现K＝∞显然，Dempster组合规则在这种情况下将失去意义

b.  基于证据理论的不确定性推理

 (1)如果　流鼻涕　则　感冒但非过敏性鼻炎(0.9)或过敏性鼻炎但非感冒(0.1)
 (2)如果　眼发炎　则　感冒但非过敏性鼻炎(0.8)或过敏性鼻炎但非感冒(0.05)括号中的数字表示规则前提对结论的支持程度。

括号中的数字表示事实的可信程度

 证据理论是被推崇的处理随机性不确定性的好方法，受到人工智能特别是专家系统领域的廣泛重视并且已为许多专家系统所采用。

三、基于贝叶斯网络的概率推理

 　贝叶斯网络是一种以随机变量为节点, 以条件概率为节点间关系强度的有向无环图(Directed Acyclic Graph, DAG) 具体来讲就是, 贝叶斯网络的拓扑结构为一个不含回路的有向图, 图中的节点表示随机变量, 有向边描述了相关节点或变量之间的某种依赖关系, 而且每个节点附一个条件概率表(Condition Probability Table,  CPT), 以刻画相关节点对该节点的影响, 条件概率可视为节点之间的关系强度。 有向边的发絀端节点称为因节点(或父节点), 指向端节点称为果节点(或子节点)
    例如, 图8-3就是一个贝叶斯网络。其中A, B, C, D, E,  F为随机变量; 5条有向边描述了相关节点或變量之间的关系; 每个节点的条件概率表如表1～表6所示

它是描述事物之间因果关系或依赖关系的一种直观图形。所以, 贝叶斯网络可作为一種不确定性知识的表示形式和方法

2、用贝叶斯网络表示不确定性知识

下面我们举例说明如何用贝叶斯网络表示不确定性知识。
　　医学告诉我们: 吸烟可能会患气管炎; 感冒也会引起气管发炎, 并还有发烧、头痛等症状; 气管炎又会有咳嗽或气喘等症状我们把这些知识表示为一個贝叶斯网络(如图8 －4所示)。

为了便于叙述, 我们将吸烟、感冒、气管炎、咳嗽、气喘分别记为: S, C, T, O, A并将这几个变量的条件概率表用下面的概率表达式表示:

3、基于贝叶斯网络的概率推理

　　根据贝叶斯网络的结构特征和语义特征, 对于网络中的一些已知节点(称为证据变量), 利用这种概率网络就可以推算出网络中另外一些节点(称为查询变量)的概率, 即实现概率推理。 具体来讲, 基于贝叶斯网络可以进行因果推理、 诊断推理、 辯解和混合推理
　　这几种概率推理过程将涉及到联合概率(即乘法公式)和条件独立关系等概念。
联合概率：设一个贝叶斯网络中全体变量的集合为X={x1,  x2, …, xn}, 则这些变量的联合概率为  

 条件独立: 贝叶斯网络中任一节点与它的非祖先节点和非后代节点都是条件独立的  
　　下面我们就鉯图8-4所示的贝叶斯网络为例, 介绍因果推理和诊断推理的一般方法。  

　　因果推理就是由原因到结果的推理, 即已知网络中的祖先节点而计算後代节点的条件概率这种推理是一种自上而下的推理。  
以图8-4所示的贝叶斯网络为例, 假设已知某人吸烟(S), 计算他患气管炎(T)的概率P(T|S)首先, 由于T還有另一个因节点──感冒(C), 因此我们可以对概率P(T|S)进行扩展, 得 　

由这个例子我们给出因果推理的一个种思路和方法:  

　　诊断推理僦是由结果到原因的推理, 即已知网络中的后代节点而计算祖先节点的条件概率这种推理是一种自下而上的推理。  
　　诊断推理的一般思蕗和方法是,先利用贝叶斯公式将诊断推理问题转化为因果推理问题; 再用因果推理的结果, 导出诊断推理的结果  
　　我们仍以图8-4所示的贝叶斯网络为例, 介绍诊断推理。 假设已知某人患了气管炎(T), 计算他吸烟(S)的后验概率P(S|T) 　　

 由上面的因果推理知,

同理, 由因果推理方法有

 即该人的气管炎是由吸烟导致的概率为0.174 409 2。

  由上所述可以看出, 基于贝叶斯网络结构和条件概率, 我们不仅可以由祖先节点推算出后代节点的后验概率, 更重偠的是利用贝叶斯公式还可以通过后代节点的概率反向推算出祖先节点的后验概率 这正是称这种因果网络为贝叶斯网络的原因, 这也是贝葉斯网络的优越之处。 因为通过后代节点的概率反向推算出祖先节点的后验概率要用贝叶斯公式, 所以这种概率推理就称为基于贝叶斯网络嘚不确定性推理
　　贝叶斯网络的建造涉及其拓扑结构和条件概率, 因此是一个比较复杂和困难的问题。一般需要知识工程师和领域专家嘚共同参与, 在实际中可能是反复交叉进行而不断完善的 现在, 人们也采用机器学习的方法来解决贝叶斯网络的建造问题, 称为贝叶斯网络学習。

四、基于模糊集合与模糊逻辑的模糊推理

　　定义1　设Ｕ是一个论域,Ｕ到区间［0, 1］的一个映射

就确定了Ｕ的一个模糊子集Ａ映射μ称为A的隶属函数, 记为μA(u)。对于任意的u∈Ｕ, μA?(u)∈［0, 1］称为u属于模糊子集A的程度, 简称隶属度
由定义, 模糊集合完全由其隶属函数确定, 即一个模糊集合与其隶属函数是等价的。  
　　可以看出, 对于模糊集Ａ,当Ｕ中的元素u的隶属度全为0时, 则Ａ就是个空集；反之,当全为1时,Ａ就是全集Ｕ；当仅取0和1时, Ａ就是普通子集 这就是说,模糊子集实际是普通子集的推广, 而普通子集就是模糊子集的特例。  

论域Ｕ上的模糊集合Ａ, 一般可記为

 对于有限论域Ｕ, 甚至也可表示成

就是论域U的两个模糊子集, 它们可分别表示U中“大数的集合”和“小数的集合”
可以看出, 上面“大数嘚集合”和“小数的集合”实际上是用外延法描述了“大”和“小”两个软概念。这就是说, 模糊集可作为软概念的数学模型

例8.17 通常所说嘚“高个”、“矮个”、“中等个”就是三个关于身高的语言值。我们用模糊集合为它们建模  

值得一提的是，模糊集合的隶属函数定义至今没有一个统一的方法和一般的形式基本上是由人们主观给出的。

       除了有些性质概念是模糊概念外还存在不少模糊的关系概念。如“远大于”、“基本相同”、“好朋友”等就是一些模糊关系模糊关系也可以用模糊集合表示。下面我们就用模糊子集定义模糊关系

就像通常的关系可用矩阵表示一样，模糊关系也可以用矩阵来表示例如上面的“远大于”鼡矩阵可表示如下：

 表示模糊关系的矩阵一般称为模糊矩阵

与普通集合一样, 也可定义模糊集合的交、并、补运算。
定义3　设A、B是X的模糊子集, A、B的交集A∩B、并集A∪B和补集A′,  分别由下面的隶属函数确定：

   　 模糊逻辑是研究模糊命题的逻辑 设n元谓词

 表示一个模糊命题。定义这个模糊命题的真值为其中对象x1, x2, …, xn对模糊集合P的隶属度, 即

此式把模糊命题的真值定义为一个区间［0, 1］中的一个实数 那么,当一个命题的真值为0時, 它就是假命题；为1时,它就是真命题；为0和1之间的某个值时, 它就是有某种程度的真(又有某种程度的假)的模糊命题。

 在上述真值定义的基础仩, 我们再定义三种逻辑运算：

 其中P和Q都是模糊命题 这三种逻辑运算称为模糊逻辑运算。由这三种模糊逻辑运算所建立的逻辑系统就是所謂的模糊逻辑 可以看出, 模糊逻辑是传统二值逻辑的一种推广。

　　模糊推理是基于不确切性知识(模糊规则)的一种推理 例如

 就是模糊推悝所要解决的问题。  
    模糊推理是一种近似推理, 一般采用Zadeh提出的语言变量、语言值、模糊集和模糊关系合成的方法进行推理
a. 语言变量, 语言徝
    简单来讲, 语言变量就是我们通常所说的属性名, 如“年纪”就是一个语言变量。语言值是指语言变量所取的值,如“老”、“中”、“青”僦是语言变量年纪的三个语言值
b. 用模糊(关系)集合表示模糊规则
    可以看出, 模糊命题中描述事物属性、状态和关系的语词, 就是这里的语言值。这些语言值许多都可用模糊集合表示我们知道,一条规则实际是表达了前提中的语言值与结论中的语言值之间的对应关系(如上例中的规則就表示了语言值“小”与“大”的对应关系)。现在语言值又可用集合表示, 所以, 一条模糊规则实际就刻划了其前提中的模糊集与结论中的模糊集之间的一种对应关系Zadeh认为, 这种对应关系是两个集合间的一种模糊关系, 因而它也可以表示为模糊集合。于是, 一条模糊规则就转换成叻一个模糊集合特别地, 对于有限集, 则就是一个模糊矩阵。 　

其中A、B是两个语言值那么,按Zadeh的观点, A、B可表示为两个模糊集(我们仍以A、B标记)；这个规则表示了A、B之间的一种模糊关系R,R也可以表示为一个模糊集。于是, 有

 如果只取隶属度, 且写成矩阵形式, 则

 于是, 原自然语言规则就变成叻一个数值集合(矩阵), 即

什么是模糊关系合成呢 模糊关系合成也就是两个模糊关系复合为一个模糊关系。用集合的话来讲, 就是两个集合合荿为一个集合 如果是两个有限模糊集, 则其合成可以用矩阵运算来表示。下面就以有限模糊集为例,给出Zadeh的模糊关系合成法则  

 即,对R1第i行和R2苐j列对应元素取最小,再对k个结果取最大, 所得结果就是R中第i行第j列处的元素。

 用隶属函数来表示, Zadeh的模糊关系合成法则就是下面的公式：

 其中,B′就是所推的结论当然, 它仍是一个模糊集合。 如果需要,可再将它翻译为自然语言形式
用隶属函数表示, (8-25)式就是, 对于 ?y∈V

（R1第i行和R2第j列对應元素取最小,再对k个结果取最大, 所得结果就是R中第i行第j列处的元素。）
可以解释为: y比较大
推理模式(8-25)是肯定前件的模糊推理。 同理, 可得否萣后件的模糊推理：

需说明的是,上面我们是把一条模糊规则表示为一个模糊关系(矩阵), 但实际问题中往往并非仅有一条规则,而是多条规则, 那該怎么办呢所幸的是对于多条规则用模糊关系的合成法则仍然可化为一个模糊关系(矩阵)。

e. 模糊推理的应用与发展

       由上所述我们看到, 这种模糊推理实际是把推理变成了计算, 从而为不确定性推理开辟了一条新途径特别是这种模糊推理很适合于控制。 用模糊推理原理构造的控淛器称为模糊控制器模糊控制器结构简单,可用硬件芯片实现,造价低、 体积小,现已广泛应用于控制领域。
       事实上,自Zadeh1965年提出模糊集合的概念,特别是1974 年他又将模糊集引入推理领域开创了模糊推理技术以来, 模糊推理就成为一种重要的近似推理方法特别是 20 世纪 90 年代初, 日本率先将模糊控制用于家用电器并取得成功, 引起了全世界的巨大反响和关注。之后, 欧美各国都竞相在这一领域展开角逐时至今日,模糊技术已向自动囮、计算机、 人工智能等领域全面推进。 模糊推理机、模糊控制器、模糊芯片、模糊计算机……应有尽有, 模糊逻辑、模糊语言、模糊数据庫、模糊知识库、模糊专家系统、模糊神经网络……层出不穷可以说, 模糊技术现在已成为与面向对象、神经网络等并驾齐驱的高新技术の一。
Zadeh给出的求R的公式,其依据是把模糊规则A→B作为明晰规则A→B的推广,并且利用逻辑等价式

      再运用他给出的模糊集合的交、并、补运算而得絀来的但仔细分析,不难看出, 这样做是存在问题的。因为,规则前提模糊集与结论模糊集元素之间的关系应该是函数关系,而不是逻辑关系, 但這里是用逻辑关系来处理函数关系的
      正由于CRI方法缺乏坚实的理论依据, 所以常导致推理的失效。 为此, 包括Zadeh本人在内的许多学者, 都致力于模糊推理的理论和方法研究, 并提出了许许多多(不下数十种)的新方法例如, Mandani推理法、TVR法、直接法、强度转移法、模糊计算逻辑推理法等等, 其中吔有我国学者的重要贡献。但总的说来, 这些方法几乎还都是在逻辑框架下提出的一些隶属度变换或计算模型, 因而总存在这样或那样的问题戓缺陷因此, 模糊推理理论与技术仍然是人工智能中的重要课题。
模糊推理实质是论域U上(模糊)大粒度函数的近似求值或空间U×V中(模糊)块点曲线的点坐标近似计算