www.041.net|新萄京www041.net_澳门新萄京官网
做最好的网站

科技中心

当前位置:www.041.net > 科技中心 > 测试机器学习模型不用写代码!谷歌“what-if”工

测试机器学习模型不用写代码!谷歌“what-if”工

来源:http://www.yamatoshokai.com 作者:www.041.net 时间:2019-04-14 19:45

What-If Tool里功能很多,包括自动用Facets将数据集可视化,也有从数据集中手动编辑示例并查看更改效果的功能,还能自动生成部分关系图,显示模型预测随着单个特征的改变而改变的趋势。

用户还可以探索不同分类阈值的影响,同时考虑不同数值公平性标准等约束条件。下图所示为微笑探测器模型的结果,该模型在开源CelebA数据集上训练,数据集是已标记的名人面部图像。

What-If Tool介绍主页:

原标题:测试机器学习模型不用写代码!谷歌“what-if”工具轻松搞定

功能一:可视化推断结果

编辑:大明

图片 1

要回答这些问题并不容易。要回答这些“假设”问题,通常要编写自定义的一次性代码来分析特定模型。这个过程不仅效率低下,而且除了程序员,其他人很难参与改进机器学习模型的过程。

功能二:编辑一个数据点,看模型表现如何

https://ai.googleblog.com/2018/09/the-what-if-tool-code-free-probing-of.html

7大功能

图片 2

返回搜狐,查看更多

图片 3

探索数据点上的What-if情景

根据推断结果的不同,你的示例会被分成不同的颜色,之后可用混淆矩阵和其他自定义形式进行处理,从不同特征的角度显示推断结果。

What-If工具功能强大,可以使用Facets自动显示数据集,从数据集手动编辑示例并查看更改的效果,还能自动生成部分依赖图(partial dependence plots),显示模型的预测结果随任何单个功能的更改而变化的情况。

What-If Tool主要有七大功能,不知道有没有你需要的那一款:

对Counterfactuals的比较。二人只有在年龄和职业上存在微小的差异,但模型的预测结果已经完全相反

图片 4

图片 5

返回搜狐,查看更多

功能七:测试算法公平性限制

下面详细介绍What-If工具的两个功能。

https://pair-code.github.io/what-if-tool/

What-If工具显示一组250张面部图片及其检测微笑模型的结果

图片 6

What-If工具的实地应用

功能四:探索反事实示例

评估二元分类模型的公平性:上面提到的用于微笑表情检测的图像分类模型。What-if工具有助于评估不同子图像组的算法公平性。在该模型的训练中,有意没有提供来自特定人群的示例,目的是为了显现What-if工具如何能够揭示模型中的这种偏差。对模型预测公平性的评估需要仔细考虑整体背景,不过What-if工具是一个有用的量化起点。

在谷歌官方博客上,研究人员还发布了用预训练模型进行的一组演示,比如检测错误分类的原因,评估二元分类模型的公平性和调查不同子数据集中模型的表现等。可以移步官方博客查看更多,博客地址:

Google AI PAIR计划的一个重点就是让更广泛的人群能够更方便地对机器学习系统进行检查、评估和调试。

250张人脸和在模型中检测微笑后的结果

今天,我们正式发布What-If工具,该工具是开源的TensorBoard Web应用程序的一项新功能,它允许用户在不编写代码的情况下分析机器学习模型。What-If工具给出了TensorFlow模型和数据集的指针,提供了一个交互式可视化界面,用于探索模型结果。

用L1或L2距离从选定的数据点创建距离特性,并将其可视化进行进一步分析。

检测错误分类、评估模型公平性、调查模型不同数据集

功能三:发掘单个特征的效果

构建高效的机器学习系统,需要提出并解决许多问题。仅仅训练模型然后就放着不管是远远不够的。优秀的机器学习从业者要像侦探一样,时刻注意探索如何更好地理解构建的模型:数据点的变化将对模型的预测结果造成什么影响?同一个模型对不同的群体会有哪些不同的表现?用来测试模型的数据集的多样化程度如何等等。

图片 7

我们期待Google内外的人们都来使用What-If工具,以更好地理解机器学习模型,并开始评估预测模型的公平性。 我们的代码是开源的,欢迎对该工具继续添砖加瓦。

轻轻一点,你就能比较数据点与模型预测出不同结果的最相似点。我们将这些点称为“反事实”(Counterfactuals),可以反映出模型的决策边界。

图片 8

不过,这还不是What-If Tool的全部实力。

倒计时**8**天

本文由www.041.net发布于科技中心,转载请注明出处:测试机器学习模型不用写代码!谷歌“what-if”工

关键词: