Splunk Machine Learning Toolkit 3.0.0介绍

在前面文章中我们对Splunk Machine Learning Toolkit 2.1.0版本进行了介绍,近日ML-Toolkit迎来了3.0.0版本,相比2.1.0版本有哪些更新和改进呢,我们来看一下吧。

 

新的功能

1、加入模型管理模块

可以在模型管理模块中查看训练出的模型,查看模型详情,检查模型的配置,删除模型,更改模型权限。

 

2、 自定义算法和打包

自定义算法加入“algos.conf”配置文件,可以把自定义算法轻松打包成APP。

 

3、权限控制

ML-Toolkit中的fit、apply、summary等命令和训练出的模型可以通过splunk对象权限模型来管理;“加载现有设置”选项卡只加载当前用户的配置。

 

4、ML-SPL API重构

开发者可以友好的导入自定义算法,增强了ML-Toolkit的扩展能力。

 

新的算法

1、Gradient Boosting Classifier

2、Gradient Boosting Regressor

3、ACF

4、PACF

5、ARIMA

 

功能介绍

模型管理模块
在APP导航栏加入“Models”选项,进入我们可以看到模型清单,包括一个过滤器和筛选框

加入创建模型按钮

查看模型信息

配置模型权限

使用ML-SPL API添加自定义算法
1、 加入算法代码文件

我们建立SVR_app应用,使用Support Vector Regression(SVR)算法,在SPLUNK_HOME/etc/apps/SVR_app/bin/目录下建立app_algos文件夹,在app_algos目录下建立文件__init__.py、SVR.py,在SVR.py文件加入以下代码并保存:

from sklearn.svm import SVR as _SVR
from base import BaseAlgo, RegressorMixin
from util.param_util import convert_params

class SVR(RegressorMixin, BaseAlgo):
   def __init__(self, options):
       self.handle_options(options)
       params = options.get('params', {})
       out_params = convert_params(
           params,
           floats=['C', 'gamma'],
           strs=['kernel'],
           ints=['degree'],
       )
       self.estimator = _SVR(**out_params)
   @staticmethod
   def register_codecs():
       from codec.codecs import SimpleObjectCodec
       from codec import codecs_manager
       codecs_manager.add_codec('algos.SVR', 'SVR', SimpleObjectCodec)
       codecs_manager.add_codec('sklearn.svm.classes', 'SVR', SimpleObjectCodec)

2、修改配置文件

在SPLUNK_HOME/etc/apps/SVR_app/local/目录下建立文件algos.conf文件,加入以下内容:

[SVR]
package=app_algos
disabled=false

3、 修改权限

打开SPLUNK_HOME/etc/apps/SVR_app/metadata/local.meta文件修改权限,添加以下内容:

[algos]
export = system

4、测试

重启splunk服务后,进入Ml-Toolkit应用的search,使用以下SPL进行搜索,如果没有错误说明自定义算法可以使用了。

|inputlookup iris.csv | fit SVR petal_width from sepal_length

 

总结

如果你了解机器学习确不知道如何使用、想避免复杂的算法,减少学习成本、想快速知道哪种算法最适合你的数据、想让自己算法和一套成熟可视化数据平台相结合、使用了开源算法想减少开发成本,那么使用Splunk Machine Learning Toolkit是不错的选择。

 

更多资源

http://ask.10data.com/?/article/35

时间: 2024-09-20 05:32:12

Splunk Machine Learning Toolkit 3.0.0介绍的相关文章

Splunk Machine Learning Toolkit在回归问题上的应用

在前面的文章中,我们对Splunk Machine Learning Toolkit 3.0.0进行了介绍,今天我们就来聊一下机器学习中最常见的问题:回归. 什么是回归? 回归对数值连续的通常是来预测一个值,比如预测房屋价格.股票走势.产品销售量.未来的天气情况等.线性回归是最简单的一种回归算法,它期望使用一条直线去拟合数据,如图所示: 可以看出,这样直线有很多,那么哪条才是最佳拟合线呢?这就是寻找最佳拟合的问题. 如果预测值和实际值最接近,它应该是最佳拟合线.我们可以用最小二乘法(Least

Splunk Machine Learning Toolkit在分类问题上的应用(一)

如果预测值是离散的,比如"好""坏",这类问题称为分类:对只涉及两个类别的二分类问题,通常称一个类为正类,另一个类为负类.我们看一下有关算法和概念. 真实类别和预测类别的关系 在二分类问题中,真实类别和预测类别有四种关系,真正类(true positive, tp).假正类(false positive, fp).真负类(false negative, fn).假负类(true negative, tn),很明显,样本总数=tp+fp+fn+tn. 真实类别 预测类

Awesome Machine Learning

  Awesome Machine Learning  A curated list of awesome machine learning frameworks, libraries and software (by language). Inspired by awesome-php. If you want to contribute to this list (please do), send me a pull request or contact me @josephmisiti A

Fuzzy machine learning framework 1.0发布 模糊数据学习工具

Fuzzy machine learning framework 是一个使用直观模糊数据的机器学习的GUI前端,基于直观模糊集和可能性理论. 主要特点是模糊功能和类,基于语言变量的数值计算功能,用户自定义功能,衍生和评估功能,建立多层次系统的分类功能,自动细化相关的功能,增量学习,模糊控制语言的支持,可扩展的对象和自动垃圾收集的面向对象软件设计,通过ODBC.text I/O 和 HTML输出对通用数据的支持,高级的http://www.aliyun.com/zixun/aggregation/

.Net Framework 4.0 功能介绍

.Net Framework 4.0 功能介绍 微软发布了 Visual Studio 2010 和 .NET Framework 4.0 的Beta 2测试版,微软往Framework 4.0里又塞了很多新东西,有的确实不错,不过有的还是感觉有点粗糙,还在实验阶段,实用性不强. 简单回顾下历史,.Net Framework 1.1其实是个试验品,.Net Framework真正走向成熟其实从2.0开始的,之后的Framework 3,Framework 3.5其实都是基于Framework 2

eclipse报错:This Android SDK requires Android Developer Toolkit version 23.0.0 or above.

This Android SDK requires Android Developer Toolkit version 23.0.0 or above.  Current version is 22.3.0.v201310242005-887826.  Please update ADT to the latest version. 出现这种错误,上网查了一下,在用SDK manager更新SDK后,启动Eclipse提示This Android SDK requires Android Dev

OATH Toolkit 1.12.0发布 开发工具包

OATH Toolkit 是一款用于开发 Open AuTHentication (OATH) 相关部署技术的工具.它包含一个共享库.命令行工具和一个PAM模块,使得它可以生成一次性密码认证系统.支持基于事件的HOTP和基于时间的TOTP的一次性密码设置.OATH是开放认证机构指定的算法式. OATH Toolkit 1.12.0该版本增加了oathtool --base32参数来解码base32键.支持详细的输出(oathtool-V)打印base32格式的关键数据.base32和十六进制编码

MQ Batch Toolkit 2.0.0发布 信息管理工具

MQ Batch Toolkit是一款http://www.aliyun.com/zixun/aggregation/18736.html">允许用户来操作.监控和管理WebSphere MQ(也称为MQSeries)队列管理中的信息工具,用于命令行或shell脚本环境. 该工具是专为开发人员.程序员.质量测试人员,以及生产技术人员需要备份和恢复的信息.应用程序的压力测试.信息的重放或寻找一个文本字符串队列等.它可以运行在任何支持Java V1.4(或更高版本)的平台,可以连接到本地队列管

从零开始编写自己的C#框架(6)——SubSonic3.0插件介绍(附源码)

原文:从零开始编写自己的C#框架(6)--SubSonic3.0插件介绍(附源码) 前面几章主要是概念性的东西为主,向初学者们介绍项目开始前的一些知识与内容,从本章开始将会进入实操阶段,希望跟着本系统学习的朋友认真按说明做好每一步操作(对于代码最好是直接照着文档内容在你的IDE中打一次出来,而不是使用复制粘贴),这样对你理解后面的章节会有较好的帮助,如果你对我这种书写方式有什么建议或支持,也希望在评论中留言,谢谢你的支持.   SubSonic3.0简介 SubSonic是Rob Conery用