申请专栏作者 参展
投稿发布
您的当前位置:主页 > yabo88亚博官网 > 正文

一个案例告诉你如何使用Kyligence + Spark 进行大数

来源: 时间:2019-09-11
请支持本站,点击下面的广告后浏览!

今天,大亚博体育怎么充钱到余额、亚博体育怎么充钱到余额科学、机器学习分析不再只是热词,已经真实地渗透于生活方方面面。根据福布斯,到 2025 年,全球每年将会有 175 泽字节的亚博体育怎么充钱到余额产生。Kyligence 的诞生为企业带来了极速的大亚博体育怎么充钱到余额分析体验 。当企业要对大规模的亚博体育怎么充钱到余额进一步进行更为复杂的分析如对销售额进行预测时,传统的分析工具就捉襟见肘了 。 可思亚博体育怎么充钱到余额-AI,sykv.com智能驾驶,人脸识别,区块链,大亚博体育怎么充钱到余额

这篇文章将以基于 Spark 的分布式机器学习平台 Databricks 为例,为您提供一套从以 Kyligence 为亚博体育怎么充钱到余额源到分布式亚博体育怎么充钱到余额分析平台的高效无缝的解决方案。

可思亚博体育怎么充钱到余额sykv.com

对企业未来销量进行预测是一个很普遍的分析需求。分析师需要先以不同的时间粒度如日或月,或者是其他维度粒度如地区,商品等聚合亚博体育怎么充钱到余额,然后按不同的算法预测聚合后的亚博体育怎么充钱到余额。相类似的预测、分析场景还有很多,如运维亚博体育怎么充钱到余额的异常值检测,金融亚博体育怎么充钱到余额的反欺诈识别,销售亚博体育怎么充钱到余额的用户画像等。在亚博体育怎么充钱到余额被深入挖掘之前,都需按维度列或时间戳聚合亚博体育怎么充钱到余额。然而想顺滑地聚合如此海量的亚博体育怎么充钱到余额,并且深入挖掘亚博体育怎么充钱到余额并不简单。

可思亚博体育怎么充钱到余额-AI,sykv.com人工智能,深度学习,机器学习,神经网络

对海量亚博体育怎么充钱到余额进行挖掘的难点

可思亚博体育怎么充钱到余额sykv.com,sykv.cn

聚合大量亚博体育怎么充钱到余额,复杂度高,所耗时间长 可思亚博体育怎么充钱到余额sykv.com,sykv.cn

当亚博体育怎么充钱到余额量呈规模式增加时,即使是执行一条简单的筛选查询也会消耗很多时间,并且查询语句复杂度越大,执行语句所花时间就会越长。因此,亚博体育怎么充钱到余额科学家稍调整筛选条件,就会重新陷入等待中。

可思亚博体育怎么充钱到余额-AI,sykv.com智能驾驶,人脸识别,区块链,大亚博体育怎么充钱到余额

分析维度的粒度很难随意变动 可思亚博体育怎么充钱到余额-AI,sykv.com智能驾驶,人脸识别,区块链,大亚博体育怎么充钱到余额

由于高额的查询成本,亚博体育怎么充钱到余额科学家们会更倾向于聚合有潜在关联的亚博体育怎么充钱到余额维度。这种前瞻性在提高亚博体育怎么充钱到余额科学家们分析效率的同时,也局限了他们的亚博体育怎么充钱到余额探索能力,导致错失发现一些不易察觉的亚博体育怎么充钱到余额规律的机会。 可思亚博体育怎么充钱到余额sykv.com,sykv.cn

无法实现亚博体育怎么充钱到余额源到分析平台的无缝连接 可思亚博体育怎么充钱到余额sykv.com,sykv.cn

目前,在大亚博体育怎么充钱到余额领域,亚博体育怎么充钱到余额科学家们最常用的预处理亚博体育怎么充钱到余额工具主要有 Hive,Spark,Pig,Scala 等。而如果想对这些亚博体育怎么充钱到余额进一步的分析,需要从这些工具中导出聚合后的亚博体育怎么充钱到余额,再将其导入到机器学习平台。导入导出看似为简单操作,实际上会打破分析人员工作的连贯性,尤其是当导入导出亚博体育怎么充钱到余额量过大时,他们的工作效率会大大降低。 可思亚博体育怎么充钱到余额sykv.com,sykv.cn

机器学习工具复杂,生命周期难以管理 内容来自可思亚博体育怎么充钱到余额sykv.com

工具太过复杂、难以跟踪实验、难以重现结果、难以部署模型。很多企业已经开始构建内部机器学习平台来管理机器学习生命周期。但这些内部平台存在一定的局限性:典型的机器学习平台只支持一小部分内置算法或单个机器学习库。用户无法轻易地使用新的机器学习库,或与社区分享他们的工作成果。 可思亚博体育怎么充钱到余额-www.sykv.cn,sykv.com

解决方案:Kyligence + Spark 可思亚博体育怎么充钱到余额-www.sykv.cn,sykv.com

在分析师拉取亚博体育怎么充钱到余额之前,通过 Kyligence 将所需要的所有分析亚博体育怎么充钱到余额都已经以不同的维度、粒度提前聚合好,使得分析师们在极短时间内能直接获取亚博体育怎么充钱到余额。在获取聚合好的亚博体育怎么充钱到余额后,分析师们也无需先将亚博体育怎么充钱到余额导出,再导入专业的支持机器学习的分析平台,也无需再因为适配不同的机器学习方法而安装各种环境。而是直接在该专业的亚博体育怎么充钱到余额分析平台上获取亚博体育怎么充钱到余额,在适配好的环境中,用不同的方法进行近一步预测和分析。

可思亚博体育怎么充钱到余额sykv.com,sykv.cn

? 可思亚博体育怎么充钱到余额-AI,sykv.com智能驾驶,人脸识别,区块链,大亚博体育怎么充钱到余额

? 本文来自可思亚博体育怎么充钱到余额(sykv.com),转载请联系本站及注明出处

Kyligence 与 Databricks 亚博体育怎么充钱到余额处理流程 内容来自可思亚博体育怎么充钱到余额sykv.com

应用门槛低,学习成本小 可思亚博体育怎么充钱到余额-www.sykv.cn,sykv.com

大亚博体育怎么充钱到余额分析普遍会采用分布式存储及计算,使用者需要用了解 Java, Hadoop, Hive, Pig,Spark 等等大亚博体育怎么充钱到余额知识。而 Kyligence 为用户提供了 SQL 查询接口,Databricks 也提供了支持各种机器学习语言的环境,用户无需了解底层原理,就能处理分析海量亚博体育怎么充钱到余额,拥有极佳的用户友好度。

可思亚博体育怎么充钱到余额-AI,sykv.com智能驾驶,人脸识别,区块链,大亚博体育怎么充钱到余额

亚秒级查询,随意转换特征值

可思亚博体育怎么充钱到余额sykv.com,sykv.cn

相较于传统的将亚博体育怎么充钱到余额聚合过程放在亚博体育怎么充钱到余额分析中,此方案在分析师分析亚博体育怎么充钱到余额之前已完成亚博体育怎么充钱到余额处理及聚合。Kyligence 可提前以不同的维度,维度粒度预聚合亚博体育怎么充钱到余额。因此,无论分析师要求获得以何种维度聚合的亚博体育怎么充钱到余额,都能在亚秒级内得到返回结果。亚博体育怎么充钱到余额量,时间成本不再是试错特征值的制约条件。 可思亚博体育怎么充钱到余额-人工智能资讯平台sykv.com

亚博体育怎么充钱到余额源与分析平台无缝连接 可思亚博体育怎么充钱到余额-AI,sykv.com人工智能,深度学习,机器学习,神经网络

以往的大亚博体育怎么充钱到余额在被分布式计算后,如果想用机器学习进一步分析,往往需要将亚博体育怎么充钱到余额导出,再导入机器学习分析平台。而 Kyligence 和 Databricks 的组合允许用户直接从亚博体育怎么充钱到余额分析平台上获取亚博体育怎么充钱到余额,无需导入导出。在 Databricks 的 notebook 中,用户可通过 SQL 语句直接获取被 Kyligence 预聚合的亚博体育怎么充钱到余额,省去迁移亚博体育怎么充钱到余额,转换亚博体育怎么充钱到余额格式的麻烦。 内容来自可思亚博体育怎么充钱到余额sykv.com

专业机器学习分析平台 可思亚博体育怎么充钱到余额-AI,sykv.com人工智能,深度学习,机器学习,神经网络

Databricks 基于 Spark 提供用户一个专业的分布式机器学习分析平台,支持完整的机器学习生命周期。为用户提供完备的机器学习环境,用户无需自配置环境就可使用各种流行算法。

内容来自可思亚博体育怎么充钱到余额sykv.com

应用案例

可思亚博体育怎么充钱到余额-www.sykv.cn,sykv.com

一家名为 “Contoso ”的企业 拥有超过 100,000 的产品,亚博体育怎么充钱到余额集就包含多个事实表和维度表,亚博体育怎么充钱到余额量最大的事实表包含 2 千万条在线销售亚博体育怎么充钱到余额。(Contoso 是微软虚拟的一家公司,其产生的亚博体育怎么充钱到余额主要用于模拟各种企业场景下的亚博体育怎么充钱到余额分析。) 可思亚博体育怎么充钱到余额-www.sykv.cn,sykv.com

分析目标: 根据 2007 年 1 月到 2009 年 5 月 31 日的在线销售亚博体育怎么充钱到余额预测下半年的销售额 可思亚博体育怎么充钱到余额-人工智能资讯平台sykv.com

Step 1: 亚博体育怎么充钱到余额处理 内容来自可思亚博体育怎么充钱到余额sykv.com

先将亚博体育怎么充钱到余额导入 Kyligence 中,然后转到 Azure Databricks 的页面,通过 PyPI 连接 Kyligence,输入 SQL 获取聚合亚博体育怎么充钱到余额亚博体育怎么充钱到余额,并且这一过程的亚博体育怎么充钱到余额导入所耗时间不超过两秒。SQL 返回的亚博体育怎么充钱到余额集存储为 Pandas 亚博体育怎么充钱到余额表格,然后对该亚博体育怎么充钱到余额表格处理为我们想要的格式,即对销售量按月聚合,产生每月销售量的亚博体育怎么充钱到余额集。然后用 LSTM 进行销量预测。

可思亚博体育怎么充钱到余额-AI,sykv.com智能驾驶,人脸识别,区块链,大亚博体育怎么充钱到余额

? 可思亚博体育怎么充钱到余额sykv.com

?

可思亚博体育怎么充钱到余额-AI,sykv.com人工智能,深度学习,机器学习,神经网络

step 2: 亚博体育怎么充钱到余额分析

内容来自可思亚博体育怎么充钱到余额sykv.com

生成模型训练亚博体育怎么充钱到余额集 可思亚博体育怎么充钱到余额-亚博体育怎么充钱到余额挖掘,智慧医疗,机器视觉,机器人sykv.com

?

可思亚博体育怎么充钱到余额-亚博体育怎么充钱到余额挖掘,智慧医疗,机器视觉,机器人sykv.com

?

可思亚博体育怎么充钱到余额-www.sykv.cn,sykv.com

训练集的窗口长度是指需要几个时间点的值来预测下一个时间点的值。在这里窗口长度为 1,即用 t 次的时间间隔进行模型训练,然后用 t+1 次的时间间隔对结果进行验证。亚博体育怎么充钱到余额集格式为:dataX 为训练亚博体育怎么充钱到余额,dataY 为验证亚博体育怎么充钱到余额。我们选取亚博体育怎么充钱到余额集中前 36 的亚博体育怎么充钱到余额作为训练集,后 6 的亚博体育怎么充钱到余额作为测试样本集。

可思亚博体育怎么充钱到余额sykv.com,sykv.cn

LSTM 模型结构与参数设置 可思亚博体育怎么充钱到余额-AI,sykv.com智能驾驶,人脸识别,区块链,大亚博体育怎么充钱到余额

?

内容来自可思亚博体育怎么充钱到余额sykv.com

?

可思亚博体育怎么充钱到余额-www.sykv.cn,sykv.com

选定模型训练的 epoch(总的训练轮数)为 100 和 batch size(每次训练的样本数)为 1,并在 LSTM 层的输出后面加入一个普通的神经网络全连接层用于输出结果的降维。

可思亚博体育怎么充钱到余额-AI,sykv.com人工智能,深度学习,机器学习,神经网络

step 3: 结果展示 内容来自可思亚博体育怎么充钱到余额sykv.com

?

可思亚博体育怎么充钱到余额sykv.com,sykv.cn

?

可思亚博体育怎么充钱到余额-人工智能资讯平台sykv.com

上图蓝线为真实值,黄线为预测值。可以看出最终的预测曲线与实际的曲线趋势情况基本吻合,销售量从每年的七月开始下滑,10 月会有反弹,且总体的销量趋势呈下滑状态,拟合效果很好,将原始亚博体育怎么充钱到余额的季节性,总体趋势及周期性都预测出来了。 可思亚博体育怎么充钱到余额-亚博体育怎么充钱到余额挖掘,智慧医疗,机器视觉,机器人sykv.com

当分析人员需要细化维度到产品时,如预测产品 ‘LitwareRefrigerator 24.7CuFt X980 Brown’ 2009 年下半年的销量,分析人员只需要修改 SQL 代码,就可重获聚合亚博体育怎么充钱到余额,操作简单,执行快速。

可思亚博体育怎么充钱到余额-www.sykv.cn,sykv.com

Kyligence 与 Apache Spark 可优化从亚博体育怎么充钱到余额源到亚博体育怎么充钱到余额分析平台的整套大亚博体育怎么充钱到余额机器学习生态环境,让大亚博体育怎么充钱到余额挖掘摆脱亚博体育怎么充钱到余额量的束缚,变得轻松高效。 本文来自可思亚博体育怎么充钱到余额(sykv.com),转载请联系本站及注明出处

本文转载自公众号 Kyligence。作者:姜昀佳

可思亚博体育怎么充钱到余额sykv.com


转发量:

网友评论:

发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 验证码:点击我更换图片 匿名?

关于我们?? 免责声明?? 广告合作?? 版权声明?? 联系方式?? 原创投稿?? 网站地图??

Copyright?2005-2019 Sykv.com 可思亚博体育怎么充钱到余额 版权所有 ?? ICP备案:京ICP备14056871号

人工智能资讯?? 人工智能资讯?? 人工智能资讯?? 人工智能资讯

?扫码入群
咨询反馈
扫码关注

微信公众号

返回顶部
关闭