中电工业互联网有限公司 访客留言 申请认证

信用网址: 150842701.11315.com   

其他有限责任公司 成立历史第

一种自定义库开发的大数据处理方法及系统【异议或纠错】

档案编号: CQ-248-3389-2070
档案文号:
专利权人: 申请人 
发布时间: 发布时间 
档案分类: 专利权 
分 类 号: 第G06F8/20;G06F8/71类
授权状态: 已授权
档案内容: 本发明公开了一种自定义库开发的大数据处理方法及系统,该方法包括:搭建基于开源计算框架Spark兼容流计算和批处理的应用流程,定义自定义库开发的接口;进行自定义库开发,实现自定义库开发的接口协议,编写与数据处理应用中的数据处理业务逻辑相关的处理代码,输出Jar包;配置相应的自定义库信息,包括自定义库的顺序及每个自定义库的实现类的全类名;将配置的所有自定义库注册到数据处理应用中,并广播到各分布式计算节点;将数据处理应用打成Jar包并提交到Spark中分布式并行执行数据处理任务。支持根据不同业务逻辑开发相应的数据处理应用,数据处理应用之间可以相互组合,重复使用,从而实现对实时流式数据和离线批量数据一体化处理。
附件下载:  (原始资料备查)

相关专利信息信息

评论

您需要登录后才可以发表评论,请 登录注册

打分

说明:
一、所有信息力求客观、真实:以上信息由全国各级政府职能部门、各行业协会(社团组织)、金融机构、主流媒体、信息主体或实名制下的广大消费者(包括交易对方、员工等)客观提供,不含有本征信平台的任何主观评价;
二、信息异议机制:欢迎大家对有异议的信息及时提出,我们将按照《绿盾全国企业征信管理办法》规定对异议进行核实、修正,确保客观、公平;
三、尊重发布者权益,永不"删贴":对于符合国家法律、法规和本征信平台规定的每一条信息,都将客观记录于企业信用档案,参与信用分值计算,并长期保存。

分享到:
绿盾在线
×
=合作留言=
绿盾业务合作
×
  • 马先生
    15652211315
  • 黄先生
    15652011315