天翼电子商务有限公司 访客留言 申请认证

信用网址： 22762938.11315.com   

其他有限责任公司 成立历史第14 年

专利信息

一种自适应解决分布式系统中小文件的方案【异议或纠错】

档案编号： CQ-118-5290-0042
档案文号：
专利权人： 申请人 
发布时间： 发布时间 
档案分类： 专利权 
分 类 号： 第G06F16/13;G06F16/16;G06F16/182类
授权状态： 已授权
档案内容： 本发明公开了一种自适应解决分布式系统中小文件的方案,具体包括以下步骤：(1)Structured Streaming Driver检测内存中task列表是否存储了该task对应的HDFS文件索引；(2)若是,则driver通知Executor中的task将本批次内该task处理的数据追加到对应的文件中；否则Executor中的task新建一个hdfs文件并将后续数据写入；(3)在Structured StreamingBatch时间段内,task周期性判断文件是否达到128M；若是,则关闭当前hdfs文件1并新建hdfs文件2并将该文件索引信息通知driver进行更新；Batch时间结束,每个Streaming task关闭对应的hdfs文件,并等待下一个批次的driver调度运行。本发明减少了Structured Streaming产生过多的小文件对HDFS文件系统的影响,同时提高数据时效性。
附件下载：  (原始资料备查)

相关专利信息信息

评论

您需要登录后才可以发表评论，请 登录 或 注册

打分

登录

说明：
一、所有信息力求客观、真实：以上信息由全国各级政府职能部门、各行业协会（社团组织）、金融机构、主流媒体、信息主体或实名制下的广大消费者（包括交易对方、员工等）客观提供，不含有本征信平台的任何主观评价；
二、信息异议机制：欢迎大家对有异议的信息及时提出，我们将按照《绿盾全国企业征信管理办法》规定对异议进行核实、修正，确保客观、公平；
三、尊重发布者权益，永不"删贴"：对于符合国家法律、法规和本征信平台规定的每一条信息，都将客观记录于企业信用档案，参与信用分值计算，并长期保存。

分享到:

更多>>视频联播

更多>>绿盾征信系统规则

绿盾在线
×
商务合作
企业服务
征信合作

 

=合作留言=
绿盾业务合作
×
  • 马先生
    15652211315
  • 黄先生
    15652011315