扬州万方科技股份有限公司 访客留言 申请认证

信用网址: 06368398.11315.com   

股份有限公司(非上市、自然人投资或控股) 成立历史第28 

一种重复或相似数据的清洗方法、系统及介质【异议或纠错】

档案编号: CQ-268-2213-6524
档案文号:
专利权人: 申请人 
发布时间: 发布时间 
档案分类: 专利权 
分 类 号: 第G06F16/215;G06F16/2458;G06F18/214;G06N3/0464;G06N3/09类
授权状态: 已授权
档案内容: 本发明公开了一种重复或相似数据的清洗方法、系统及介质,包括步骤:获取由数个样本构成的原始数据集;提取原始数据集中所有样本的特征向量;基于全部样本的特征向量构建索引库;对于每个特征向量,依次在索引库中检索出与之对应的相似度大于阈值t的样本,若大于阈值的样本数量超过设定值k,则只保留k个,否则全部保留,作为候选样本;划分阈值,通过迭代对候选样本进行归并,得到对应的簇,每个簇仅保留簇中心样本参与下一轮归并,所有迭代结束后每个簇仅保留簇中心样本,得到不相似数据。本发明旨在降低数据清洗时的时间和空间复杂度,在有限的资源和时间内,完成数据清洗并确保良好的清洗效果。
附件下载:  (原始资料备查)

相关专利信息信息

评论

您需要登录后才可以发表评论,请 登录注册

打分

说明:
一、所有信息力求客观、真实:以上信息由全国各级政府职能部门、各行业协会(社团组织)、金融机构、主流媒体、信息主体或实名制下的广大消费者(包括交易对方、员工等)客观提供,不含有本征信平台的任何主观评价;
二、信息异议机制:欢迎大家对有异议的信息及时提出,我们将按照《绿盾全国企业征信管理办法》规定对异议进行核实、修正,确保客观、公平;
三、尊重发布者权益,永不"删贴":对于符合国家法律、法规和本征信平台规定的每一条信息,都将客观记录于企业信用档案,参与信用分值计算,并长期保存。

分享到:
绿盾在线
×
=合作留言=
绿盾业务合作
×
  • 马先生
    15652211315
  • 黄先生
    15652011315