智能可配置的数据清洗转换策略

海量数据集成任务的全过程管控" />


需求背景


  近年来,我国的电子政务和企业信息化建设已经进入了一个新阶段,企业面临在不同时期、应用不同技术、与不同的厂商合作,建设了不同规模的应用系统,造成这些系统之间互相独立,不能集成,数据不能共享。同时,分层管理模式是在国家政府机关和大型企业中普遍采用的一种管理模式,例如政府机关包括中央、省、市、县等若干级,大型企业一般又分为总公司、公司和生产厂等层次,为了加强上级机构对下级的管理和各级机构之间互通信息的需求,各级机构之间需要及时、可靠地交换大量的数据信息。由于这些数据,可能是不同的系统产生的,如财务系统、人事系统等,这些系统通常都是自治的,并且数据可能是异构的,但又是需要彼此交互的,因此这些机关和企业迫切需要在本机构内,建立一个数据传输和集成的平台。



数据集成中间件概述


  数据集成中间件通过统一的全局数据模型来访问异构的数据库、遗留系统、Web 资源等。中间件位于异构数据源系统(数据层) 和应用程序(应用层) 之间,向下协调各数据源系统,向上为访问集成数据的应用提供统一数据模式和数据访问的通用接口。各数据源的应用仍然完成它们的任务,中间件系统则主要集中为异构数据源提供一个高层次检索与集成服务。




数据集成中间件体系结构图


  数据集成中间件是比较流行的数据集成方法,它通过在中间层提供一个统一的数据逻辑视图来隐藏底层的数据细节,使得用户可以把集成数据源看为一个统一的整体。这种模型下的关键问题是如何构造这个逻辑视图并使得不同数据源之间能映射到这个中间层。

  要达成系统的需求,需要借助数据Web服务子系统、数据集成子系统、数据抽取子系统、综合展示子系统等子系统来实现,各子系统之间的结构关系如下图所示:



数据集成中间件的特点


  近年来,我国的电子政务和企业信息化建设已经进入了一个新阶段,企业面临在不同时期、应用不同技术、与不同的厂商合作,建设了不同规模的应用系统,造成这些系统之间互相独立,不能集成,数据不能共享。同时,分层管理模式是在国家政府机关和大型企业中普遍采用的一种管理模式,例如政府机关包括中央、省、市、县等若干级,大型企业一般又分为总公司、公司和生产厂等层次,为了加强上级机构对下级的管理和各级机构之间互通信息的需求,各级机构之间需要及时、可靠地交换大量的数据信息。由于这些数据,可能是不同的系统产生的,如财务系统、人事系统等,这些系统通常都是自治的,并且数据可能是异构的,但又是需要彼此交互的,因此这些机关和企业迫切需要在本机构内,建立一个数据传输和集成的平台。



(1) 界面直观,使用简单


  数据集成中间件充分考虑了用户使用的便捷性和易用性,提供了图形化的开发、管理和监控界面,使非技术人员通过简单的培训也能掌握要高级技术人员通过编程完成的功能。便捷性主要体现在整个抽取、转换、加工整合只要通过简单的操作就可以实现。易用性体现在对于任何用户,即便对计算机使用较少的人,只要明白业务需求,通过培训即可轻易自主使用中间件设计自己的业务需求。



(2) 支持各种平台和广泛的数据源


  数据集成中间件支持各种字符集的转换,能够运行在多种主流操作系统之上。数据集成中间件采用高性能的数据抽取接口,通过JDBC、ODBC、JNDI、OCI等技术支持的各种数据源。支持常见的数据库,如Oracle、SQL Server、MySQL等主流数据库,这为提取多数据源数据提供了完备的保障。



(3) 丰富的数据转换功能


  数据集成中间件包含了丰富的数据转换功能,比如值影射、拆分字段、字段选择、计算器、增加常量、排序纪录、过滤纪录、去除重复纪录、是否为null、行转为列、分组等等。这些转换控件支持ETL过程中数据转换环节执行顺序、支持的数据平滑化、规范化、聚类等转换操作。即便对于新出现的特殊转换,我们也可以开发出个性化的转换控件,放入数据集成中间件即可实现即插即用的功能。



(4) 灵活的可扩充性,支持二次开发


  数据集成中间件通过组件化设计、接口化设计实现了灵活的可扩充性,对于各个模块支持二次开发控件的即插即用。这样可以有效地对数据转换模块进行二次开发,为用户业务发展、业务变更等提供了可扩充性,使用户花费很小的成本,即可享用定制化的服务。比如用户需要一个合并纪录的业务要求,那么我们可以在短时间内开发一个“合并纪录”的转换控件,直接放到数据集成中间件中即可使用。



(5) 完善的运行、调试、分析、日志管理


  数据集成中间件包括完整地运行、调试、管理功能以及不同层次级别的日志管理功能、完善的数据审计功能。数据集成中间件有相关的监控预警机制,为作业设计人员,提供了良好的设计环境,使设计人员能观察执行过程。数据集成中间件只是从业务数据源读取数据,即便执行失败也不会对源数据任何做修改,保证了作业正常进行,不影响数据源系统和经营分析系统的正常工作。




主要功能界面


(1)数据仓库管理





(2)元数据管理






(3)任务管理与调度














更多下载

联系方式    总机:400-8855-360

销售人员
分 机
手机号
邮 箱
腾讯QQ
王玮
8054
15077865340
点击这里给我发消息
骆梦阳
8052
13952028557
点击这里给我发消息
陈跃飞
8041
13951803427
点击这里给我发消息
杨  剑
8030
18751869256
点击这里给我发消息
何家乐
8031
18616794962
点击这里给我发消息
刘立宏
8034
13815414773
点击这里给我发消息
刘连鹏
8018
18021395113
点击这里给我发消息
左  赛
8033
18017566211
点击这里给我发消息
王  军
8035
13851877991
点击这里给我发消息
张绪文心
8027
18602548008
点击这里给我发消息
吴亚洲
(新疆分公司 总经理)
8022
15051819138
点击这里给我发消息
谢久军
8042
13805153062 
点击这里给我发消息
马阳阳
8006
18651810931
点击这里给我发消息
张英剑
18129402655
点击这里给我发消息
刘飞
18915923362 
点击这里给我发消息
刘宏
(河南办事处 主任)
 
13333831976
点击这里给我发消息
韦远雄
(广西办事处)
 
18577997606
点击这里给我发消息
周俊
(湖北办事处)
 
13995587166
点击这里给我发消息
汤添智
(贵州办事处)
13602805009
点击这里给我发消息
曾娟
(重庆办事处)
13628383332
点击这里给我发消息


全国代理商

区域/行业 代理商 电 话 联系人 手机号 邮 箱
西安市教育行业 陕西精测电子仪器有限公司 029-85261352 康耀 13991342692 [email protected]
重庆教育行业 重庆杉臣教育科技有限公司 李方清 13320264154 [email protected]m
湖北省 中创云城信息科技有限公司 027-88517519 吕辉 13801220173 [email protected]
中国移动 江杰 13720337758 [email protected]
江苏省教育行业 南京迪软软件有限公司 025-68592750 赵琦 18005161178 [email protected]
上海市教育行业
成都核心代理 四川菲普斯科技有限责任公司 028-87607880 陈先生 13808007617 [email protected]
杭州市 浙江掌尊信息科技有限公司   张成成 18267120032 [email protected]
北京市 北京北测教育科技发展有限公司   杨振宏 15811252385 [email protected]
合肥市 安徽康源物联信息科技有限公司   曹先操 18905605095 [email protected]
郑州市 河南哈努曼电子科技有限公司   董仲飞 13810619676 [email protected]
济南市 济南普云信息科技有限公司   孙刚 15253189163 [email protected]
南京市 南京北极星科技有限公司   刘星雨 13815441588 [email protected]
南京市 南京硕坤电子科技有限公司   邵平 13912950086 [email protected]
北京市 北京物语智城科技有限公司   王菁 18612995658 [email protected]
南昌市 南昌达讯科技   谭持续 18170070499 [email protected]
福州市 福州超联信息技术有限公司   陈增超 18695729557 [email protected]
苏州市 苏州扬天信息科技有限公司 0512-65133300 陈育才 15365388158 [email protected]
西安市 西安诺冠信息技术有限公司 029-62593086 付战领 13389214518 [email protected]


诚征全国代理    总机:400-8855-360

负责人
分 机
手机号
邮 箱
腾讯QQ
杨  剑
8030
18751869256
点击这里给我发消息
分享到: 微信 QQ空间 人人网 更多
阅读:2687次


版权所有 © 2011-2017 南京凯发网娱乐大数据科技股份有限公司(股票代码:835305), 保留一切权利。(苏ICP备11060547号-1)  
凯发网娱乐大数据-专业的云存储、大数据、云计算产品供应商