基于UDP建立高度可靠的正确性保障机制

压缩传输、传输与存储协同优化

有效的拥塞控制机制、无限的转发框架" />


背景

  目前普遍采用的TCP/IP网络传输协议已经有30多年历史,它主要是针对低效、复杂的网络而设计的,用在高带宽的数据链路上已经不能适应用户需求。我国地面光纤网络的传输效率普遍在带宽的20%以下,其结果是:一方面很难实时获取数据,另一方面也大大增加了带宽建设或租用成本。

  南京凯发网娱乐大数据科技股份有限公司经过多年积累,专门针对地面数据传输研究出高性能可靠文件传输协议cTrans,采用并行流水线方式、将传输与存储作联合优化,并支持多点中继传输。经过多项实地远程传输试验,结果表明该技术的传输效率在1Gb/s光纤线路上达到了带宽的80%左右。cTrans建立在UDP协议之上,可以通用于互联网中。

  图1和图2分别为TCP/IP性能柱状图和cTrans性能柱状图。

图1 TCP/IP性能柱状图
图2 cTrans性能柱状图


产品简介

   cTrans 云传输技术基于 UDP 协议,在应用层做了可靠性保障,同时加入 P2PXX技术,进一步提高了信道利用率。cTrans 云传输通过三次握手明确信道状况和基本传输速率,随后会以此速率发包,接收端在应用层检测收到包的序号,产生错误后记录下序号,累积一段时间后反馈序号列表,发送端重新将这些序号的包发送一遍即可。使用cTrans协议传输效率如图3所示:

图3 cTrans协议性能柱状图

   可以看出,cTrans 十分适合大数据的远距离传输模式,能够很大地提升传输带宽利用率,解决远距离传输的难题。

   基于 cTrans 高速云传输机制构建的 cTrans 云分发系统,主要包括中央节点资源及任务管控软件、边缘节点传输客户端软件两个部分。主要功能包括节点管理、用户管理、资源管理、任务管理、日志管理、参数设置等功能模块。cTrans云分发系统广泛适用于广电、媒体、互联网、军队、科研机构等特定行业和专业领域,并可在资源及数据的存储层面,与相关领域的业务系统(例如:媒资管理系统、地理信息系统等)进行整合。云分发系统具有传输速度快、传输成功率高、运行安全稳定、扩展性强、易于部署维护等优点。

图4 cTrans云分发系统传输界面

   cTrans 协议是我们公司专门针对地面数据传输开发的高性能可靠文件传输协议。采用并行流水线方式、将传输与存储作联合优化,并支持多点中继传输。cTrans建立在 UDP 协议之上,可以通用于互联网中,能够将互联网远程数据传输效率提高 4 倍以上,特别适合海量数据的远程传输。



系统架构

   基于cStor云存储系统的cTrans云分发系统架构图,如下:

图5 cTrans系统架构图




   cTrans系统结构如图6所示:

图6   cTrans结构图

   cTrans双方都有发送和接收两个实体。发送实体根据流量控制和速率控制来发送(和重传)报文。接收实体负责数据报文和控制报文的接收,同时负责触发和处理所有的控制事件:包括拥塞控制、可靠性控制、RTT估计、带宽估计、应答和重传等。

   cTrans双方需要通信时,客户端首先发送连接请求报文,并在收到服务器端响应后,建立连接。传输过程中双方还将定时发送握手报文来维持连接。传输结束后,可以由客户端发起请求,主动关闭连接;也可以通过客户端停止发送握手包,使接收方握手超时,从而被动关闭连接。

   进行数据发送时,cTrans将应用层数据切割成固定长度的报文进行发送。如果报文长度超过MTU,那么网络层将对该报文进行分片,下层的协议对于分片到达的可靠性是没有任何保证措施的,因此任何一个分片的丢失,都将导致整个报文的重传,从而使报文一次正确到达的几率降低。基于上述考虑,应当避免报文分片。因此报文的很大长度为MTU,同时考虑到下层的协议开销,报文的实际长度略小于网络的MTU。


使用环境与界面


   使用环境:目前提供Linux下的cTrans版本,可根据客户需要定制Windows下版本。

   使用界面:支持Shell下命令行操作界面,同时提供类似FTP软件的操作界面,如图8所示:

图7   cTrans软件界面


测试数据


   测试系统有A、B、C三台机器,以千兆以太网连接。数据从服务器A依次发送到B,C。进行存储测试时,A向B发送数据,B接收后,在本地进行存储,同时将数据转发给C,C接收到后进行存储。测试环境的硬件配置如下表所示。

   硬件配置

服务器名称 CPU 内存 网卡 RAID 操作系统
A 双核3.2GHZ 4G 1000Mbit/s 4块硬盘加raid卡构建raid0 Linux 2.6.20内核
B 双核3.2GHZ 4G 1000Mbit/s 4块硬盘加raid卡构建raid0 Linux 2.6.20内核
C 双核3.2GHZ 4G 1000Mbit/s 4块硬盘加raid卡构建raid0 Linux 2.6.20内核

   采用Ipfer和Iometer分别对机器的实际很大网络速度(采用UDP协议)和I/O速度进行测试,结果如下表所示。

   采用Ipfer,速度测试结果

网络速度 磁盘读取速度 磁盘写入速度
112MB/s (A-B UDP ) 150MB/s(顺序读) 121MB/s(顺序写)

112MB/s (A-B UDP )

119MB/s (B-C UDP )

146MB/s(顺序读) 119MB/s(顺序写)
121MB/s (C-B UDP ) 147MB/s(顺序读) 124MB/s(顺序写)

   采用cTrans后,A-B不转发,测试结果如下表所示。

   采用cTrans后,A-B不转发,速度测试结果

文件大小(GB) 用时(s) 平均速率(MB/s) 是否正确
8 97 82.47
8 101 79.21
6 78 76.92
6 77.5 77.42
6 78 76.92
3.9 49 79.59
3.9 47 82.98
3.9 47 82.98

   采用cTrans后,A-B-C转发,测试结果如下表所示。

   采用cTrans后,A-B-C转发,速度测试结果

文件大小(GB) A到B用时(s) 中转用时(s) 平均速率(MB/s) 是否正确
8G 96.686 103.877 81.06/77.01
8G 98.645 102.830 81.09/77.79
8G 97.655 106.859 81.92/74.86
6G 81.54 80.62 73.58/74.42
6G 79.56 78.68 75.41/76.25
6G 79.52 79.73 75.45/75.25
3.9G 49.32 49.52 79.05/78.75
3.9G 54.37 51.42 71.73/75.84
3.9G 52.416 51.388 74.40/75.25


产品特性

   cTrans传输协议的实现主要由转发模块、存储模块、可靠传输模块构成,底层基于UDP协议, P2P方式传输。

流水线并行传输技术
应用流水线的思想,将网络数据的接收、存储、转发分解成流水线上的独立单元,网络数据顺序进入以上单元进行处理。这样既提高了并行程度,同时也减少了数据的内存拷贝次数,从而提高了系统整体性能。
传输与存储并行优化
将文件发送端的流程划分为文件读取和数据发送两个独立的部分,同时增加读取队列和发送队列来取消步骤之间的资源相关性,运用多线程技术,实现发送和传输重叠执行,达到性能优化的目的。同理在接收端将文件存储和数据接收分解成独立的部分。

基于UDP建立高度可靠的准确性保障传输机制
建立了特殊的可靠传输机制,确保数据有序正确到达(数据的正确性已经过长时间的使用得到验证)。
有效的拥塞控制机制
可以根据线路特性,实现相应的拥塞控制机制,进行专门优化。

无限的转发框架
转发的节点个数不受限制,并且可以实现转发的多级级联。


市场应用

应用范围 应用描述 典型用户
视频传输、节目分发 海量数据传输与处理、视频格式转换、高清节目转码、节目多点分发 电视台、媒体制作相关行业
数据灾备 海量数据远程灾备 图书馆、档案馆
大规模数据传输 高并发、大文件高性能传输 视频点播系统、图书馆、学校、政府机关
... ... ...

更多下载

联系方式    总机:400-8855-360

销售人员
分 机
手机号
邮 箱
腾讯QQ
王玮
8054
15077865340
点击这里给我发消息
骆梦阳
8052
13952028557
点击这里给我发消息
陈跃飞
8041
13951803427
点击这里给我发消息
杨  剑
8030
18751869256
点击这里给我发消息
何家乐
8031
18616794962
点击这里给我发消息
刘立宏
8034
13815414773
点击这里给我发消息
刘连鹏
8018
18021395113
点击这里给我发消息
左  赛
8033
18017566211
点击这里给我发消息
王  军
8035
13851877991
点击这里给我发消息
张绪文心
8027
18602548008
点击这里给我发消息
吴亚洲
(新疆分公司 总经理)
8022
15051819138
点击这里给我发消息
谢久军
8042
13805153062 
点击这里给我发消息
马阳阳
8006
18651810931
点击这里给我发消息
张英剑
18129402655
点击这里给我发消息
刘飞
18915923362 
点击这里给我发消息
刘宏
(河南办事处 主任)
 
13333831976
点击这里给我发消息
韦远雄
(广西办事处)
 
18577997606
点击这里给我发消息
周俊
(湖北办事处)
 
13995587166
点击这里给我发消息
汤添智
(贵州办事处)
13602805009
点击这里给我发消息
曾娟
(重庆办事处)
13628383332
点击这里给我发消息


全国代理商

区域/行业 代理商 电 话 联系人 手机号 邮 箱
西安市教育行业 陕西精测电子仪器有限公司 029-85261352 康耀 13991342692 [email protected]
重庆教育行业 重庆杉臣教育科技有限公司 李方清 13320264154 [email protected]
湖北省 中创云城信息科技有限公司 027-88517519 吕辉 13801220173 [email protected]
中国移动 江杰 13720337758 [email protected]
江苏省教育行业 南京迪软软件有限公司 025-68592750 赵琦 18005161178 [email protected]
上海市教育行业
成都核心代理 四川菲普斯科技有限责任公司 028-87607880 陈先生 13808007617 [email protected]
杭州市 浙江掌尊信息科技有限公司   张成成 18267120032 [email protected]
北京市 北京北测教育科技发展有限公司   杨振宏 15811252385 [email protected]
合肥市 安徽康源物联信息科技有限公司   曹先操 18905605095 [email protected]
郑州市 河南哈努曼电子科技有限公司   董仲飞 13810619676 [email protected]
济南市 济南普云信息科技有限公司   孙刚 15253189163 [email protected]
南京市 南京北极星科技有限公司   刘星雨 13815441588 [email protected]
南京市 南京硕坤电子科技有限公司   邵平 13912950086 [email protected]
北京市 北京物语智城科技有限公司   王菁 18612995658 [email protected]
南昌市 南昌达讯科技   谭持续 18170070499 [email protected]
福州市 福州超联信息技术有限公司   陈增超 18695729557 [email protected]
苏州市 苏州扬天信息科技有限公司 0512-65133300 陈育才 15365388158 [email protected]
西安市 西安诺冠信息技术有限公司 029-62593086 付战领 13389214518 [email protected]


诚征全国代理    总机:400-8855-360

负责人
分 机
手机号
邮 箱
腾讯QQ
杨  剑
8030
18751869256
点击这里给我发消息
分享到: 微信 QQ空间 人人网 更多
阅读:9737次


版权所有 © 2011-2017 南京凯发网娱乐大数据科技股份有限公司(股票代码:835305), 保留一切权利。(苏ICP备11060547号-1)  
凯发网娱乐大数据-专业的云存储、大数据、云计算产品供应商