数据同步方案步

Goodsync|Goodsync(数据同步软件)下载 v9.9.41绿色中文版_ - pc6下载站DBSync 数据库同步工具 4.8
相关合集:
相关热搜:
华军软件园为小伙伴们整理合集了关于数据库同步软件的专区。该软件提供的ODBC的同步功能,可以间接实现对FireBird,INTERBASE等其他数据库的支持,该版本实现了对二进制字段同步的支持,以后的版本中,会逐渐支持其他类型的数据库.DBsync还提供批量脚本更新的功能,该工具可以实现计划、增量、两表记录保持一致等方式的同步操作。喜欢的小伙伴们快来本站下载应用...
高速下载地址
联通下载地址
电信下载地址
移动及其他下载地址
(您的评论需要经过审核才能显示)
升级新版后我发现了几个小问题,并且发给DBSync 数据库同步工具的官方人员了,下次升级应该会解决了
之前找了其他的与这个DBSync 数据库同步工具类似的软件,唯独这个满意,而且还是共享软件
越更新越好用了,之前有些功能我都找不到,现在的DBSync 数据库同步工具太令我惊喜了
试了一下这个DBSync 数据库同步工具,感觉还行,在服务器类里算很好用的了
DBSync 数据库同步工具虽然是共享软件的,但还是有些问题,有待改进呀~
就喜欢用简体中文的软件,其他语言的根本看不懂。
感觉比DBSync 数据库同步工具上一个版本好用,简体中文版共享软件
这个DBSync 数据库同步工具要怎么用啊,我是小白,求解释
DBSync 数据库同步工具4.8怎么找不到下载地址啊,求大神指教~
这版DBSync 数据库同步工具竟然是共享软件,先下载试试,多谢分享。
热门关键词在数据同步和迁移方面_百度文库
两大类热门资源免费畅读
续费一年阅读会员,立省24元!
在数据同步和迁移方面
阅读已结束,下载文档到电脑
想免费下载更多文档?
定制HR最喜欢的简历
你可能喜欢查看:7535|回复:13
提示: 作者被禁止或删除 内容自动屏蔽
论坛首席记者
找到了也告诉我一声,同求
菜刀在手,问天下谁是英雄
fastcopy 选择同步,不需要覆盖。
如果要自动同步(很多移动硬盘自带了这一类的软件)?不过那不是得一直把移动硬盘插上面
优秀技术经理
用WINDOWS自带的备份支持增量备份。简单同步不算备份。
记得点“引用/回复” 我才能跟踪你的问题与反馈。
因为专注,所以专业。
我是一只小小小小牛
微软有个同步工具Synctoy很不错 我现在在用,挺好用的。和你一样定期备份数据到移动硬盘。下载地址:
热衷微软技术,技术成就梦想!
我的博客:
提示: 作者被禁止或删除 内容自动屏蔽
初级工程师
robocopy脚本
助理工程师
filegee 单机的
优秀技术经理
Cobian Backup,我用下来,还是这个软件最好!
我现在客户端的数据,都是用这个软件自动备份到专门的服务器上。
做差异备份就可以了!
两只小鱼备份安全软件
不知道系统自带的windows easy transfer能否设置schedule自动备份。
如果用windows 8,可以用file history。
初级工程师
GOODSNYC,相当于免费。
论坛首席城主
allway sync!!!!!!!!!!
天行健,君子以自强不息。地势坤,君子以厚德载物!
Windows Server\Exchange\VMware技术支持QQ:!
初级工程师
和5楼的一样GoodSync感觉挺好用的,配上邮件账户,任务同步完成后会可以发邮件给你。域名与网站(万网)
数加&大数据分析及展现
数加&大数据应用
管理与监控
阿里云办公
培训与认证
数加&人工智能
数加&大数据基础服务
互联网中间件
开发者工具
大数据开发套件
&&&&&&&&&数据增量同步
数据增量同步
更新时间: 09:58:17
需要同步的两种数据把需要同步的数据,根据数据写入后是否会发生变化,分为不会发生变化的数据(一般是日志数据)和会变化的数据(人员表,比如说人员的状态会发生变化)。
示例说明针对以上两种数据场景,需要设计不同的同步策略。这里以把业务RDS数据库的数据同步到MaxCompute为例做一些说明,其他的数据源的道理是一样。
根据等幂性原则(一个任务多次运行的结果一样,则该任务支持重跑调度,因此该任务若出现错误,清理脏数据会比较容易),每次导入数据都是导入到一张单独的表/分区里,或者覆盖里面的历史记录。
本文定义任务测试时间是,全量同步是在14号做的,同步历史数据到ds=这个分区里。至于本文涉及的增量同步的场景,配置了自动调度,把增量数据在15号凌晨同步到ds=的分区里。数据里有一个时间字段optime,用来表示这条数据的修改时间,从而判断这条数据是否是增量数据。
不变的数据进行增量同步这个场景,由于数据生成后就不会发生变化,因此可以很方便地根据数据的生成规律进行分区,较常见的是根据日期进行分区,比如每天一个分区。
drop table if exists oplog;create table if not exists oplog( optime DATETIME, uname varchar(50), action varchar(50), status varchar(10) );Insert into oplog values(str_to_date('','%Y-%m-%d'),'LiLei','SELECT','SUCCESS');Insert into oplog values(str_to_date('','%Y-%m-%d'),'HanMM','DESC','SUCCESS');这里有2条数据,当成历史数据。需先做一次全量数据同步,将历史数据同步到昨天的分区。
步骤一:创建MaxCompute表
--创建好MaxCompute表,按天进行分区create table if not exists ods_oplog( optime datetime, uname string, action string, status string) partitioned by (ds string);步骤二:配置同步历史数据的任务:
因为只需要执行一次,所以只需操作一次测试即可。测试成功后,到”数据开发”模块把任务的状态改成暂停(最右边的调度配置里)并重新提交/发布,避免任务自动调度执行。
查看MaxCompute表的结果:
步骤三:往RDS源头表里多写一些数据作为增量数据:
insert into oplog values(CURRENT_DATE,'Jim','Update','SUCCESS'); insert into oplog values(CURRENT_DATE,'Kate','Delete','Failed');
insert into oplog values(CURRENT_DATE,'Lily','Drop','Failed');步骤四:配置同步增量数据的任务。注意,通过配置“数据过滤”,在15号凌晨进行同步的时候,把14号源头表全天新增的数据查询出来,并同步到目标表增量分区里。
任务设置调度周期为每天调度,提交/发布后,第二天任务将自动调度执行,执行成功后,可以查看到MaxCompute目标表的数据变成了:
会变的数据进行增量同步如人员表、订单表一类的会发生变化的数据,根据数据仓库的4个特点里的反映历史变化的这个特点的要求,我们建议每天对数据进行全量同步。也就是说每天保存的都是数据的全量数据,这样历史的数据和当前的数据都可以很方便地获得。
真实场景中因为某些特殊情况,需要每天只做增量同步,又因为MaxCompute不支持Update语句进行修改数据,只能用其他方法来实现。两种同步策略(全量同步、增量同步)的具体方法如下文。
drop table if exists user ;create table if not exists user(
uname varchar(50),
deptno int,
gender VARCHAR(1),
optime DATETIME
);--历史数据insert into user values (1,'LiLei',100,'M',str_to_date('','%Y-%m-%d'));insert into user values (2,'HanMM',null,'F',str_to_date('','%Y-%m-%d'));insert into user values (3,'Jim',102,'M',str_to_date('','%Y-%m-%d'));insert into user values (4,'Kate',103,'F',str_to_date('','%Y-%m-%d'));insert into user values (5,'Lily',104,'F',str_to_date('','%Y-%m-%d'));--增量数据update user set deptno=101,optime=CURRENT_TIME
where uid = 2; --null改成非nullupdate user set deptno=104,optime=CURRENT_TIME
where uid = 3; --非null改成非nullupdate user set deptno=null,optime=CURRENT_TIME
where uid = 4; --非null改成nulldelete from user where uid = 5;insert into user(uid,uname,deptno,gender,optime) values (6,'Lucy',105,'F',CURRENT_TIME);每天全量同步每天全量同步同步比较简单。
步骤一:创建MaxCompute目标表。
--全量同步create table ods_user_full(
uid bigint,
uname string,
deptno bigint,
gender string,
optime DATETIME ) partitioned by (ds string);步骤二:配置全量同步任务。
注意,需要每天都全量同步,因此任务的调度周期需要配置为天调度。
步骤三:测试任务,并查看同步后MaxCompute目标表结果。
因为每天都是全量同步,没有全量和增量的区别,所以第二天任务自动调度执行成功后,就能看到数据结果为:
如果需要查询的话,就用where ds =‘’来取全量数据即可。
每天增量同步不推荐用这种方式,只有在极特殊的场景下才考虑。首先这种场景不支持delete语句,因为被删除的数据无法通过SQL语句的过滤条件查到。当然实际上公司里的代码很少直接有直接删除数据的,都是使用逻辑删除,那delete就转化成update来处理了。但是这里毕竟限制了一些特殊的业务场景不能做了,当出现特殊情况可能导致数据不一致。另外还有一个缺点就是同步后要对新增的数据和历史数据做合并。具体的做法如下文。
需要创建2张表,一张写当前的最新数据,一张写增量数据。
--结果表create table dw_user_inc(
uid bigint,
uname string,
deptno bigint,
gender string,
optime DATETIME );--增量记录表create table ods_user_inc(
uid bigint,
uname string,
deptno bigint,
gender string,
optime DATETIME )操作步骤
步骤一:配置任务将全量数据直接写入结果表。注意,这个只需执行一次,执行成功后需要到“数据开发”将任务设置暂停。
结果如下:
步骤二:配置任务将增量数据写入到增量表。
步骤三:将数据做一次合并。
insert overwrite table dw_user_inc select --所有select操作,如果ODS表有数据,说明发生了变动,以ODS表为准case when b.uid is not null then b.uid else a.uid end as uid,case when b.uid is not null then b.uname else a.uname end as uname,case when b.uid is not null then b.deptno else a.deptno end as deptno,case when b.uid is not null then b.gender else a.gender end as gender,case when b.uid is not null then b.optime else a.optime end as optimefrom dw_user_inc a full outer join ods_user_inc bon a.uid
= b.uid ;最终结果是:
可以看到,delete的那条记录没有同步成功。
对比以上两种同步方式,可以很清楚看到两种同步方法的区别和优劣。第二种方法的优点是同步的增量数据量比较小,但是带来的缺点有可能有数据不一致的风险,而且还需要用额外的计算进行数据合并。如无必要,会变化的数据就使用方法一即可。如果对历史数据希望只保留一定的时间,超出时间的做自动删除,可以设置Lifecycle。
本文导读目录
以上内容是否对您有帮助?
更新不及时
缺少代码/图片示例
太简单/步骤待完善
更新不及时
缺少代码/图片示例
太简单/步骤待完善
感谢您的打分,是否有意见建议想告诉我们?
感谢您的反馈,反馈我们已经收到}

我要回帖

更多关于 数据同步方案 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信