当前位置: 首页 > news >正文

企业网站制作服务宁波seo快速优化

企业网站制作服务,宁波seo快速优化,武汉企业网站设计,vps 安装wordpress我在用flinkcdc把数据从sqlserver写到doris 正常情况下sqlserver有删除数据,doris是能捕获到并很快同步删除的。 但是我现在情况是doris做为数仓,数据写到ods,ods的数据还会通过flink计算后写入dwd层,所以此时ods的数据是删除了…

我在用flinkcdc把数据从sqlserver写到doris

正常情况下sqlserver有删除数据,doris是能捕获到并很快同步删除的。

但是我现在情况是doris做为数仓,数据写到ods,ods的数据还会通过flink计算后写入dwd层,所以此时ods的数据是删除了,但是dwd甚至ads的都没删除,这样就会有脏数据。此时我们就需要去捕获被删除的数据,就要用到debezium插件。

利用cdc把数据从sqlserver发送到kafka,并转为debezium的json格式。

source表正常配,sink-kafka的表配置如下:

然后再拉一个工作流

想获取数据的话,就用如下方式:

很多人不懂op是什么,c是什么,接下来解释下: 

debezium会有四种op的数据,

  • op :表示当前事件的类型,取值为:c表示insert、u表示update、d表示delete、r表示快照read;
  • ts_ms: connector处理该事件的本地时间戳,可以省略;
  • before:变化事件发生之前的值;
  • after:变化事件发生之后的值;
  • source:事件源的结构信息,包括connector版本、事务ID等;

 举个例子:

  • 新增一条数据:
insert into inventory.a values (4, 'n4');

控制台输出的是:

..."payload":{"before":null,"after":{"id":4,"name":"n4"}..."op":"c"...
  • 修改一条数据:
update inventory.a set name = 'n4-upd' where id = 4;

控制台输出的是:

..."payload":{"before":{"id":4,"name":"n4"},"after":{"id":4,"name":"n4-upd"}..."op":"u"...
  • 删除一条数据:
delete from inventory.a where id = 1;

控制台输出的是:

..."payload":{"before":{"id":1,"name":"n1"},"after":null..."op":"d"...

这样就可以获取到被删除的数据,或者是更新前的数据啦~

我在sqlserver测试的时候,发现update一条数据,实际上会先有一条d,然后有一条c。

http://www.15wanjia.com/news/35154.html

相关文章:

  • 做网站推销手表日本预测比分
  • 中园建设银行官方网站最好的网站优化公司
  • 网站简繁体转换js蚌埠网络推广
  • 公司建设网站价格多少百度指数使用方法
  • wordpress黑客seo专业培训费用
  • 中徽园林建设有限公司网站提高网站排名
  • 做网站预付款 怎么做账安庆seo
  • 网站系统有哪些在线客服系统
  • 做网站上传资源百度竞价怎么开户
  • 沈阳快速建站模板国家再就业免费培训网
  • 橙子建站是免费还是收费的网络营销课程主要讲什么内容
  • 网站建设的方案费用aso优化排名
  • 郑州网站建设技术支持优化分析
  • 网站建设是什么费用网站优化培训
  • 动态网站的表单设计互联网营销师报名入口
  • 做网站需要什么准备2023年新闻热点事件摘抄
  • app免费开发平台有哪些seo教程seo优化
  • 怎么做网站站长视频新闻发布平台有哪些
  • 企业黄页电话湖南网站建设推广优化
  • 服务网站运营方案网络推广外包搜索手机蛙软件
  • 服务器做jsp网站教程快速seo优化
  • 《网页设计与网站建设》第06章在线测试seo技术自学
  • 怎样制作网站积分系统茶叶网络推广方案
  • 金华做网站公司seo优化排名是什么
  • 贵州城乡建设厅考试网站代运营哪家公司最靠谱
  • 看男女做那个真实视频网站百度seo教程
  • 通过wordpress小程序发布文章优优群排名优化软件
  • 页面设计排版网站自动连点器
  • wordpress仿站上传到网络推广与推广
  • 伊滨区网站建设腾讯企业qq官网