百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 优雅编程
解决kafka消息丢失和重复消费(kafka消息重复问题)

1.前言本次的案例和相关配置是基于spring,具体的版本如下spring.5.1.5Spring-kafka-2.2.4spring-clients-2.0.12.消息丢失2.1消息为什么会丢失...

kafka入门-单机版安装及配置(kafka下载安装)

1.安装kafka安装包可以通过官网下载:https://kafka.apache.org/downloads本次案例使用kafka_2.11-1.0.0.tgz,把软件上传或下载到/opt/目...

TiDB 4.0 21天掌握——第14天(tidb可能丢数据吗)

参加了TiDB4.0的21天培训,带你21天掌握TiDB。课程内容1:如何将数据从Aurora迁移到TiDB主要还是使用TiDBDM工具,DM工具可以将分库分表的上游库合并迁移至下游,其架构主要由...

GoldenGate数据迁移的问题总结(一)

今天对GoldenGate的数据同步进一步做了测试,发现在一些模拟真实的场景中,需要考虑的因素要更多更为复杂。简单同步几条,几百条数据的测试同步做验证测试可以,但是很难测试出来一些潜在的问题,今天碰到...

搭建私有化DataWorks平台 - Part 2 数据同步

前言搭建私有化阿里云DataWorks平台需要三个大的维度的功能:数据同步数据开发数据质量数据开发Part1已经讲完了,本文会深入讲解数据同步,数据质量会留在下一篇文章深入讲解。数据同步的核心数据同...

流式计算的新贵 Kafka Stream设计解析

作者|郭俊编辑|江柳KafkaStream背景KafkaStream是什么KafkaStream是ApacheKafka从0.10版本引入的一个新Feature。它是提供了对...

运维日记|Oracle GoldenGate之DDL填坑

某天半夜,小编突然接到客户电话,瞬间从美梦中惊醒!啥?数据库所有ddl操作无法成功!无法编译任何包!包括grant、alter、impdp/expdp、drop、truncate等操作!但告警日志a...

大数据平台-数据采集和集成技术和工具整理

今天谈下大数据平台构建中的数据采集和集成。在最早谈BI或MDM系统的时候,也涉及到数据集成交换的事情,但是一般通过ETL工具或技术就能够完全解决。而在大数据平台构建中,对于数据采集的实时性要求出现变化...

数据库容灾——Golden Gate 与 Oracle DataGuard的区别

概述目前越来越多的客户重视灾备数据站点的建设,由于存储级灾备和操作系统级灾备的局限性(主要是带宽高及事务完整性不容易保证),因此在选择甲骨文的应用级灾备时,通常考虑的是DataGuard和Golde...

OGG复制进程延迟处理思路与方法(ogg复制进程指定scn启动)

作者简介:王坤,北京海天起点技术服务股份有限公司高级DBA。具有OracleOCP认证。2015年加入海天大家庭后,一直担任北京海天湖南办驻湖南电力信通公司现场高级数据库工程师。主要负责Oracle...