流批一体的近实时数仓的思考与设计
作者|张剑 摘要:基于对数据时间旅行的思考,引出了对目前三种数仓形态和两种数仓架构的思考。结合数据湖在 Flink 的应用和数据湖元数据类型的思考,探索了基于数据湖的 Flink SQL 流批一体的实践,在流批一体 SQL 表达一致、结果一...
作者|张剑 摘要:基于对数据时间旅行的思考,引出了对目前三种数仓形态和两种数仓架构的思考。结合数据湖在 Flink 的应用和数据湖元数据类型的思考,探索了基于数据湖的 Flink SQL 流批一体的实践,在流批一体 SQL 表达一致、结果一...
from core.mysql.models import TweetTable from loguru import logger import eventlet import time from eventlet import monk...
2022年的程序员节, #大龄程序员去哪儿了#成为了社交媒体上最火的话题之一,程序员的职场成长问题在社会上引起了广泛关注。 有2位在技术领域摸爬滚打很多年的开发者,35岁后的他们,有70后,有80后,依然在编程开发,依然有离职创业的勇气,努...
背景 随着越来越多的云原生微服务应用的大规模部署,大家对微服务治理的能力需求越来越强。Java Agent技术能够让业务专注于业务逻辑,与此同时,中间件通过Java Agent支持无侵入修改程序行为,提供微服务治理能力。 此外,Java A...
1 背景 性能优化是我们日常工作中很重要的一部分,主要有以下原因: 降低服务器和带宽等硬件成本:用更少的资源处理更多的请求 提高现实世界的运行效率:人机处理效率存在数量级的偏差,同样机器世界的效率提升能带来现实世界效率提升的方法效果 提高用...
之前总聊微服务,今天换一个话题—低代码。 低代码这个词也是最近这几年很火的概念,尤其是遇到大环境下行,很多大厂和互联网那个公司也在慢慢在低代码方向发力,当然,对于传统项目交付型的软件公司,低代码也具有相当大的吸引力。 如何理解低...
导读 本文是线上问题处理案例系列之一,旨在通过真实案例向读者介绍发现问题、定位问题、解决问题的方法。本文讲述了从垃圾回收耗时过长的表象,逐步定位到数据库连接池保活问题的全过程,并对其中用到的一些知识点进行了总结。 一、问题描述 大促期间,某...
有很多人问过我,学习开源项目消息推送平台austin需要有什么基础,我往往会回答:有SpringBoot基础就够了。 我在几年前总结过从零学习Java的路线,现在看来也没有很过时: Java基础:流程控制–>面向对象(包括...
研发过程中,如何直观且准确地获悉代码提交后的质量状态?引入持续集成,可以自动化的对代码进行代码检查、单元测试、编译构建、甚至部署与发布,大幅提升开发人员的效率。 腾讯云 CODING 推出 CI 3.0 ——云原生构建,是一款基于代码仓库的...
摘要 Dubbo3 Triple 协议是参考 gRPC、gRPC-Web、Dubbo2 等协议特点设计而来,它吸取各自协议特点,完全兼容 gRPC、Streaming 通信、且无缝支持 HTTP/1 和浏览器。 当你在 Dubbo 框架中使...