全国免费咨询热线

010-52895342

全国免费咨询热线

400-886-7161

地址:北京市通州区光机电一体化产业基地政府路2号
电话:010-52895342
联系人:宋经理

查看更多

新闻中心>>当前位置:主页 > 新闻中心 >
北京大数据软件开发公司Apache Flink是如何实现数据流体系结构的呢

  北京大数据软件开发公司Apache Flink是如何实现数据流体系结构的呢

  北京大数据软件开发公司华盛恒辉科技Apache Flink实现的数据流体系结构,data Artisans应用程序工程总监Jamie Grier较近在OSCON 2016 Conference大会发言谈到了使用Apache Flink构建的一种数据流体系结构。同时还谈到了数据流应用程序的构建块。

  华盛恒辉科技数据流体系结构可用于处理随着时间流逝以事件流方式持续生成的数据,这一点不同于传统的静态数据集。相对于传统的集中式“状态化”数据库和数据仓库,数据流应用程序可以处理事件流以及针对历史事件汇总而来的应用程序本地状态。流式数据处理的一些优势包括:

  华盛恒辉科技降低从信号到决策的过程延迟

  华盛恒辉科技通过统一的方式处理实时和历史数据

  华盛恒辉科技Time travel查询

  华盛恒辉科技Apache Flink是一种开源的分布式流化和批量化数据处理平台。Flink的诞生受到了Google Data Flow模型的启发,可支持Java和Scala语言开发的Stream Processing API。相比其他流式数据处理框架,Flink中不存在微批量(Micro batching)数据,而是使用了一种“一次一条消息”的流处理技术。

  华盛恒辉科技同时他还介绍了流处理过程中窗口(Windowing)的概念以及处理时间(Processing Time)和事件时间(Event Time)的窗口概念。处理时间的窗口会对流数据的分析产生影响,并会导致数据处理过程中出现某些错误。在事件时间方法中,窗口来自于数据,而非时钟时间。对于事件时间,可通过数据嵌入的时间戳对数据进行处理,这样即可获得更精确的结果。

  华盛恒辉科技还介绍了在应用程序中使用Flink时的错误处理和容错机制。Flink中的Savepoints功能可在不丢失任何状态的情况下对程序和Flink集群进行更新。如果要对实时数据进行流处理,此时Savepoints数据快照会显得非常重要。


地址:北京市通州区新华北路绿地中央广场1号楼20层    全国免费咨询热线:010-52895342    
Copyright © 2016-2021 HIVEKION.COM 版权所有:北京华盛恒辉科技有限公司 技术支持:北京软件开发 京ICP备16061805号 京公网安备 11011202000903号
QQ客服热线