当前位置: 首页 - 智能 - 聊聊大资料处理分析的相关技术

聊聊大资料处理分析的相关技术

2024-12-13 智能 0

聊聊大资料处理分析的相关技术

目前,比较流行的、开源的大资料处理框架:Hadoop,Storm,Spark和Flink。

大资料处理分析的相关技术

大资料包括静态资料(批处理)和流资料(实时计算)。另外,大资料中还包括很多图结构资料,因此新的图计算框架应运而生,Pregel就是其中一个具有代表性的产品。

资料视觉化是大资料分析的最后一个环节,通过丰富的视觉效果,把资料以直观、生动、易理解的方式呈现出来。

业界比较流行的分散式批处理框架,有Apache Hadoop/MapReduce和Apache Spark等。流处理则需要流资料处理技术,如Apache Storm、Spark Streaming、Apache Flink等分散式计算引擎都能够支援处理流式资料。

目前,在业界比较熟知的开源大资料处理框架中,能够同时支援流式计算和批量计算,比较典型的代表分别为Apache Spark和Apache Flink两套框架。

其中,Spark通过批处理模式来统一处理不同型别的资料集,对于流资料是将资料按照批次切分成微批(有界资料集)来处理。Flink则从另外一个角度出发,通过流处理模式来统一处理不同型别的资料集。最终将批处理和流处理统一在一套流式引擎中,这样就可以使用一套引擎进行批计算和流计算的任务。

Pregel是一种基于BSP(Bulk Synchronous Parallel)模型实现的并行图处理系统。为了解决大型图的分散式计算问题,Pregel 搭建了一套可扩充套件的,有容错机制的平台,该平台提供了一套非常灵活的API,可以描述各种各样的图计算。

标签: 人工智能发展前景智能云遥控app人工智能张雪峰智能制造技术发展趋势智能产品介绍

上一篇:女性与代码人工智能领域的未来

下一篇:小米全屋智能我家的智慧升级从无线音箱到智能门锁怎么让生活更便捷

相关推荐
推荐资讯
热门文章