flinkdatastream（flinkdatastream api）

本篇文章给大家谈谈flinkdatastream，以及flinkdatastream api对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。

本文目录一览：

• 1、Flink第四篇之Flink的DataStream API(算子解析)
• 2、Flink DataSteam操作
• 3、聊聊flink DataStream的window coGroup操作
• 4、聊聊flink DataStream的connect操作

Flink第四篇之Flink的DataStream API(算子解析)

以上为Flink的运行模型，Flink的程序主要由三部分构成，分别为Source、Transformation、Sink。DataSource主要负责数据的读取，Transformation主要负责对属于的转换操作，Sink负责最终数据的输出。

每个Flink程序都包含以下的若干流程：

执行卖滑环境StreamExecutionEnvironment是所有Flink程序的基础。

创建执行环境有三种方式，分别为：

创建一个执行环境，表示当前执行程序的上下文。 如果程序是独立调用的，则此方法返回本地执行环境；如果从命令行客户端调用程序以提交到集群，则此方法返回此集群的执行环境，也就是说，getExecutionEnvironment会根据查询运行的方式决定返回什么样的运行环境，是最常用的一种创建执行环境的方式。

返回本地执行环境，需要在调用时指定默认的并行度。

返回集群执行环境，将Jar提交到远程服务器。需要在调用时指定JobManager的IP和端口号，并指定要在集群中运行的Jar包。

Data Sink 消费DataStream中的数据，并将它们转发到文件、套接字、外部系统或者打印出。

Flink有许多封装在DataStream操作里的内置输出格式。

将元素以字符串形式逐行写入（TextOutputFormat），这些字符串通过调用每个元素的toString()方法来获取。

将元组以逗号分隔写入文件中（CsvOutputFormat），行及字段之间的分隔是可配置的。每个字段的值来自对象的toString()方法。

打印每个元素的中蚂腊toString()方法的值到标准输出或者标准错误输出流中。或者也可以在输出流中添加一个前缀，这个可以帮助区分不同的打印调用，如果并行度大于1，那么输出也会有一个标识由哪个任务产生的标志。

自定义文件输出的方法和基类（FileOutputFormat），支持自定义对象到字节的转换。

根据SerializationSchema 将元素写入到socket中。

DataStream → DataStream：输入一个参数产生一个参数。

DataStream → DataStream：输入一个参数，产生0个、1个或者多个输出。

DataStream → DataStream：结算每个元素的布尔值，并返回布尔值为true的元素。下面这个例子是过滤出非0的元素：

DataStream,DataStream → ConnectedStreams：连接两个保持他们类型的数据流，两个数据流被Connect之后，只是被放在了一个同一个流中，内部依然保持各自的数据和形式不发生任何变化，两个流相互独立物袭。

ConnectedStreams → DataStream：作用于ConnectedStreams上，功能与map和flatMap一样，对ConnectedStreams中的每一个Stream分别进行map和flatMap处理。

DataStream → SplitStream：根据某些特征把一个DataStream拆分成两个或者多个DataStream。

SplitStream→DataStream：从一个SplitStream中获取一个或者多个DataStream。

DataStream → DataStream：对两个或者两个以上的DataStream进行union操作，产生一个包含所有DataStream元素的新DataStream。注意:如果你将一个DataStream跟它自己做union操作，在新的DataStream中，你将看到每一个元素都出现两次。

DataStream → KeyedStream：输入必须是Tuple类型，逻辑地将一个流拆分成不相交的分区，每个分区包含具有相同key的元素，在内部以hash的形式实现的。

KeyedStream → DataStream：一个分组数据流的聚合操作，合并当前的元素和上次聚合的结果，产生一个新的值，返回的流中包含每一次聚合的结果，而不是只返回最后一次聚合的最终结果。

KeyedStream → DataStream：一个有初始值的分组数据流的滚动折叠操作，合并当前元素和前一次折叠操作的结果，并产生一个新的值，返回的流中包含每一次折叠的结果，而不是只返回最后一次折叠的最终结果。

KeyedStream → DataStream：分组数据流上的滚动聚合操作。min和minBy的区别是min返回的是一个最小值，而minBy返回的是其字段中包含最小值的元素(同样原理适用于max和maxBy)，返回的流中包含每一次聚合的结果，而不是只返回最后一次聚合的最终结果。

在2.3.10之前的算子都是可以直接作用在Stream上的，因为他们不是聚合类型的操作，但是到2.3.10后你会发现，我们虽然可以对一个无边界的流数据直接应用聚合算子，但是它会记录下每一次的聚合结果，这往往不是我们想要的，其实，reduce、fold、aggregation这些聚合算子都是和Window配合使用的，只有配合Window，才能得到想要的结果。

[img]

Flink DataSteam操作

操作符将一个或多个数据流转换为新的数据流。程序可以将多个转换组合成复杂的数据流拓扑。

本节描述了基本转换、应用数哗这些转换后的薯山行有效物理分区以及对Flink的操作符chaining的理解。

通过匿名模式匹配从元组、case类和集合中提取，如下所示:

API不支持开箱即用。要使用这个特性，您应该使用 Scala API扩展

元组的数据流可以进行以下转换:

JAVA

Flink还通过以下函数对转换后的流分区进行低级控制(如果需要的话)。

链接两个后续转换意味着将它们放在同一个线程中以获得更好的性能。如果可能的话，Flink默认情况下是链操作符(例如，两个后续的map转换)。如果需要，该API提供了对链接的细粒度控制:

如果想在整唯胡个作业中禁用链接，请使用 StreamExecutionEnvironment.disableOperatorChaining() 。对于更细粒度的控制，可以使用以下函数。请注意，这些函数只能在DataStream转换之后使用，因为它们引用前一个转换。例如，您可以使用 someStream.map(…). startnewchain() ，但不能使用 someStream.startNewChain() 。

资源组是Flink中的插槽，参见 插槽 。如果需要，可以手动将操作符隔离在不同的插槽中。

聊聊flink DataStream的window coGroup操作

本文隐信码主灶哪要研究一下flink DataStream的window coGroup操作

flink-streaming-java_2.11-1.7.0-sources.jar!/org/apache/flink/streaming/api/datastream/DataStream.java

flink-streaming-java_2.11-1.7.0-sources.jar!/org/apache/flink/坦燃streaming/api/datastream/CoGroupedStreams.java

flink-streaming-java_2.11-1.7.0-sources.jar!/org/apache/flink/streaming/api/datastream/CoGroupedStreams.java

flink-streaming-java_2.11-1.7.0-sources.jar!/org/apache/flink/streaming/api/datastream/CoGroupedStreams.java

flink-streaming-java_2.11-1.7.0-sources.jar!/org/apache/flink/streaming/api/datastream/CoGroupedStreams.java

flink-core-1.7.0-sources.jar!/org/apache/flink/api/common/functions/CoGroupFunction.java

flink-streaming-java_2.11-1.7.0-sources.jar!/org/apache/flink/streaming/api/datastream/CoGroupedStreams.java

flink-streaming-java_2.11-1.7.0-sources.jar!/org/apache/flink/streaming/api/datastream/CoGroupedStreams.java

flink-streaming-java_2.11-1.7.0-sources.jar!/org/apache/flink/streaming/api/datastream/CoGroupedStreams.java

flink-streaming-java_2.11-1.7.0-sources.jar!/org/apache/flink/streaming/api/datastream/DataStream.java

flink-streaming-java_2.11-1.7.0-sources.jar!/org/apache/flink/streaming/api/datastream/CoGroupedStreams.java

聊聊flink DataStream的connect操作

本文主野轿要颂高肆研究一下flink DataStream的connect操作

flink-streaming-java_2.11-1.7.0-sources.jar!/org/apache/flink/streaming/api/datastream/DataStream.java

flink-streaming-java_2.11-1.7.0-sources.jar!/org/apache/flink/streaming/api/datastream/ConnectedStreams.java

flink-streaming-java_2.11-1.7.0-sources.jar!/念哗org/apache/flink/streaming/api/functions/co/CoMapFunction.java

flink-streaming-java_2.11-1.7.0-sources.jar!/org/apache/flink/streaming/api/functions/co/CoFlatMapFunction.java

flink-streaming-java_2.11-1.7.0-sources.jar!/org/apache/flink/streaming/api/functions/co/CoProcessFunction.java

关于flinkdatastream和flinkdatastream api的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。