博客
关于我
flink读取hive表数据的一些现象
阅读量:763 次
发布时间:2019-03-23

本文共 384 字,大约阅读时间需要 1 分钟。

一个可能的解释是,配置文件中的execution和planner设置直接影响了Flink如何处理数据。默认的execution设置为streaming,这适用于处理实时数据流,但在某些情况下,批量处理可能提供了更好的性能或数据一致性。与此同时,planner设置到batch说明Flink使用批量处理模式。

用户提到的现象显示,无论是创建Hive表还是Flink流表,由于type: streaming和batch都能正常工作,说明它们在不同的数据量和处理需求下都可以有效使用。特别是在处理外部日志文件时,批量处理能完全读取数据,而流处理则可能遇到读取逻辑上的问题。这可能是因为批处理模式更适合处理完整的、离散的数据集,而流处理则需要数据持续生成。

通过这些分析,可以得出配置文件中的execution设置直接反映了Flink处理数据的方式,从而影响了查询和处理性能。

转载地址:http://eykkk.baihongyu.com/

你可能感兴趣的文章
Python3导入自定义模块的3种方式
查看>>
python3打开txt文件_使用Python 3从文本文件读取句子并添加到列表中
查看>>
python3爬虫抓取智联招聘职位信息代码
查看>>
Python3爬虫数据入数据库---把爬取到的数据存到数据库,带数据库去重功能
查看>>
python3的 pymysql把mysqldb库取代了,让python 3支持mysqldb的解决方法
查看>>
Python3笔记——IDE的选择
查看>>
python3简单使用requests 用户代理,cookie池
查看>>
Python3组播通信编程实现教程(发送者+接收者)
查看>>
Python3编写网络爬虫10-数据存储方式三-CSV文件存储
查看>>
python3读取redis返回数据带有'b'的问题
查看>>
Python3连接MySQL
查看>>
Python关于isinstance函数的解析 | 附Demo(全)
查看>>
Python3:setup.py:完成所有任务的PIP安装(Build_ext+Install)
查看>>
python4.0 gil_Python 并发编程系列--1、浅谈GIL历史及对多线程的影响
查看>>
python60行绘图程序_天底下最简单的QT画图板,就一个类,60行代码
查看>>
Python: AES加密与解密
查看>>
Python: Range() 最大尺寸;动态的还是静态的?
查看>>
Python: Windows下用 multiprocessing 的深坑
查看>>
python:Could not find platform independent libraries <prefix>解决方法
查看>>
Python:datetime tzinfo 时区名称文档
查看>>