flume batchsize transactionCapacity capacity的简单理解

Dianthe ·
更新时间:2024-11-13
· 848 次阅读

batchSize——Maximum number of messages written to Channel in one batch 每批次写入channel的最大条数

capacity——The maximum number of events stored in the channel channle 容纳的最大event条数

transactionCapacity
——The maximum number of events the channel will take from a source or give to a sink per transaction
从source获取或传递给sink的每个事务(每个处理过程)最大event条数

batchSize <= transactionCapacity <= capacity
最后的对比关系是学来的,可以大概理解一下,如果写入channel量大于存储量或者处理量,则会造成数据堆积。如果每个处理过程条数大于存储条数,本身这句话就有歧义,就好比一个足球想放在打针用的注射器里面,听起来就很奇怪。

本人才疏学浅、英语水平有限,中文释义皆为方便自己理解不够严谨,如有不妥,希望各界大佬指出。


作者:zhang_haotian0707



flume

需要 登录 后方可回复, 如果你还没有账号请 注册新账号