博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Storm并行度和流分组详解
阅读量:4290 次
发布时间:2019-05-27

本文共 470 字,大约阅读时间需要 1 分钟。

并行度

对于一个拓扑来说,并行度其实就是task,task是最小的计算单元,每个spout/bolt的相关代码副本都会运行在一个task中。并不是executor,因为默认情况下一个executor只有一个task,executor的数量和task是相等的。


流分组

流分组表示task与task之间数据流向的关系。如果bolt1有三个task会将数据流向到下游同样三个task的bolt2。以下为比较常用的分组策略:

  • Shuffle Grouping: 随机发射,负载均衡
    如果bolt1的一个task发射三条数据,那么每条数据会流向bolt2中的不同的task来达到负载均衡
  • Fields Grouping: 根据某一个,或者某些个字段fields进行分组
    task发射的每条数据称为tuple,tuple可以由很多个field组成,通过一个或者几个field进行分组,同一组中的这些fields是相同的,那么这组数据会流向同一个bolt2中的一个task
  • All Grouping: 一个task发射的数据会全部流向下游的每个task

转载地址:http://khrgi.baihongyu.com/

你可能感兴趣的文章
50个sql语句
查看>>
MYSQL sql 语句性能分析
查看>>
C++操作Redis数据库
查看>>
python yield用法
查看>>
python pipe模块用法
查看>>
安装完 MySQL 后必须调整的 10 项配置
查看>>
开发者必备的 12 个 JavaScript 库
查看>>
http错误码
查看>>
python 多线程
查看>>
sipp命令 各参数含义
查看>>
搜集的动植物分类、检索网站
查看>>
ffmpeg源码分析之媒体打开过程
查看>>
Ubuntu/centos/redhat/SUSE sipp安装(带rtp支持,3.5.1版本)
查看>>
周鸿祎:很多程序员聪明,但我一看就知道他不会成功
查看>>
编译程序遇到问题 relocation R_X86_64_32 against `.rodata' can not be used when making a shared object;
查看>>
Const指针 、 指向const的指针 、引用、指针
查看>>
GDB调试命令
查看>>
常见数据类型的字节数
查看>>
gcc/g++ 编译常见问题
查看>>
【设计模式】 工厂模式实例 C++ , 利用工厂模式写一个计算器
查看>>