标注的博客| 安全研究| 渗透测试| APT

首页

storm实时流式计算框架集群搭建过程

作者 olanna 时间 2020-03-28
all

                                                                                                                                                                                               ——by comaple.zhang 这几天在其他同事的帮助下,调研了twitter的开源流式计算框架storm的使用,下面分享一下storm集群的安装配置过程。以作备忘之用。 我的实验机器为:195和196 如果转载请注明出处:comaple的博客 首先:安装依赖包 1,  ZeroMQ 2.1.7 2,  JZMQ 3,  Java 4,  Python 5,  Unzip 这里只需要安装1,2就可以了。下面是遇到的一些问题: 安装zeroMQ 下载zeroMQ2.1.7  http://www.zeromq.org/area:download 解压:tar –xvf zeromq-2.1.7.tar.gz Cd 到bin目录: ./autogen.sh  如果没有找到configure文件时要运行这一步。./configureconfigure: error: cannot link with -luuid, install uuid-dev. 运行时如果报这个错解决方案如下:yum install uuid-dev 提示找不到该依赖包yum install uuid*     直接用* ok./configure  再次运行configure还是报错configure: error: cannot link with -luuid, install uuid-dev.上网搜索可能是还缺另外一个包yum install e2fsprogs* okmake install 安装JZMQ a)        下载jzmq.zip   https://github.com/nathanmarz/jzmq b)  Cd到bin目录./autogen.sh c)  ./configure 安装storm集群 配置说明:10.10.249.195:nimbus   10.10.249.196: supervisor Storm集群需要zookeeper集群的支持所以应该先安装zookeeper集群。再配置storm集群,下面是storm集群的配置: 10.10.249.195上的配置: a)        下载storm-0.7.4.zip   https://github.com/nathanmarz/storm/downloads b)        解压后修改conf/storm.yaml文件, storm.zookeeper.servers:     - "10.10.249.195"     - "10.10.249.196" c)        # nimbus.host:"nimbus" 这个不用改,nimbus负责提交任务,分配任务。相当于namenode节点。 配置好以后到bin目录下: ./storm nimbus     启动storm主节点服务 ./storm ui                   启动storm监控页面:监控地址:http://hostname:8080 10.10.249.196上的配置: 1,修改storm.yaml 文件: storm.zookeeper.servers:     -"10.10.249.195"     -"10.10.249.196" nimbus.host: "10.10.249.195" #这个是storm将要启动几个本地work,一个端口对应一个work。 2,启动supervisor ./storm supervisor 提交任务: 10.10.249.195上面: ./storm jar stormWork.jar SearchKeywordTopNTopology"word-count" 这里有用到的jar文件大家可以试一试:stormWork.jar 监控storm运行情况: 发布了40 篇原创文章 · 获赞 59 · 访问量 25万+