Flink集群部署

2022-11-05

集群 standalone 安装部署

下载安装包

下载页面：https://archive.apache.org/dist/flink/flink-1.7.2/

我这里安装的 flink-1.7.2-bin-hadoop27-scala_2.11.tgz 版本。

修改配置文件 conf/flink-conf.yaml

修改如下两个参数：

#填你机器的host名
jobmanager.rpc.address: linux2
taskmanager.numberOfTaskSlots: 2

修改配置文件/conf/slave

linux2
linux3
linux4

将文件发送到其他两个机器

scp -r flink-1.7.2 linux3:/opt/lagou/servers/
scp -r flink-1.7.2 linux4:/opt/lagou/servers/

给每台机器配置环境变量

vim /etc/profile

export FLINK_HOME=/opt/lagou/servers/flink-1.7.2
export PATH=$PATH:$FLINK_HOME/bin

配置完成后使配置文件生效

source /etc/profile

./start-cluster.sh

Flink集群部署插图

启动完后我们可以输入网址http://linux2:8081/，验证
Flink集群部署插图1

至此，安装完毕。

然后我们将程序放入集群环境测试。首先需要先打 jar 包，需要注意将依赖也打进去，打包插件如下：


        
            
            
                org.apache.maven.plugins
                maven-shade-plugin
                2.4.3
                
                    
                        package
                        
                            shade
                        
                        
                            
                                
                                    *:*
                                    
                                        META-INF/*.SF
                                        META-INF/*.DSA
                                        META-INF/*.RSA

打包完成后，将 jar 包上传
选中上传的 jar 包，填入我们 main 方法的全类名，参数等等。然后点击 submit 提交任务。
我们可以先使用 nc 工具向程序输入数据 nc -lk 7000

查看日志的输出
Flink集群部署插图4

Yarn 模式集群部署

配置 yarn-site.xml 文件，增加如下配置：


    yarn.nodemanager.pmem-check-enabled
    false


    yarn.nodemanager.vmem-check-enabled
    false

  
    yarn.resourcemanager.address
    linux2:8032
  
  
    yarn.resourcemanager.scheduler.address
    linux2:8030
  
  
    yarn.resourcemanager.resource-tracker.address
    linux2:8031

启动 hdfs

start-dfs.sh

启动 yarn

start-yarn.sh

# -n 2代表2个task manager，tm 800代表内存800m，-s 1代表一个slots，-d代表后台运行
yarn-session.sh -n 2 -tm 800 -s 1 -d

在 yarn 上提交 flink 作业

方式一：

./flink run -c com.mmc.flink.WordCountStream /export/servers/flink/examples/batch/WordCount.jar

方式二：

# -m jobmanager的地址
# -yn 表示TaskManager的个数
./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 /export/servers/flink/examples/batch/WordCount.jar

关闭任务

# 找到yarn任务的id，通过命令杀掉
yarn application -kill application_1527077715040_0003

文章来源于互联网：Flink集群部署

THE END

二维码