Flume 环境

  • 环境设置

    在前面章节中,我们已经讨论了Flume的体系结构。在本章中,让我们看看如何下载和设置Apache Flume。
    在继续进行之前,您需要在系统中拥有一个Java环境。因此,首先,请确保您在系统中安装了Java。对于本教程中的一些示例,我们使用了Hadoop HDFS(作为接收器)。因此,我们建议您与Java一起安装Hadoop。查看Hadoop 安装
  • 安装 Flume

    首先,从网站https://flume.apache.org/下载最新版本的Apache Flume软件。
    第1步 - 打开网站。单击主页左侧的下载链接。它将带您到Apache Flume的下载页面。
    flume
    第2步 - 在“Download”页面中,您可以看到Apache Flume的二进制文件和源文件的链接。单击链接apache-flume-1.9.0-bin.tar.gz
    您将被重定向到镜像列表,您可以在其中单击任何一个镜像来开始下载。同样,您可以通过单击apache-flume-1.9.0-src.tar.gz下载Apache Flume的源代码。(我们这里下载的是二进制包)
    第3步在安装了Hadoop,HBase和其他软件的安装目录(如果已经安装)的目录下,创建一个名为Flume的目录。
    
    $ mkdir Flume 
    
    第4步 - 提取下载的tar文件,如下所示。
    
    $ cd Downloads/ 
    $ tar zxvf apache-flume-1.9.0-bin.tar.gz  
    $ tar zxvf apache-flume-1.9.0-src.tar.gz
    
    第5步 如下所示,将apache -fume-1.9.0-bin.tar文件的内容移动到先前创建的Flume目录中。(假设我们已经在名为Hadoop的本地用户中创建了Flume目录。)
    
    $ mv apache-flume-1.9.0-bin.tar/* /home/Hadoop/Flume/
    
  • 配置Flume

    要配置Flume,我们必须修改三个文件,即flume-env.sh,flumeconf.properties,和bash.rc。
    设置PATH/CLASSPATH
    在.bashrc文件中,如下所示设置Flume的HOME,PATH和CLASSPATH。
    flume
    conf文件夹
    如果打开Apache Flume的conf文件夹,将具有以下四个文件-
    • flume-conf.properties.template,
    • flume-env.sh.template
    • flume-env.ps1.template
    • log4j.properties
    flume
    现在重命名
    • flume-conf.properties.template为flume-conf.properties
    • flume-env.sh.template为flume-env.sh
    
    $ mv flume-conf.properties.template  flume-conf.properties
    $ mv flume-env.sh.template flume-env.sh
    
    flume-env.sh
    打开flume-env.sh文件,并将JAVA_Home设置为系统中Java安装位置的文件夹。
    flume
  • 验证安装

    浏览bin文件夹并键入以下命令,以验证Apache Flume的安装。
    
    $ ./flume-ng 
    
    如果您已经成功安装了Flume,将获得Flume的帮助提示,如下所示。
    flume