开发手册 欢迎您!
软件开发者资料库

Apache Flume - 环境

Apache Flume环境 - 从简介,Hadoop中的数据传输,架构,数据流,环境,配置,获取Twitter数据,序列生成器源,NetCat源开始,简单易学地学习Apache Flume。

我们在前一章已经讨论过Flume的架构.在本章中,让我们看看如何下载和设置Apache Flume.

在继续之前,您需要在系统中安装Java环境.首先,确保在系统中安装了Java.对于本教程中的一些示例,我们使用了Hadoop HDFS(作为接收器).因此,我们建议您与Java一起安装Hadoop.要收集更多信息,请点击链接 :   http://www.it1352.com/hadoop/hadoop_enviornment_setup.htm

安装Flume

首先,从网站 https://flume.apache.org/.

第1步

打开网站.单击主页左侧的下载链接.它将带您进入Apache Flume的下载页面.

安装Flume

第2步

在下载页面中,您可以看到Apache Flume的二进制文件和源文件的链接.点击链接 apache-flume-1.6.0- bin.tar.gz

您将被重定向到镜像列表,您可以通过单击任何镜像开始下载.以同样的方式,您可以通过单击 apache-flume-1.6.0-src.tar.gz .

第3步

创建目录名称Flume在安装目录 Hadoop HBase 和其他软件的同一目录中(如果您已经安装了任何软件),如下所示.

$ mkdir Flume

第4步

提取下载的tar文件,如下所示.

 $ cd Downloads/ $ tar zxvf apache-flume-1.6. 0-bin.tar.gz  $ tar zxvf apache-flume-1.6.0-src.tar.gz

第5步

将apache- flume-1.6.0-bin.tar 文件的内容移至前面创建的 Flume 目录,如下所示. (假设我们在名为Hadoop的本地用户中创建了Flume目录.)

 $ mv apache-flume-1.6.0-bin.tar/*/home/Hadoop/Flume/

配置Flume

要配置Flume,我们必须修改三个文件即 flume-env.sh,flumeconf.properties, bash.rc .

设置路径/类路径

.bashrc 文件中,设置Flume的主文件夹,路径和类路径,如下所示.

设置路径

conf文件夹

如果打开 conf Apache Flume的文件夹,你将有以下四个文件 :

conf Folder

现在重命名

flume-env.sh

打开 flume-env.sh 文件并将 JAVA_Home 设置为系统中安装Java的文件夹.

flume-env.sh

验证安装

通过浏览 bin 文件夹并输入以下命令来验证Apache Flume的安装.

  $ ./flume-ng

如果您已成功安装Flume,您将收到Flume的帮助提示,如下所示.

验证安装