开发手册 欢迎您!
软件开发者资料库

Apache Pig - 用户定义的函数

Apache Pig用户定义的函数 - 从概述,体系结构,安装,执行,Grunt Shell,Pig Latin Basics,读取数据,存储数据,诊断运算符,Describe运算符,Explain运算符,Illustrate运算符,Group运算符,Cogroup运算符,学习Apache Pig。加入运算符,跨运算符,联合运算符,拆分运算符,过滤运算符,不同运算符,Foreach运算符,排序依据,限制运算符,Eval函数,加载和存储函数,Bag和Tuple函数,字符串函数,日期时间函数,数学函数,用户定义的函数,运行脚本。

除了内置函数之外,Apache Pig还为 U ser D 定义的 F 组(UDF)提供了广泛的支持.使用这些UDF,我们可以定义自己的函数并使用它们. UDF支持以六种编程语言提供,即Java,Jython,Python,JavaScript,Ruby和Groovy.

为了编写UDF,Java提供了完整的支持,并提供了有限的支持在所有其余语言中.使用Java,您可以编写涉及数据加载/存储,列转换和聚合等处理的所有部分的UDF.由于Apache Pig是用Java编写的,因此与其他语言相比,使用Java语言编写的UDF工作效率很高.

在Apache Pig中,我们还有一个用于UDF的Java存储库,名为 Piggybank 的.使用Piggybank,我们可以访问其他用户编写的Java UDF,并贡献我们自己的UDF.

Java中的UDF类型

使用UDF编写时Java,我们可以创建和使用以下三种类型的函数 :

  • 过滤函数 &减去;过滤器函数用作过滤器语句中的条件.这些函数接受Pig值作为输入并返回布尔值.

  • Eval Functions :  Eval函数用于FOREACH-GENERATE语句.这些函数接受Pig值作为输入并返回Pig结果.

  • 代数函数 : 代数函数在FOREACHGENERATE语句中作用于内袋.这些函数用于在内袋上执行完整的MapReduce操作.

使用Java编写UDF

要使用Java编写UDF,我们必须集成jar文件 Pig-0.15.0.jar .在本节中,我们将讨论如何使用Eclipse编写示例UDF.在继续之前,请确保已在系统中安装了Eclipse和Maven.

按照下面给出的步骤编写UDF函数 :

  • 打开Eclipse并创建一个新项目(比如 myproject ).

  • 将新创建的项目转换为Maven项目.

  • 将以下内容复制到pom.xml中.此文件包含Apache Pig和Hadoop-core jar文件的Maven依赖项.

    4.0.0    Pig_Udf    Pig_Udf    0.0.1-SNAPSHOT             src                                             maven-compiler-plugin                    3.3                                             1.7                         1.7                                                                                 org.apache.pig                     pig                     0.15.0                                   org.apache.hadoop                     hadoop-core                     0.20.2                       

  • 保存文件并刷新.在 Maven依赖项部分,您可以找到下载的jar文件.

  • 创建一个名为 Sample_Eval的新类文件并在其中复制以下内容.

import java.io.IOException; import org.apache.pig.EvalFunc; import org.apache.pig.data.Tuple;  import java.io.IOException; import org.apache.pig.EvalFunc; import org.apache.pig.data.Tuple;public class Sample_Eval extends EvalFunc{    public String exec(Tuple input) throws IOException {         if (input == null || input.size() == 0)            return null;            String str = (String)input.get(0);            return str.toUpperCase();     } }

在编写UDF时,必须继承EvalFunc类并为 exec()提供实现功能.在此函数中,将编写UDF所需的代码.在上面的示例中,我们返回代码以将给定列的内容转换为大写.

  • 编译后如果没有错误,请右键单击Sample_Eval.java文件.它给你一个菜单.选择导出,如以下屏幕截图所示.

选择导出

  • 点击导出,您将看到以下窗口.点击 JAR文件.

点击导出

  • 点击下一步> 按钮继续进一步操作.您将获得另一个窗口,您需要在本地文件系统中输入路径,您需要存储jar文件.

jar export

  • 最后点击完成按钮.在指定的文件夹中,创建了一个Jar文件 sample_udf.jar .这个jar文件包含用Java编写的UDF.

使用UDF

写完之后UDF并生成Jar文件,按照下面给出的步骤&减去;

步骤1:注册Jar文件

编写UDF后(用Java编写)我们必须使用Register运算符注册包含UDF的Jar文件.通过注册Jar文件,用户可以将UDF的位置告知Apache Pig.

语法

如下所示是Register运算符的语法.

REGISTER path;

示例

作为示例,让我们注册之前创建的sample_udf.jar本章.

以本地模式启动Apache Pig并注册jar文件sample_udf.jar,如下所示.

$cd PIG_HOME/bin $./pig –x local REGISTER '/$PIG_HOME/sample_udf.jar'

注意 : 假设路径中的Jar文件 : /$PIG_HOME/sample_udf.jar

第2步:定义别名

注册UDF后,我们可以使用为其定义别名定义运算符.

语法

以下是Define运算符的语法.

DEFINE alias {function | [`command` [input] [output] [ship] [cache] [stderr] ] };

示例

定义sample_eval的别名,如下所示.

DEFINE sample_eval sample_eval();

步骤3:使用UDF

定义别名后,可以使用与内置相同的UDF功能.假设HDFS /Pig_Data/目录中有一个名为emp_data的文件,其中包含以下内容.

001,Robin,22,newyork002,BOB,23,Kolkata003,Maya,23,Tokyo004,Sara,25,London 005,David,23,Bhuwaneshwar 006,Maggy,22,Chennai007,Robert,22,newyork008,Syam,23,Kolkata009,Mary,25,Tokyo010,Saran,25,London 011,Stacy,25,Bhuwaneshwar 012,Kelly,22,Chennai

并假设我们已加载此文件如下所示进入猪.

grunt> emp_data = LOAD 'hdfs://localhost:9000/pig_data/emp1.txt' USING PigStorage(',')   as (id:int, name:chararray, age:int, city:chararray);

现在让我们使用UDF sample_eval 将员工的姓名转换为大写.

grunt> Upper_case = FOREACH emp_data GENERATE sample_eval(name);

验证关系 Upper_case 的内容,如下所示.

grunt> Dump Upper_case;  (ROBIN)(BOB)(MAYA)(SARA)(DAVID)(MAGGY)(ROBERT)(SYAM)(MARY)(SARAN)(STACY)(KELLY)
a/js-sdk-pro.min.js">