Apache Pig - 加入运算符

Apache Pig加入运算符 - 从概述，体系结构，安装，执行，Grunt Shell，Pig拉丁基础知识，读取数据，存储数据，诊断运算符，描述运算符，解释运算符，说明运算符，组运算符，Cogroup运算符，加入，学习Apache Pig操作员，跨操作员，联合操作员，拆分操作员，过滤操作员，不同操作员，Foreach操作员，订单依据，限制操作员，评估函数，加载和存储函数，包和元组函数，字符串函数，日期时间函数，数学函数，用户定义的函数，运行脚本。

JOIN 运算符用于组合来自两个或多个关系的记录.在执行连接操作时，我们将每个关系中的一个(或一组)元组声明为键.当这些键匹配时，两个特定的元组匹配，否则记录被删除.联接可以是以下类型 :

自我加入
内部加入
外加和减;左连接，右连接和完全连接

本章通过示例说明如何在Pig Latin中使用连接运算符.假设我们在HDFS的/pig_data/目录中有两个文件，即 customers.txt 和 orders.txt ，如下所示.

customers.txt

1,Ramesh,32,Ahmedabad,2000.002,Khilan,25,Delhi,1500.003,kaushik,23,Kota,2000.004,Chaitali,25,Mumbai,6500.00 5,Hardik,27,Bhopal,8500.006,Komal,22,MP,4500.007,Muffy,24,Indore,10000.00

orders.txt

102,2009-10-08 00:00:00,3,3000100,2009-10-08 00:00:00,3,1500101,2009-11-20 00:00:00,2,1560103,2008-05-20 00:00:00,4,2060

我们已将这两个文件加载到Pig中，关系客户和订单如图所示下面.

grunt> customers = LOAD 'hdfs://localhost:9000/pig_data/customers.txt' USING PigStorage(',')   as (id:int, name:chararray, age:int, address:chararray, salary:int);  grunt> orders = LOAD 'hdfs://localhost:9000/pig_data/orders.txt' USING PigStorage(',')   as (oid:int, date:chararray, customer_id:int, amount:int);

现在让我们对这两个关系执行各种Join操作.

自我加入

自联接用于将表连接到自身，就像表是两个关系一样，暂时重命名至少一个关系.

在Apache Pig中，为了执行自联接，我们将在不同的别名(名称)下多次加载相同的数据.因此，让我们将文件 customers.txt 的内容加载为两个表，如下所示.

grunt> customers1 = LOAD 'hdfs://localhost:9000/pig_data/customers.txt' USING PigStorage(',')   as (id:int, name:chararray, age:int, address:chararray, salary:int);  grunt> customers2 = LOAD 'hdfs://localhost:9000/pig_data/customers.txt' USING PigStorage(',')   as (id:int, name:chararray, age:int, address:chararray, salary:int);

语法

以下是使用以下方法执行自我加入操作的语法加入运算符.

grunt> Relation3_name = JOIN Relation1_name BY key, Relation2_name BY key ;

示例

让我们对关系执行自行加入操作客户，加入两个关系 customers1 和 customers2 ，如下所示.

  grunt> customers3 = JOIN customers1 BY ID，customers2 BY id;

验证

使用 DUMP customers3 >运算符如下所示.

grunt> Dump customers3;

输出

它将产生以下输出，显示关系 customers .

(1,Ramesh,32,Ahmedabad,2000,1,Ramesh,32,Ahmedabad,2000)(2,Khilan,25,Delhi,1500,2,Khilan,25,Delhi,1500)(3,kaushik,23,Kota,2000,3,kaushik,23,Kota,2000)(4,Chaitali,25,Mumbai,6500,4,Chaitali,25,Mumbai,6500)(5,Hardik,27,Bhopal,8500,5,Hardik,27,Bhopal,8500)(6,Komal,22,MP,4500,6,Komal,22,MP,4500)(7,Muffy,24,Indore,10000,7,Muffy,24,Indore,10000)

内部加入

内部加入经常使用;它也被称为 equijoin .当两个表中存在匹配时，内连接返回行.

它通过基于连接谓词组合两个关系(例如A和B)的列值来创建新关系.查询将A的每一行与B的每一行进行比较，以找到满足连接谓词的所有行对.当满足连接谓词时，A和B的每对匹配行的列值将合并到结果行中.

语法

以下是使用 JOIN 运算符执行内部联接操作的语法.

grunt> result = JOIN relation1 BY columnname, relation2 BY columnname;

示例

让我们对两个关系执行内连接操作客户和订单，如下所示.

grunt> coustomer_orders = JOIN customers BY id, orders BY customer_id;

验证

使用 DUMP coustomer_orders >运算符如下所示.

grunt> Dump coustomer_orders;

输出

您将获得以下输出，该输出将是名为 coustomer_orders的关系的内容.

(2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560)(3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500)(3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000)(4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060)

注意 :

外部加入:与内部联接不同，外连接返回至少一个关系中的所有行.外部联接操作以三种方式执行 :

左外连接
右外联接
全外连接

左外连接

left outer Join 操作返回左表中的所有行，即使在正确关系中没有匹配项.

语法

以下是使用 JOIN 运算符执行左外连接操作的语法.

grunt> Relation3_name = JOIN Relation1_name BY id LEFT OUTER, Relation2_name BY customer_id;

示例

让我们对两个关系客户和订单执行左外连接操作，如下所示.

grunt> outer_left = JOIN customers BY id LEFT OUTER, orders BY customer_id;

验证

使用 DUMP outer_left >运算符如下所示.

grunt> Dump outer_left;

输出

它将产生以下输出，显示关系 outer_left .

(1,Ramesh,32,Ahmedabad,2000,,,,)(2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560)(3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500)(3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000)(4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060)(5,Hardik,27,Bhopal,8500,,,,)(6,Komal,22,MP,4500,,,,)(7,Muffy,24,Indore,10000,,,,)

Right Outer Join

右外连接操作返回右表中的所有行，即使左表中没有匹配项.

语法

以下是使用 JOIN 运算符执行右外连接操作的语法.

grunt> outer_right = JOIN customers BY id RIGHT, orders BY customer_id;

示例

让我们对两个关系执行右外连接操作客户和订单，如下所示.

grunt> outer_right = JOIN customers BY id RIGHT, orders BY customer_id;

验证

使用 DUMP outer_right >运算符如下所示.

grunt> Dump outer_right

输出

它将产生以下输出，显示关系 outer_right

(2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560)(3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500)(3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000)(4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060)

完全外部加入

完全外部联接操作在匹配时返回行在其中一个关系中.

语法

以下是使用全外连接的语法> JOIN 运算符.

grunt> outer_full = JOIN customers BY id FULL OUTER, orders BY customer_id;

示例

让我们对两个关系全外连接操作>客户和订单，如下所示.

grunt> outer_full = JOIN customers BY id FULL OUTER, orders BY customer_id;

验证

使用 DUMP outer_full >运算符如下所示.

grun> Dump outer_full;

输出

它将产生以下输出，显示关系 outer_full .

(1,Ramesh,32,Ahmedabad,2000,,,,)(2,Khilan,25,Delhi,1500,101,2009-11-20 00:00:00,2,1560)(3,kaushik,23,Kota,2000,100,2009-10-08 00:00:00,3,1500)(3,kaushik,23,Kota,2000,102,2009-10-08 00:00:00,3,3000)(4,Chaitali,25,Mumbai,6500,103,2008-05-20 00:00:00,4,2060)(5,Hardik,27,Bhopal,8500,,,,)(6,Komal,22,MP,4500,,,,)(7,Muffy,24,Indore,10000,,,,)

使用多个键

我们可以使用多个键执行JOIN操作.

语法

以下是如何使用两个表执行JOIN操作的方法多个键.

grunt> Relation3_name = JOIN Relation2_name BY (key1, key2), Relation3_name BY (key1, key2);

假设我们在 employee.txt 和 employee_contact.txt >/pig_data/ HDFS目录，如下所示.

employee.txt

001,Rajiv,Reddy,21,programmer,003002,siddarth,Battacharya,22,programmer,003003,Rajesh,Khanna,22,programmer,003004,Preethi,Agarwal,21,programmer,003005,Trupthi,Mohanthy,23,programmer,003006,Archana,Mishra,23,programmer,003007,Komal,Nayak,24,teamlead,002008,Bharathi,Nambiayar,24,manager,001

employee_contact.txt

001,9848022337,Rajiv@gmail.com,Hyderabad,003002,9848022338,siddarth@gmail.com,Kolkata,003003,9848022339,Rajesh@gmail.com,Delhi,003004,9848022330,Preethi@gmail.com,Pune,003005,9848022336,Trupthi@gmail.com,Bhuwaneshwar,003006,9848022335,Archana@gmail.com,Chennai,003007,9848022334,Komal@gmail.com,trivendram,002008,9848022333,Bharathi@gmail.com,Chennai,001

我们已将这两个文件加载到猪与关系员工和 employee_contact 如下所示.

grunt> employee = LOAD 'hdfs://localhost:9000/pig_data/employee.txt' USING PigStorage(',')   as (id:int, firstname:chararray, lastname:chararray, age:int, designation:chararray, jobid:int);  grunt> employee_contact = LOAD 'hdfs://localhost:9000/pig_data/employee_contact.txt' USING PigStorage(',')    as (id:int, phone:chararray, email:chararray, city:chararray, jobid:int);

现在，让我们使用 JOIN 运算符加入这两个关系的内容，如下所示.

grunt> emp = JOIN employee BY (id,jobid), employee_contact BY (id,jobid);

验证

使用 DUMP \\ temp >运算符如下所示.

grunt> Dump emp;

输出

它将产生以下输出，显示名为 \\ temp的关系的内容b>如下所示.

(1,Rajiv,Reddy,21,programmer,113,1,9848022337,Rajiv@gmail.com,Hyderabad,113)(2,siddarth,Battacharya,22,programmer,113,2,9848022338,siddarth@gmail.com,Kolka ta,113)  (3,Rajesh,Khanna,22,programmer,113,3,9848022339,Rajesh@gmail.com,Delhi,113)  (4,Preethi,Agarwal,21,programmer,113,4,9848022330,Preethi@gmail.com,Pune,113)  (5,Trupthi,Mohanthy,23,programmer,113,5,9848022336,Trupthi@gmail.com,Bhuwaneshw ar,113)  (6,Archana,Mishra,23,programmer,113,6,9848022335,Archana@gmail.com,Chennai,113)  (7,Komal,Nayak,24,teamlead,112,7,9848022334,Komal@gmail.com,trivendram,112)  (8,Bharathi,Nambiayar,24,manager,111,8,9848022333,Bharathi@gmail.com,Chennai,111)