Apache Pig - Cogroup运算符

Apache Pig Cogroup操作员 - 从概述，架构，安装，执行，Grunt Shell，猪拉丁语基础知识，读取数据，存储数据，诊断操作员，描述操作员，解释操作员，说明操作员，组操作员，Cogroup操作员，加入，学习Apache Pig操作员，跨操作员，联合操作员，拆分操作员，过滤操作员，不同操作员，Foreach操作员，订单依据，限制操作员，评估函数，加载和存储函数，包和元组函数，字符串函数，日期时间函数，数学函数，用户定义的函数，运行脚本。

COGROUP 运算符的工作方式与 GROUP 运算符的工作方式相同.两个运算符之间的唯一区别是组运算符通常与一个关系一起使用，而 cogroup 运算符用于涉及两个或多个关系的语句.

使用Cogroup对两个关系进行分组

假设我们有两个文件，即 student_details.txt 和 employee_details.txt 在HDFS目录/pig_data/中，如下所示.

student_details.txt

001,Rajiv,Reddy,21,9848022337,Hyderabad002,siddarth,Battacharya,22,9848022338,Kolkata003,Rajesh,Khanna,22,9848022339,Delhi004,Preethi,Agarwal,21,9848022330,Pune005,Trupthi,Mohanthy,23,9848022336,Bhuwaneshwar006,Archana,Mishra,23,9848022335,Chennai007,Komal,Nayak,24,9848022334,trivendram008,Bharathi,Nambiayar,24,9848022333,Chennai

employee_details .txt

001,Robin,22,newyork 002,BOB,23,Kolkata 003,Maya,23,Tokyo 004,Sara,25,London 005,David,23,Bhuwaneshwar 006,Maggy,22,Chennai

我们已将这些文件加载到Pig中，关系名称为 student_details 和 employee_details 分别如下所示.

grunt> student_details = LOAD 'hdfs://localhost:9000/pig_data/student_details.txt' USING PigStorage(',')   as (id:int, firstname:chararray, lastname:chararray, age:int, phone:chararray, city:chararray);   grunt> employee_details = LOAD 'hdfs://localhost:9000/pig_data/employee_details.txt' USING PigStorage(',')   as (id:int, name:chararray, age:int, city:chararray);

现在，让我们将关系 student_details 和 employee_details 的记录/元组与密钥分组年龄，如下所示.

grunt> cogroup_data = COGROUP student_details by age, employee_details by age;

验证

使用 DUMP cogroup_data >运算符如下所示.

grunt> Dump cogroup_data;

输出

它将产生以下输出，显示名为 cogroup_data 如下所示.

(21,{(4,Preethi,Agarwal,21,9848022330,Pune), (1,Rajiv,Reddy,21,9848022337,Hyderabad)},    {    })  (22,{ (3,Rajesh,Khanna,22,9848022339,Delhi), (2,siddarth,Battacharya,22,9848022338,Kolkata) },     { (6,Maggy,22,Chennai),(1,Robin,22,newyork) })  (23,{(6,Archana,Mishra,23,9848022335,Chennai),(5,Trupthi,Mohanthy,23,9848022336 ,Bhuwaneshwar)},    {(5,David,23,Bhuwaneshwar),(3,Maya,23,Tokyo),(2,BOB,23,Kolkata)}) (24,{(8,Bharathi,Nambiayar,24,9848022333,Chennai),(7,Komal,Nayak,24,9848022334, trivendram)},    { })  (25,{   },    {(4,Sara,25,London)})

cogroup 运算符根据每个组描述特定年龄值的年龄对每个关系中的元组进行分组.

例如，如果我们认为结果的第一个元组，它按年龄21分组.它包含两个包 :

第一个bag包含21岁时第一个关系( student_details )的所有元组，
第二个包包含全部来自第二关系的元组(在这种情况下为 employee_details )，年龄为21岁.

如果是关系没有年龄值为21的元组，它会返回一个空包.