Pig PluckTuple 函数

• 

  PluckTuple 函数

  Pig-Latin PluckTuple() 在执行诸如join之类的操作以区分两个模式的列之后，我们使用函数PluckTuple()。要使用此功能，首先，我们必须定义前缀字符串，并且必须过滤关系中以该前缀开头的列。

  句法

  下面给出的是PluckTuple() 函数的语法。

  
  DEFINE pluck PluckTuple(expression1) 
  DEFINE pluck PluckTuple(expression1,expression3) 
  pluck(expression2)
  

  例子

  假设我们在HDFS目录/pig_data/中有两个文件，分别是emp_sales.txt和emp_bonus.txt。该emp_sales.txt包含销售部门的员工的细节和emp_bonus.txt包含员工详细谁得到奖金。

  emp_sales.txt

  
  1,Robin,22,25000,sales 
  2,BOB,23,30000,sales 
  3,Maya,23,25000,sales 
  4,Sara,25,40000,sales 
  5,David,23,45000,sales 
  6,Maggy,22,35000,sales
  

  emp_bonus.txt

  
  1,Robin,22,25000,sales 
  2,Jaya,23,20000,admin 
  3,Maya,23,25000,sales 
  4,Alia,25,50000,admin 
  5,David,23,45000,sales
  6,Omar,30,30000,admin
  

  我们已经将这些文件加载​​到Pig中，它们的关系名称分别为emp_sales和emp_bonus。

  
  grunt> emp_sales = LOAD 'hdfs://localhost:9000/pig_data/emp_sales.txt' USING PigStorage(',')
     as (sno:int, name:chararray, age:int, salary:int, dept:chararray);
     
  grunt> emp_bonus = LOAD 'hdfs://localhost:9000/pig_data/emp_bonus.txt' USING PigStorage(',')
     as (sno:int, name:chararray, age:int, salary:int, dept:chararray);
  

  Join使用这两种关系，加入如下图所示操作。

  
  grunt> join_data = join emp_sales by sno, emp_bonus by sno;
  

  验证关系join_data使用dump操作。

  
  grunt> Dump join_data;
   
  (1,Robin,22,25000,sales,1,Robin,22,25000,sales)
  (2,BOB,23,30000,sales,2,Jaya,23,20000,admin)
  (3,Maya,23,25000,sales,3,Maya,23,25000,sales)
  (4,Sara,25,40000,sales,4,Alia,25,50000,admin) 
  (5,David,23,45000,sales,5,David,23,45000,sales) 
  (6,Maggy,22,35000,sales,6,Omar,30,30000,admin)
  

• 

  使用PluckTuple() 函数

  现在，使用PluckTupe() 函数定义所需的表达式，以用来区分列。

  
  grunt> DEFINE pluck PluckTuple('a::');
  

  过滤join_data关系中的列，如下所示。

  
  grunt> data = foreach join_data generate FLATTEN(pluck(*));
  

  如下所示描述名为data的关系。

  
  grunt> Describe data;
   
  data: {emp_sales::sno: int, emp_sales::name: chararray, emp_sales::age: int,
     emp_sales::salary: int, emp_sales::dept: chararray, emp_bonus::sno: int,
     emp_bonus::name: chararray, emp_bonus::age: int, emp_bonus::salary: int,
     emp_bonus::dept: chararray}
  

  由于我们已将表达式定义为“a::”，因此emp_sales模式的列将被抽取为 emp_sales::column名称，而emp_bonus模式的列将被抽取为emp_bonus::column名称