Pig TOP 函数

  • TOP 函数

    Pig-Latin TOP()函数用于获取包的前N个元组。作为输入,我们必须传递一个关系,所需的元组数和要比较其值的列名作为该函数。此函数将返回包含所需列的包。
    句法
    下面给出的是TOP()函数的语法。
    
    grunt> TOP(topN,column,relation)
    
    例子
    假设我们在HDFS目录/pig_data/中有一个名为employee_details.txt的文件,内容如下。
    
    001,Robin,22,newyork 
    002,BOB,23,Kolkata 
    003,Maya,23,Tokyo 
    004,Sara,25,London 
    005,David,23,Bhuwaneshwar 
    006,Maggy,22,Chennai 
    007,Robert,22,newyork 
    008,Syam,23,Kolkata 
    009,Mary,25,Tokyo 
    010,Saran,25,London 
    011,Stacy,25,Bhuwaneshwar 
    012,Kelly,22,Chennai
    
    我们已将该文件以关系名称emp_data加载到Pig中,如下所示。
    
    grunt> emp_data = LOAD 'hdfs://localhost:9000/pig_data/ employee_details.txt' USING PigStorage(',')
       as (id:int, name:chararray, age:int, city:chararray);
    
    按年龄对关系emp_data进行分组,并将其存储在关系emp_group中。
    
    grunt> emp_group = Group emp_data BY age; 
    
    如下所示,使用Dump运算符验证关系emp_group。
    
    grunt> Dump emp_group;
      
    (22,{(12,Kelly,22,Chennai),(7,Robert,22,newyork),(6,Maggy,22,Chennai),(1,Robin, 22,newyork)}) 
    (23,{(8,Syam,23,Kolkata),(5,David,23,Bhuwaneshwar),(3,Maya,23,Tokyo),(2,BOB,23, Kolkata)}) 
    (25,{(11,Stacy,25,Bhuwaneshwar),(10,Saran,25,London),(9,Mary,25,Tokyo),(4,Sara, 25,London)})
    
    现在,您可以获得按升序排列(基于id)的每个组的前两个记录,如下所示。
    
    grunt> data_top = FOREACH emp_group { 
       top = TOP(2, 0, emp_data); 
       GENERATE top; 
    }
    
    在此示例中,我们检索具有更大id的组的前2个元组。由于我们要检索基于id的前2个元组,因此我们将列名id的索引作为TOP()函数的第二个参数传递。
    验证
    您可以使用Dump运算符来验证data_top关系的内容,如下所示。
    
    grunt> Dump data_top;
      
    ({(7,Robert,22,newyork),(12,Kelly,22,Chennai)}) 
    ({(5,David,23,Bhuwaneshwar),(8,Syam,23,Kolkata)}) 
    ({(10,Saran,25,London),(11,Stacy,25,Bhuwaneshwar)})