Apache Pig TOP()函数
Pig Latin的 TOP() 函数用于获取包的顶部 N 个元组。对于这个函数,作为输入,我们必须传递一个关系,我们想要的元组的数量,以及其值被比较的列名。此函数将返回包含所需列的包。
语法
下面给出了函数 TOP() 的语法。
grunt> TOP(topN,column,relation)
例
假设在HDFS目录 /pig_data/ 中有一个名为 employee_details.txt 的文件,其中包含以下内容。
employee_details.txt
001,Robin,22,newyork 002,BOB,23,Kolkata 003,Maya,23,Tokyo 004,Sara,25,London 005,David,23,Bhuwaneshwar 006,Maggy,22,Chennai 007,Robert,22,newyork 008,Syam,23,Kolkata 009,Mary,25,Tokyo 010,Saran,25,London 011,Stacy,25,Bhuwaneshwar 012,Kelly,22,Chennai
通过使用关系 emp_data 将此文件加载到Pig中,如下所示。
grunt> emp_data = LOAD 'hdfs://localhost:9000/pig_data/ employee_details.txt' USING PigStorage(',') as (id:int, name:chararray, age:int, city:chararray);
按年龄对关系 emp_data 进行分组,并将其存储在关系 emp_group 中。
grunt> emp_group = Group emp_data BY age;
使用 Dump 运算符验证关系 emp_group ,如下所示。
grunt> Dump emp_group; (22,{(12,Kelly,22,Chennai),(7,Robert,22,newyork),(6,Maggy,22,Chennai),(1,Robin, 22,newyork)}) (23,{(8,Syam,23,Kolkata),(5,David,23,Bhuwaneshwar),(3,Maya,23,Tokyo),(2,BOB,23, Kolkata)}) (25,{(11,Stacy,25,Bhuwaneshwar),(10,Saran,25,London),(9,Mary,25,Tokyo),(4,Sara, 25,London)})
现在,你可以按升序(基于id )排列每个组的前两个记录,如下所示。
grunt> data_top = FOREACH emp_group { top = TOP(2, 0, emp_data); GENERATE top; }
在这个例子中,我们正在检索具有较大id的组的前2个元组。由于我们基于 id 检索前2个元组,我们将列名id的索引作为TOP()函数的第二个参数传递。
验证
使用 Dump 运算符验证 data_top 关系的内容,如下所示。
grunt> Dump data_top; ({(7,Robert,22,newyork),(12,Kelly,22,Chennai)}) ({(5,David,23,Bhuwaneshwar),(8,Syam,23,Kolkata)}) ({(10,Saran,25,London),(11,Stacy,25,Bhuwaneshwar)})