Apache Pig 压缩数据处理
我们可以使用函数 BinStorage() 和 TextLoader() 在Apache Pig中加载和存储压缩数据。
例
假设在HDFS目录 /pigdata/ 中有一个名为 employee.txt.zip 的文件。然后,我们可以将压缩文件加载到pig,如下所示。
Using PigStorage: grunt> data = LOAD 'hdfs://localhost:9000/pig_data/employee.txt.zip' USING PigStorage(','); Using TextLoader: grunt> data = LOAD 'hdfs://localhost:9000/pig_data/employee.txt.zip' USING TextLoader;
同样,我们可以将压缩文件存储在pig中,如下所示。
Using PigStorage: grunt> store data INTO 'hdfs://localhost:9000/pig_Output/data.bz' USING PigStorage(',');