从Hive中读取数据并转化为JavaRDD (待放到spark平台验证)

        Dataset rows = hiveCtx.sql("select * from aa");
        JavaRDD bb = rows.javaRDD().map(new Function(){
        public String call(Row row) throws Exception {
        String result = "";
        try{
        String productName = row.getString(0);
        String productId = row.getString(3);
        result = productName + " " + productId;
        }catch(Exception ex){ 
        result = ""; 
        }
        return result; 
       
        }
        }).filter(new Function() {
        public Boolean call(String tuple) throws Exception {
        boolean res = true;
        if(tuple.equals("")) res = false;
        return res;
        }
        });

你可能感兴趣的:(RDD,SPARK)