part-00000

Spark scala编程练习题——HanLP分词统计热词

1001.2014.3001.5501中的题目大纲需求：查询关键词分析，使用HanLP对所有查询词（字段3）进行分词，按照分词进行分组聚合统计出现次数,结果写入本地/root/retrievelog/output/key/part
MIDSUMMER_yy·2023-01-11 18:23

Spark 写hdfs自定义文件名

sparkdata写入机制：dataframe保存到指定路径，一般都是一个文件夹，具体保存文件是文件夹内部的part-00000*文件。
南风知我意丿·2022-11-20 17:09

pyspark操作hive分区表及.gz.parquet和part-00000文件压缩问题

目录pyspark操作hive表1>saveAsTable写入2>insertInto写入2.1>问题说明2.2>解决办法3>saveAsTextFile写入直接操作文件pyspark操作hive表pyspark操作hive表，hive分区表动态写入；最近发现spark动态写入hive分区，和saveAsTable存表方式相比，文件压缩比大约4:1。针对该问题整理了spark操作hive表的几种方
·2021-08-25 13:52

java.lang.IllegalArgumentException: Wrong FS: hdfs:/ expected file:///

Java代码如下：FileSystemfs=FileSystem.get(conf);in=fs.open(newPath("hdfs://master:9000/user/hmail/output/part
jokelyli·2020-09-16 15:19

python读取hdfs并返回dataframe

不多说，直接上代码fromhdfsimportClientimportpandasaspdHDFSHOST="http://xxx:50070"FILENAME="/tmp/preprocess/part
王发北·2020-09-14 01:31

python读取hdfs并返回dataframe教程

from hdfs import Clientimport pandas as pd  HDFSHOST = "http://xxx:50070"FILENAME = "/tmp/preprocess/part
wx5ecc6bcb4713c·2020-07-15 14:15

基于apache drill 的HDFS查询json 单机实例

/drill.apache.org/docs/json-data-model/假设有原始数据在hdfs上：hdfs://dc1:8020/xf/mytest/ia/2017/0208/details/part
iteye_5392·2020-06-23 19:28

python读取hdfs并返回dataframe教程

不多说，直接上代码fromhdfsimportClientimportpandasaspdHDFSHOST="http://xxx:50070"FILENAME="/tmp/preprocess/part
·2020-06-22 08:33

Spark编程案例：创建自定义分区

需求：根据jsp文件的名字，将各自的访问日志放入到不同的分区文件中，如下：生成的分区文件例如：part-00000文件中的内容：只包含了java.jsp的访问日志日志内容：192.168.88.1--[
曲健磊·2019-02-11 14:10

Hive数据导入Mysql

/part-00000/localpath/part-000003.将拷贝下来的数据导入Mysql：mysql-hhost-uuser-P3321-Ddb-ppassword--default-character-set
lislie_·2018-08-14 15:45

基于apache drill 的HDFS查询json 单机实例

/drill.apache.org/docs/json-data-model/假设有原始数据在hdfs上：hdfs://dc1:8020/xf/mytest/ia/2017/0208/details/part
lvdccyb·2017-03-27 18:00

Hive运维记之——补分区表数

运维记之-补分区表数据1、首先将数据导入一个临时表分区LOADDATAINPATH'hdfs://nwdservice/user/datamart/logdata/log-1472464800000/part
kwu_ganymede·2016-07-19 18:31

Map[Reduce] 的 setup 中读取 HDFS 文件夹信息

相关定义1.在HDFS上某一文件夹下存放用户信息列表：/user/data/userinfo/part-00000/user/data/userinfo/part-00001...
xztelecomlcs·2015-12-31 14:33

Map[Reduce] 的 setup 中读取 HDFS 文件夹信息

相关定义1.在HDFS上某一文件夹下存放用户信息列表：/user/data/userinfo/part-00000/user/data/userinfo/part-00001...
xztelecomlcs·2015-12-31 14:33

Hive中Bucket的应用

如将user列分散至32个bucket，首先对user列的值计算hash，对应hash值为0的HDFS目录为：/warehouse/xiaojun/dt=20100801/ctry=US/part-00000
·2015-12-09 10:12

hadoop 技巧

output/ rd下是都读写权限的 组合多个文件 hadoop fs -getmerge /user/hadoop/output local_file /user/hadoop/output/part
·2015-10-30 15:02

hadoop学习笔记（HDFS的文件操作）

/out/part-00000查看HDF
arivn_jianming·2015-07-24 09:49

hadoop程序问题：java.lang.IllegalArgumentException: Wrong FS: hdfs:/ expected file:///

 fs = FileSystem.get(conf);  in = fs.open(new Path("hdfs://192.168.130.54:19000/user/hmail/output/part
seven_zhao·2015-03-26 18:00

java.lang.IllegalArgumentException: Wrong FS错误解决

main" java.lang.IllegalArgumentException: Wrong FS: hdfs://192.168.130.54:19000/user/hmail/output/part
lies_joker·2015-01-14 15:00

hadoop命令操作记录

file转换为文本格式并输出          $HADOOP_HOME/hadoop fs -text /sorted/part
conkeyn·2014-02-25 23:00

Hadoop Streaming 实战： 多路输出

streaming把reduce的输出作为一个任务的最终输出，输出文件形如：      part-00000、part-00001……      文件个数为reduce任务个数 但是，有的时候，我们有多路输出的需求
xiaolang85·2013-03-06 10:00

Hadoop 第一个实例

我们的例子中包含一个reducer,所以我们只找到一个文件 % cat output/part-00000 1.首先
dodomail·2012-12-08 21:00

hadoop程序问题：java.lang.IllegalArgumentException: Wrong FS: hdfs:/ expected file:///

 fs = FileSystem.get(conf);  in = fs.open(new Path("hdfs://192.168.130.54:19000/user/hmail/output/part
小咸菜·2012-04-09 13:38

Hadoop Streaming 实战： 多路输出

streaming把reduce的输出作为一个任务的最终输出，输出文件形如：      part-00000、part-00001……      文件个数为reduce任务个数 但是，有的时候，我们有多路输出的需求
oanqoanq·2012-03-29 14:00

Hadoop Streaming 实战： 多路输出

streaming把reduce的输出作为一个任务的最终输出，输出文件形如：      part-00000、part-00001……      文件个数为reduce任务个数 但是，有的时候，我们有多路输出的需求
jiedushi·2012-03-26 13:00

查看hadoop执行输出结果

命令： bin/hadoop fs -cat /user/hrjackey/hr/output/part-00000 查看指定目录结构 bin/hadoop fs -ls /user/hrjackey
xiaohu0901·2012-02-26 20:00

nutch-1.x分布式索引指定

生成文件 indexes,里面包含了part-00000,.....根
p_x1984·2011-07-04 17:00

nutch-1.x分布式索引指定

生成文件 indexes,里面包含了part-00000,.....根
p_x1984·2011-07-04 17:00
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他