不可描述的两脚兽
不可描述的两脚兽

MapReduce - Hadoop Streaming - 练习

几个入门级别的MapReduce练习
基于版本：Python2.6.6，Hadoop2.6.5

文章目录

  • 1. WordCount —— 统计文本中的词频
    • 1.1 准备文本数据
    • 1.2 Map阶段
      • 1.2.1 写一个map函数
      • 1.2.2 Testing
      • 1.2.3 对代码进行改进
    • 1.3 Reduce阶段
      • 1.3.1 Coding
      • 1.3.2 本地测试
    • 1.4 上Hadoop测试
      • 1.4.1 把数据传到HDFS
      • 1.4.2 找到hadoop-streaming
      • 1.4.3 启动脚本
      • 1.4.4 查看结果
  • 2. WhiteList —— 只关心指定单词词频
    • 2.1 White List
    • 2.2 Mapper
      • 2.2.1 重写map
      • 2.2.2 测试map
    • 2.3 Reducer
    • 2.4 Local Testing
    • 2.5 上Hadoop测试
      • 2.5.1 修改启动脚本
      • 2.5.2启动
      • 2.5.3 查看结果
  • 3. 统计用户每次下单金额
    • 3.1 准备数据
    • 3.2 Mapper
    • 3.3 Reducer
    • 3.4 执行
  • 4. MapReduce join
    • 4.1 数据准备
    • 4.2 Mapper
      • 4.2.1 map A
      • 4.2.2 map B
    • 4.2 Reducer
    • 4.3 上传源数据
    • 4.4 启动脚本
    • 4.5 跑起来
    • 4.6 查看结果
  • Appendix

Input and Output types of a MapReduce job:
(input) -> map -> -> combine -> -> reduce -> (output)

1. WordCount —— 统计文本中的词频

  • 实现思想：文章单词间都是用空格分割的，所以我们按照空格切分每个单词再统计每个单词出现个次数就好了。
  • 编程模型：可以看到上面的编程模型中，整个MR的计算模型是键值对模式的。

1.1 准备文本数据

可以是任意一个文本文章， 我用的The_Man_of_Property.txt

1.2 Map阶段

1.2.1 写一个map函数

vim map.py

import sys
import time
import re

for line in sys.stdin:
        ss = line.strip().split(' ')
        for s in ss:
                if s.strip() != "":
                        print '%s\t%s' % (s, 1)

1.2.2 Testing

  • 取数据中的前2行进行测试
head -n 2 The_Man_of_Property.txt |python map.py
  • 结果
...
to	1
this	1
day,	1
for	1
all	1
the	1
recent	1
efforts	1
to	1
“talk	1
them	1
out.”	1

发现有一些文章的标点符号被引入计算，这不是我们期望的，需要对代码进行一些改进。

1.2.3 对代码进行改进

增加一个正则匹配字母，这样跳过符号影响

import sys
import time
import re

p = re.compile(r'\w+')
for line in sys.stdin:
        ss = line.strip().split(' ')
        for s in ss:
                array_s = p.findall(s)
                for word in array_s:
                        if word.strip() != "":
                                print '%s\t%s' % (word.lower(), 1)
  • 重新测试结果
...
property	1
counted	1
as	1
they	1
do	1
to	1
this	1
day	1
for	1
all	1
the	1
recent	1
efforts	1
to	1
talk	1
them	1
out	1
  • 看起来已经没有符号的影响了。
  • map输出的结果是符合我们的编程模型的。

1.3 Reduce阶段

该阶段我们只需要将相同word数量累加起来。

1.3.1 Coding

import sys
current_word = None
sum = 0

for line in sys.stdin:
        word, val = line.strip().split('\t')

        if current_word == None:
                current_word = word

        if current_word != word:
                print "%s\t%s" % (current_word, sum)
                current_word = word
                sum = 0
        sum += int(val)

print "%s\t%s" % (current_word, str(sum))

1.3.2 本地测试

cat The_Man_of_Property.txt|python map.py|sort -k1 |python red.py

命令中包含的sort工作在MR计算的combine阶段会自动帮助我们完成。

  • 结果
...
yielding	2
yields	1
you	750
young	238
younger	11
youngest	3
youngling	1
your	149
yours	8
yourself	22
yourselves	1
youth	11
z	1
zealand	1
zelle	1
zermatt	1
zoo	9

1.4 上Hadoop测试

使用Streaming的方式，需要用到hadoop-streaming的包。

1.4.1 把数据传到HDFS

[root@node1 test]# hdfs dfs -put The_Man_of_Property.txt /user/hadoop 
[root@node1 test]# hdfs dfs -ls /user/hadoop
Found 3 items
-rw-r--r--   2 root supergroup     632207 2020-12-15 04:19 /user/hadoop/The_Man_of_Property.txt
-rw-r--r--   1 root supergroup         12 2020-12-06 15:03 /user/hadoop/result.txt
-rw-r--r--   2 root supergroup          0 2020-12-06 15:33 /user/hadoop/touchfile.txt

1.4.2 找到hadoop-streaming

find / -name 'hadoop-streaming*.jar'

/usr/local/hadoop/hadoop-2.6.1/share/hadoop/tools/lib/hadoop-streaming-2.6.1.jar
/usr/local/hadoop/hadoop-2.6.1/share/hadoop/tools/sources/hadoop-streaming-2.6.1-sources.jar
/usr/local/hadoop/hadoop-2.6.1/share/hadoop/tools/sources/hadoop-streaming-2.6.1-test-sources.jar

1.4.3 启动脚本

为了方便编辑和运行制作一个启动脚本

STREAM_JAR_PATH="/usr/local/hadoop/hadoop-2.6.1/share/hadoop/tools/lib/hadoop-streaming-2.6.1.jar"

INPUT_FILE_PATH="/user/hadoop/The_Man_of_Property.txt"
OUTPUT_PATH="/out/wc"

hadoop jar $STREAM_JAR_PATH \
        -input $INPUT_FILE_PATH \
        -output $OUTPUT_PATH \
        -mapper "python map.py" \
        -reducer "python red.py" \
        -file /root/test/map.py \
        -file /root/test/red.py
  • 发车
[root@node1 test]# sh -x run.sh 
+ STREAM_JAR_PATH=/usr/local/hadoop/hadoop-2.6.1/share/hadoop/tools/lib/hadoop-streaming-2.6.1.jar
+ INPUT_FILE_PATH=/user/hadoop/The_Man_of_Property.txt
+ OUTPUT_PATH=/out/wc
+ hadoop jar /usr/local/hadoop/hadoop-2.6.1/share/hadoop/tools/lib/hadoop-streaming-2.6.1.jar -input /user/hadoop/The_Man_of_Property.txt -output /out/wc -mapper 'python map.py' -reducer 'python red.py' -file /root/test/map.py -file /root/test/red.py
20/12/15 05:25:49 WARN streaming.StreamJob: -file option is deprecated, please use generic option -files instead.
packageJobJar: [/root/test/map.py, /root/test/red.py, /tmp/hadoop-unjar7281784309232586653/] [] /tmp/streamjob5660556035539970318.jar tmpDir=null
20/12/15 05:25:50 INFO client.RMProxy: Connecting to ResourceManager at node1/192.168.126.118:8032
20/12/15 05:25:50 INFO client.RMProxy: Connecting to ResourceManager at node1/192.168.126.118:8032
20/12/15 05:25:51 INFO mapred.FileInputFormat: Total input paths to process : 1
20/12/15 05:25:51 INFO mapreduce.JobSubmitter: number of splits:2
20/12/15 05:25:51 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1608034597178_0009
20/12/15 05:25:51 INFO impl.YarnClientImpl: Submitted application application_1608034597178_0009
20/12/15 05:25:51 INFO mapreduce.Job: The url to track the job: http://node1:8088/proxy/application_1608034597178_0009/
20/12/15 05:25:51 INFO mapreduce.Job: Running job: job_1608034597178_0009
20/12/15 05:25:57 INFO mapreduce.Job: Job job_1608034597178_0009 running in uber mode : false
20/12/15 05:25:57 INFO mapreduce.Job:  map 0% reduce 0%
20/12/15 05:26:08 INFO mapreduce.Job:  map 100% reduce 0%
20/12/15 05:26:14 INFO mapreduce.Job:  map 100% reduce 100%
20/12/15 05:26:14 INFO mapreduce.Job: Job job_1608034597178_0009 completed successfully
20/12/15 05:26:14 INFO mapreduce.Job: Counters: 49
	File System Counters
		FILE: Number of bytes read=1045598
		FILE: Number of bytes written=2418591
		FILE: Number of read operations=0
		FILE: Number of large read operations=0
		FILE: Number of write operations=0
		HDFS: Number of bytes read=635802
		HDFS: Number of bytes written=93748
		HDFS: Number of read operations=9
		HDFS: Number of large read operations=0
		HDFS: Number of write operations=2
	Job Counters 
		Launched map tasks=2
		Launched reduce tasks=1
		Data-local map tasks=2
		Total time spent by all maps in occupied slots (ms)=14535
		Total time spent by all reduces in occupied slots (ms)=3954
		Total time spent by all map tasks (ms)=14535
		Total time spent by all reduce tasks (ms)=3954
		Total vcore-seconds taken by all map tasks=14535
		Total vcore-seconds taken by all reduce tasks=3954
		Total megabyte-seconds taken by all map tasks=14883840
		Total megabyte-seconds taken by all reduce tasks=4048896
	Map-Reduce Framework
		Map input records=2866
		Map output records=113132
		Map output bytes=819328
		Map output materialized bytes=1045604
		Input split bytes=210
		Combine input records=0
		Combine output records=0
		Reduce input groups=9114
		Reduce shuffle bytes=1045604
		Reduce input records=113132
		Reduce output records=9114
		Spilled Records=226264
		Shuffled Maps =2
		Failed Shuffles=0
		Merged Map outputs=2
		GC time elapsed (ms)=319
		CPU time spent (ms)=2580
		Physical memory (bytes) snapshot=486555648
		Virtual memory (bytes) snapshot=6174294016
		Total committed heap usage (bytes)=258678784
	Shuffle Errors
		BAD_ID=0
		CONNECTION=0
		IO_ERROR=0
		WRONG_LENGTH=0
		WRONG_MAP=0
		WRONG_REDUCE=0
	File Input Format Counters 
		Bytes Read=635592
	File Output Format Counters 
		Bytes Written=93748
20/12/15 05:26:14 INFO streaming.StreamJob: Output directory: /out/wc
  • 如果有错检查是不是脚本写错了。
  • 任务已经跑完了，看看结果。

1.4.4 查看结果

  • 到指定的路劲下查看
hdfs dfs -ls /out/wc
Found 2 items
-rw-r--r--   2 root supergroup          0 2020-12-15 05:26 /out/wc/_SUCCESS
-rw-r--r--   2 root supergroup      93748 2020-12-15 05:26 /out/wc/part-00000
  • 直接cat结果
hdfs dfs -cat /out/wc/part-00000
...
yields	1
you	750
young	238
younger	11
youngest	3
youngling	1
your	149
yours	8
yourself	22
yourselves	1
youth	11
z	1
zealand	1
zelle	1
zermatt	1
zoo	9

2. WhiteList —— 只关心指定单词词频

现在我不想统计所有单词的词频了，给你一个白名单，只统计其包含单词的词频。

2.1 White List

[root@node1 test]# vim whiteList.txt               
[root@node1 test]# cat whiteList.txt 
you
against
recent

2.2 Mapper

2.2.1 重写map

在map中根据white list进行过滤

import sys
import re

def read_local_file_func(f):
        word_set = set()
        file_in = open(f,'r')
        for line in file_in:
                word = line.strip()
                word_set.add(word)
        return word_set

def mapper_func(white_list_fd):
        word_set = read_local_file_func(white_list_fd)
        p = re.compile(r'\w+')
        for line in sys.stdin:
                ss = line.strip().split(' ')
                for s in ss:
                        array_s = p.findall(s)
                        for word in array_s:
                                if word.strip() != "" and (word in word_set):
                                        print '%s\t%s' % (word.lower(), 1)

if __name__=="__main__":
        module = sys.modules[__name__]
        func = getattr(module, sys.argv[1])
        args = None
        if len(sys.argv) > 1:
                args = sys.argv[2:]
        func(*args)

2.2.2 测试map

[root@node1 test]# cat The_Man_of_Property.txt |python map.py mapper_func whiteList.txt | head
against	1
recent	1
against	1
against	1
against	1
against	1
against	1
against	1
you	1
against	1
close failed in file object destructor:
Error in sys.excepthook:

Original exception was:
  • 这里的exception是由于我们用head进行截断，实际python程序还没有跑完，不用在意。不使用head就不会出这个异常了。

2.3 Reducer

直接用WordCount的reducer就可以

2.4 Local Testing

cat The_Man_of_Property.txt |python map.py mapper_func whiteList.txt |sort -k1|python red.py
  • 结果：
against	93
recent	2
you	613

2.5 上Hadoop测试

2.5.1 修改启动脚本

STREAM_JAR_PATH="/usr/local/hadoop/hadoop-2.6.1/share/hadoop/tools/lib/hadoop-streaming-2.6.1.jar"

INPUT_FILE_PATH="/user/hadoop/The_Man_of_Property.txt"
OUTPUT_PATH="/out/wl"

hadoop jar $STREAM_JAR_PATH \
        -input $INPUT_FILE_PATH \
        -output $OUTPUT_PATH \
        -mapper "python map.py mapper_func whiteList.txt" \
        -reducer "python red.py" \
        -file ./map.py \
        -file ./red.py \
        -file ./whiteList.txt

2.5.2启动

[root@node1 test]# sh -x run.sh 
+ STREAM_JAR_PATH=/usr/local/hadoop/hadoop-2.6.1/share/hadoop/tools/lib/hadoop-streaming-2.6.1.jar
+ INPUT_FILE_PATH=/user/hadoop/The_Man_of_Property.txt
+ OUTPUT_PATH=/out/wl
+ hadoop jar /usr/local/hadoop/hadoop-2.6.1/share/hadoop/tools/lib/hadoop-streaming-2.6.1.jar -input /user/hadoop/The_Man_of_Property.txt -output /out/wl -mapper 'python map.py mapper_func whiteList.txt' -reducer 'python red.py' -file ./map.py -file ./red.py -file ./whiteList.txt
20/12/15 06:16:13 WARN streaming.StreamJob: -file option is deprecated, please use generic option -files instead.
packageJobJar: [./map.py, ./red.py, ./whiteList.txt, /tmp/hadoop-unjar7041032493610463978/] [] /tmp/streamjob4902933525116380783.jar tmpDir=null
20/12/15 06:16:14 INFO client.RMProxy: Connecting to ResourceManager at node1/192.168.126.118:8032
20/12/15 06:16:14 INFO client.RMProxy: Connecting to ResourceManager at node1/192.168.126.118:8032
20/12/15 06:16:15 INFO mapred.FileInputFormat: Total input paths to process : 1
20/12/15 06:16:15 INFO mapreduce.JobSubmitter: number of splits:2
20/12/15 06:16:15 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1608034597178_0013
20/12/15 06:16:15 INFO impl.YarnClientImpl: Submitted application application_1608034597178_0013
20/12/15 06:16:15 INFO mapreduce.Job: The url to track the job: http://node1:8088/proxy/application_1608034597178_0013/
20/12/15 06:16:15 INFO mapreduce.Job: Running job: job_1608034597178_0013
20/12/15 06:16:23 INFO mapreduce.Job: Job job_1608034597178_0013 running in uber mode : false
20/12/15 06:16:23 INFO mapreduce.Job:  map 0% reduce 0%
20/12/15 06:16:31 INFO mapreduce.Job:  map 100% reduce 0%
20/12/15 06:16:37 INFO mapreduce.Job:  map 100% reduce 100%
20/12/15 06:16:38 INFO mapreduce.Job: Job job_1608034597178_0013 completed successfully
20/12/15 06:16:38 INFO mapreduce.Job: Counters: 49
	File System Counters
		FILE: Number of bytes read=6048
		FILE: Number of bytes written=340427
		FILE: Number of read operations=0
		FILE: Number of large read operations=0
		FILE: Number of write operations=0
		HDFS: Number of bytes read=635802
		HDFS: Number of bytes written=28
		HDFS: Number of read operations=9
		HDFS: Number of large read operations=0
		HDFS: Number of write operations=2
	Job Counters 
		Launched map tasks=2
		Launched reduce tasks=1
		Data-local map tasks=2
		Total time spent by all maps in occupied slots (ms)=12845
		Total time spent by all reduces in occupied slots (ms)=3526
		Total time spent by all map tasks (ms)=12845
		Total time spent by all reduce tasks (ms)=3526
		Total vcore-seconds taken by all map tasks=12845
		Total vcore-seconds taken by all reduce tasks=3526
		Total megabyte-seconds taken by all map tasks=13153280
		Total megabyte-seconds taken by all reduce tasks=3610624
	Map-Reduce Framework
		Map input records=2866
		Map output records=708
		Map output bytes=4626
		Map output materialized bytes=6054
		Input split bytes=210
		Combine input records=0
		Combine output records=0
		Reduce input groups=3
		Reduce shuffle bytes=6054
		Reduce input records=708
		Reduce output records=3
		Spilled Records=1416
		Shuffled Maps =2
		Failed Shuffles=0
		Merged Map outputs=2
		GC time elapsed (ms)=299
		CPU time spent (ms)=1620
		Physical memory (bytes) snapshot=484392960
		Virtual memory (bytes) snapshot=6174113792
		Total committed heap usage (bytes)=259112960
	Shuffle Errors
		BAD_ID=0
		CONNECTION=0
		IO_ERROR=0
		WRONG_LENGTH=0
		WRONG_MAP=0
		WRONG_REDUCE=0
	File Input Format Counters 
		Bytes Read=635592
	File Output Format Counters 
		Bytes Written=28
20/12/15 06:16:38 INFO streaming.StreamJob: Output directory: /out/wl

2.5.3 查看结果

[root@node1 test]# hdfs dfs -ls /out/wl
Found 2 items
-rw-r--r--   2 root supergroup          0 2020-12-15 06:16 /out/wl/_SUCCESS
-rw-r--r--   2 root supergroup         28 2020-12-15 06:16 /out/wl/part-00000
[root@node1 test]# hdfs dfs -cat /out/wl/part-00000
against	93
recent	2
you	613

3. 统计用户每次下单金额

3.1 准备数据

  • uId,sell
user1,3
user2,5
user1,4
user6,3
user2,9
user2,5
user9,1
user8,3
user2,4
user2,4
user5,5
user6,8
user7,2
user2,7
  • 期望结果
user1	3,4
user2	4,4,5,5,7,9
user5	5
user6	3,8
user7	2
user8	3
user9	1

3.2 Mapper

  • 实际本例中mapper逻辑作用不大
import sys

for line in sys.stdin:
        key = line.strip().split(',')
        print '\t'.join(key)

3.3 Reducer

import sys

cur = None
cur_list = []
for line in sys.stdin:
        ss = line.strip().split('\t')
        key = ss[0]
        val = ss[1]
        if cur == None:
                cur = key
        elif cur!=key:
                print '%s\t%s' % (cur, ','.join(cur_list))
                cur = key
                cur_list = []
        cur_list.append(val)
print '%s\t%s' % (cur, ','.join(cur_list))

3.4 执行

[root@node1 test]# cat ub.data |python ubMap.py | sort -k1 | python ubRed.py 
user1	3,4
user2	4,4,5,5,7,9
user5	5
user6	3,8
user7	2
user8	3
user9	1

4. MapReduce join

4.1 数据准备

  • a集合，用户——消费金额
user1,42
user2,55
user3,66
user7,2
user9,38
  • b集合，用户——购买商品
user2,Hadoop
user3,Spark
user5,Trump
user7,Cap
user88,Laptop
  • 期望join后的结果
user2	55	Hadoop
user3	66	Spark
user7	2	Cap
  • 整体思想：

通过mapper对两个数据集格式化后保存到hdfs，再启动一个mr对两个数据集进行合并。

4.2 Mapper

4.2.1 map A

  • mapper
import sys

for line in sys.stdin:
	ss = line.strip().split(',')
	print "%s\t1\t%s" % (ss[0], ss[1])
  • 处理结果
[root@node1 test]# cat a.txt |python mapA.py 
user1	1	42
user2	1	55
user3	1	66
user7	1	2
user9	1	38

4.2.2 map B

  • mapper
import sys

for line in sys.stdin:
	ss = line.strip().split(',')
	print "%s\t2\t%s" % (ss[0], ss[1])
  • 处理结果
[root@node1 test]# cat b.txt |python mapB.py 
user2	2	Hadoop
user3	2	Spark
user5	2	Trump
user7	2	Cap
user88	2	Laptop

可以看到对a, b集合增加了一个标识（1,2），是为了方便在join的时候判断两个集合的数据都接收到了。

4.2 Reducer

这个阶段的工作就是将前面输出的两个集合合并。


import sys

val_1 = ""
for line in sys.stdin:
        key, flag, val = line.strip().split('\t')

        if flag == '1':
                val_1 = val
        elif flag == '2' and val_1 != "":
                val_2 = val
                print "%s\t%s\t%s" % (key, val_1, val_2)
                val_1 = ""

4.3 上传源数据

[root@node1 test]# hdfs dfs -put a.txt /user/hadoop
[root@node1 test]# hdfs dfs -put b.txt /user/hadoop

4.4 启动脚本

STREAM_JAR_PATH="/usr/local/hadoop/hadoop-2.6.1/share/hadoop/tools/lib/hadoop-streaming-2.6.1.jar"

INPUT_FILE_PATH_A="/user/hadoop/a.txt"
INPUT_FILE_PATH_B="/user/hadoop/b.txt"

OUTPUT_PATH_A="/out/a"
OUTPUT_PATH_B="/out/b"
OUTPUT_PATH_JOIN="/out/JOIN"

echo ========================= step 1. 

hdfs dfs -ls $OUTPUT_PATH_A>null
res=$?
if [ "$res" -eq "0" ];then
        echo need to delete $OUTPUT_PATH_A
        hdfs dfs -rmr $OUTPUT_PATH_A
else
        echo no need to delete $OUTPUT_PATH_A
fi

hadoop jar $STREAM_JAR_PATH \
        -input $INPUT_FILE_PATH_A \
        -output $OUTPUT_PATH_A \
        -mapper "python mapA.py" \
        -file ./mapA.py \

echo ========================= step 2.

hdfs dfs -ls $OUTPUT_PATH_B>null
res=$?
if [ "$res" -eq "0" ];then
        echo need to delete $OUTPUT_PATH_B
        hdfs dfs -rmr $OUTPUT_PATH_B
else
        echo no need to delete $OUTPUT_PATH_B
fi

hadoop jar $STREAM_JAR_PATH \
        -input $INPUT_FILE_PATH_B \
        -output $OUTPUT_PATH_B \
        -mapper "python mapB.py" \
        -file ./mapB.py \

echo ========================= step 3.

hdfs dfs -ls $OUTPUT_PATH_JOIN>null
res=$?
if [ "$res" -eq "0" ];then
        echo need to delete $OUTPUT_PATH_JOIN
        hdfs dfs -rmr $OUTPUT_PATH_JOIN
else
        echo no need to delete $OUTPUT_PATH_JOIN
fi

hadoop jar $STREAM_JAR_PATH \
        -input $OUTPUT_PATH_A,$OUTPUT_PATH_B \
        -output $OUTPUT_PATH_JOIN \
        -mapper "cat" \
        -reducer "python redJoin.py" \
        -file ./redJoin.py \
        -jobconf stream.num.map.output.key.fields=2 \
        -jobconf num.key.fields.for.partition=1

4.5 跑起来

  • 会看到3个mr的作业
[root@node1 test]# sh runJoin.sh 
========================= step 1.
need to delete /out/a
rmr: DEPRECATED: Please use 'rm -r' instead.
20/12/15 09:23:04 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes, Emptier interval = 0 minutes.
Deleted /out/a
20/12/15 09:23:05 WARN streaming.StreamJob: -file option is deprecated, please use generic option -files instead.
packageJobJar: [./mapA.py, /tmp/hadoop-unjar2503113385762558629/] [] /tmp/streamjob9067169500243307079.jar tmpDir=null
20/12/15 09:23:06 INFO client.RMProxy: Connecting to ResourceManager at node1/192.168.126.118:8032
20/12/15 09:23:06 INFO client.RMProxy: Connecting to ResourceManager at node1/192.168.126.118:8032
20/12/15 09:23:07 INFO mapred.FileInputFormat: Total input paths to process : 1
20/12/15 09:23:07 INFO mapreduce.JobSubmitter: number of splits:2
20/12/15 09:23:07 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1608034597178_0031
20/12/15 09:23:07 INFO impl.YarnClientImpl: Submitted application application_1608034597178_0031
20/12/15 09:23:07 INFO mapreduce.Job: The url to track the job: http://node1:8088/proxy/application_1608034597178_0031/
20/12/15 09:23:07 INFO mapreduce.Job: Running job: job_1608034597178_0031
20/12/15 09:23:13 INFO mapreduce.Job: Job job_1608034597178_0031 running in uber mode : false
20/12/15 09:23:13 INFO mapreduce.Job:  map 0% reduce 0%
20/12/15 09:23:22 INFO mapreduce.Job:  map 50% reduce 0%
20/12/15 09:23:23 INFO mapreduce.Job:  map 100% reduce 0%
20/12/15 09:23:28 INFO mapreduce.Job:  map 100% reduce 100%
20/12/15 09:23:29 INFO mapreduce.Job: Job job_1608034597178_0031 completed successfully
20/12/15 09:23:29 INFO mapreduce.Job: Counters: 49
	File System Counters
		FILE: Number of bytes read=70
		FILE: Number of bytes written=324793
		FILE: Number of read operations=0
		FILE: Number of large read operations=0
		FILE: Number of write operations=0
		HDFS: Number of bytes read=240
		HDFS: Number of bytes written=54
		HDFS: Number of read operations=9
		HDFS: Number of large read operations=0
		HDFS: Number of write operations=2
	Job Counters 
		Launched map tasks=2
		Launched reduce tasks=1
		Data-local map tasks=2
		Total time spent by all maps in occupied slots (ms)=12251
		Total time spent by all reduces in occupied slots (ms)=3152
		Total time spent by all map tasks (ms)=12251
		Total time spent by all reduce tasks (ms)=3152
		Total vcore-seconds taken by all map tasks=12251
		Total vcore-seconds taken by all reduce tasks=3152
		Total megabyte-seconds taken by all map tasks=12545024
		Total megabyte-seconds taken by all reduce tasks=3227648
	Map-Reduce Framework
		Map input records=5
		Map output records=5
		Map output bytes=54
		Map output materialized bytes=76
		Input split bytes=174
		Combine input records=0
		Combine output records=0
		Reduce input groups=5
		Reduce shuffle bytes=76
		Reduce input records=5
		Reduce output records=5
		Spilled Records=10
		Shuffled Maps =2
		Failed Shuffles=0
		Merged Map outputs=2
		GC time elapsed (ms)=297
		CPU time spent (ms)=1320
		Physical memory (bytes) snapshot=487895040
		Virtual memory (bytes) snapshot=6174117888
		Total committed heap usage (bytes)=258678784
	Shuffle Errors
		BAD_ID=0
		CONNECTION=0
		IO_ERROR=0
		WRONG_LENGTH=0
		WRONG_MAP=0
		WRONG_REDUCE=0
	File Input Format Counters 
		Bytes Read=66
	File Output Format Counters 
		Bytes Written=54
20/12/15 09:23:29 INFO streaming.StreamJob: Output directory: /out/a
========================= step 2.
need to delete /out/b
rmr: DEPRECATED: Please use 'rm -r' instead.
20/12/15 09:23:33 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes, Emptier interval = 0 minutes.
Deleted /out/b
20/12/15 09:23:34 WARN streaming.StreamJob: -file option is deprecated, please use generic option -files instead.
packageJobJar: [./mapB.py, /tmp/hadoop-unjar76200206261107368/] [] /tmp/streamjob7206024831264575031.jar tmpDir=null
20/12/15 09:23:35 INFO client.RMProxy: Connecting to ResourceManager at node1/192.168.126.118:8032
20/12/15 09:23:35 INFO client.RMProxy: Connecting to ResourceManager at node1/192.168.126.118:8032
20/12/15 09:23:36 INFO mapred.FileInputFormat: Total input paths to process : 1
20/12/15 09:23:36 INFO mapreduce.JobSubmitter: number of splits:2
20/12/15 09:23:36 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1608034597178_0032
20/12/15 09:23:37 INFO impl.YarnClientImpl: Submitted application application_1608034597178_0032
20/12/15 09:23:37 INFO mapreduce.Job: The url to track the job: http://node1:8088/proxy/application_1608034597178_0032/
20/12/15 09:23:37 INFO mapreduce.Job: Running job: job_1608034597178_0032
20/12/15 09:23:43 INFO mapreduce.Job: Job job_1608034597178_0032 running in uber mode : false
20/12/15 09:23:43 INFO mapreduce.Job:  map 0% reduce 0%
20/12/15 09:23:51 INFO mapreduce.Job:  map 100% reduce 0%
20/12/15 09:23:56 INFO mapreduce.Job:  map 100% reduce 100%
20/12/15 09:23:56 INFO mapreduce.Job: Job job_1608034597178_0032 completed successfully
20/12/15 09:23:56 INFO mapreduce.Job: Counters: 49
	File System Counters
		FILE: Number of bytes read=87
		FILE: Number of bytes written=324827
		FILE: Number of read operations=0
		FILE: Number of large read operations=0
		FILE: Number of write operations=0
		HDFS: Number of bytes read=266
		HDFS: Number of bytes written=71
		HDFS: Number of read operations=9
		HDFS: Number of large read operations=0
		HDFS: Number of write operations=2
	Job Counters 
		Launched map tasks=2
		Launched reduce tasks=1
		Data-local map tasks=2
		Total time spent by all maps in occupied slots (ms)=11561
		Total time spent by all reduces in occupied slots (ms)=3155
		Total time spent by all map tasks (ms)=11561
		Total time spent by all reduce tasks (ms)=3155
		Total vcore-seconds taken by all map tasks=11561
		Total vcore-seconds taken by all reduce tasks=3155
		Total megabyte-seconds taken by all map tasks=11838464
		Total megabyte-seconds taken by all reduce tasks=3230720
	Map-Reduce Framework
		Map input records=5
		Map output records=5
		Map output bytes=71
		Map output materialized bytes=93
		Input split bytes=174
		Combine input records=0
		Combine output records=0
		Reduce input groups=5
		Reduce shuffle bytes=93
		Reduce input records=5
		Reduce output records=5
		Spilled Records=10
		Shuffled Maps =2
		Failed Shuffles=0
		Merged Map outputs=2
		GC time elapsed (ms)=292
		CPU time spent (ms)=1300
		Physical memory (bytes) snapshot=483713024
		Virtual memory (bytes) snapshot=6174130176
		Total committed heap usage (bytes)=259031040
	Shuffle Errors
		BAD_ID=0
		CONNECTION=0
		IO_ERROR=0
		WRONG_LENGTH=0
		WRONG_MAP=0
		WRONG_REDUCE=0
	File Input Format Counters 
		Bytes Read=92
	File Output Format Counters 
		Bytes Written=71
20/12/15 09:23:56 INFO streaming.StreamJob: Output directory: /out/b
========================= step 3.
need to delete /out/JOIN
rmr: DEPRECATED: Please use 'rm -r' instead.
20/12/15 09:24:00 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes, Emptier interval = 0 minutes.
Deleted /out/JOIN
20/12/15 09:24:02 WARN streaming.StreamJob: -file option is deprecated, please use generic option -files instead.
20/12/15 09:24:02 WARN streaming.StreamJob: -jobconf option is deprecated, please use -D instead.
packageJobJar: [./redJoin.py, /tmp/hadoop-unjar7560819781671361131/] [] /tmp/streamjob3781723006571695879.jar tmpDir=null
20/12/15 09:24:02 INFO client.RMProxy: Connecting to ResourceManager at node1/192.168.126.118:8032
20/12/15 09:24:03 INFO client.RMProxy: Connecting to ResourceManager at node1/192.168.126.118:8032
20/12/15 09:24:04 INFO mapred.FileInputFormat: Total input paths to process : 2
20/12/15 09:24:04 INFO mapreduce.JobSubmitter: number of splits:3
20/12/15 09:24:04 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1608034597178_0033
20/12/15 09:24:04 INFO impl.YarnClientImpl: Submitted application application_1608034597178_0033
20/12/15 09:24:04 INFO mapreduce.Job: The url to track the job: http://node1:8088/proxy/application_1608034597178_0033/
20/12/15 09:24:04 INFO mapreduce.Job: Running job: job_1608034597178_0033
20/12/15 09:24:10 INFO mapreduce.Job: Job job_1608034597178_0033 running in uber mode : false
20/12/15 09:24:10 INFO mapreduce.Job:  map 0% reduce 0%
20/12/15 09:24:22 INFO mapreduce.Job:  map 100% reduce 0%
20/12/15 09:24:29 INFO mapreduce.Job:  map 100% reduce 100%
20/12/15 09:24:29 INFO mapreduce.Job: Job job_1608034597178_0033 completed successfully
20/12/15 09:24:30 INFO mapreduce.Job: Counters: 49
	File System Counters
		FILE: Number of bytes read=151
		FILE: Number of bytes written=436951
		FILE: Number of read operations=0
		FILE: Number of large read operations=0
		FILE: Number of write operations=0
		HDFS: Number of bytes read=392
		HDFS: Number of bytes written=43
		HDFS: Number of read operations=12
		HDFS: Number of large read operations=0
		HDFS: Number of write operations=2
	Job Counters 
		Launched map tasks=3
		Launched reduce tasks=1
		Data-local map tasks=3
		Total time spent by all maps in occupied slots (ms)=29703
		Total time spent by all reduces in occupied slots (ms)=3315
		Total time spent by all map tasks (ms)=29703
		Total time spent by all reduce tasks (ms)=3315
		Total vcore-seconds taken by all map tasks=29703
		Total vcore-seconds taken by all reduce tasks=3315
		Total megabyte-seconds taken by all map tasks=30415872
		Total megabyte-seconds taken by all reduce tasks=3394560
	Map-Reduce Framework
		Map input records=10
		Map output records=10
		Map output bytes=125
		Map output materialized bytes=163
		Input split bytes=258
		Combine input records=0
		Combine output records=0
		Reduce input groups=10
		Reduce shuffle bytes=163
		Reduce input records=10
		Reduce output records=3
		Spilled Records=20
		Shuffled Maps =3
		Failed Shuffles=0
		Merged Map outputs=3
		GC time elapsed (ms)=579
		CPU time spent (ms)=2060
		Physical memory (bytes) snapshot=640995328
		Virtual memory (bytes) snapshot=8230125568
		Total committed heap usage (bytes)=379858944
	Shuffle Errors
		BAD_ID=0
		CONNECTION=0
		IO_ERROR=0
		WRONG_LENGTH=0
		WRONG_MAP=0
		WRONG_REDUCE=0
	File Input Format Counters 
		Bytes Read=134
	File Output Format Counters 
		Bytes Written=43
20/12/15 09:24:30 INFO streaming.StreamJob: Output directory: /out/JOIN

4.6 查看结果

[root@node1 test]# hdfs dfs -ls /out/JOIN
Found 2 items
-rw-r--r--   2 root supergroup          0 2020-12-15 09:24 /out/JOIN/_SUCCESS
-rw-r--r--   2 root supergroup         43 2020-12-15 09:24 /out/JOIN/part-00000
[root@node1 test]# hdfs dfs -cat /out/JOIN/part-00000
user2	55	Hadoop
user3	66	Spark
user7	2	Cap

Appendix

  • 经常遇到的exception是：PipeMapRed.waitOutputThreads(): subprocess failed with code N
"OS error code 1: Operation not permitted"
 "OS error code 2: No such file or directory"
 "OS error code 3: No such process"
 "OS error code 4: Interrupted system call"
 "OS error code 5: Input/output error"
 "OS error code 6: No such device or address"
 "OS error code 7: Argument list too long"
 "OS error code 8: Exec format error"
 "OS error code 9: Bad file descriptor"
 "OS error code 10: No child processes"
 "OS error code 11: Resource temporarily unavailable"
 "OS error code 12: Cannot allocate memory"
 "OS error code 13: Permission denied"
 "OS error code 14: Bad address"
 "OS error code 15: Block device required"
 "OS error code 16: Device or resource busy"
 "OS error code 17: File exists"
 "OS error code 18: Invalid cross-device link"
 "OS error code 19: No such device"
 "OS error code 20: Not a directory"
 "OS error code 21: Is a directory"
 "OS error code 22: Invalid argument"
 "OS error code 23: Too many open files in system"
 "OS error code 24: Too many open files"
 "OS error code 25: Inappropriate ioctl for device"
 "OS error code 26: Text file busy"
 "OS error code 27: File too large"
 "OS error code 28: No space left on device"
 "OS error code 29: Illegal seek"
 "OS error code 30: Read-only file system"
 "OS error code 31: Too many links"
 "OS error code 32: Broken pipe"
 "OS error code 33: Numerical argument out of domain"
 "OS error code 34: Numerical result out of range"
 "OS error code 35: Resource deadlock avoided"
 "OS error code 36: File name too long"
 "OS error code 37: No locks available"
 "OS error code 38: Function not implemented"
 "OS error code 39: Directory not empty"
 "OS error code 40: Too many levels of symbolic links"
 "OS error code 42: No message of desired type"
 "OS error code 43: Identifier removed"
 "OS error code 44: Channel number out of range"
 "OS error code 45: Level 2 not synchronized"
 "OS error code 46: Level 3 halted"
 "OS error code 47: Level 3 reset"
 "OS error code 48: Link number out of range"
 "OS error code 49: Protocol driver not attached"
 "OS error code 50: No CSI structure available"
 "OS error code 51: Level 2 halted"
 "OS error code 52: Invalid exchange"
 "OS error code 53: Invalid request descriptor"
 "OS error code 54: Exchange full"
 "OS error code 55: No anode"
 "OS error code 56: Invalid request code"
 "OS error code 57: Invalid slot"
 "OS error code 59: Bad font file format"
 "OS error code 60: Device not a stream"
 "OS error code 61: No data available"
 "OS error code 62: Timer expired"
 "OS error code 63: Out of streams resources"
 "OS error code 64: Machine is not on the network"
 "OS error code 65: Package not installed"
 "OS error code 66: Object is remote"
 "OS error code 67: Link has been severed"
 "OS error code 68: Advertise error"
 "OS error code 69: Srmount error"
 "OS error code 70: Communication error on send"
 "OS error code 71: Protocol error"
 "OS error code 72: Multihop attempted"
 "OS error code 73: RFS specific error"
 "OS error code 74: Bad message"
 "OS error code 75: Value too large for defined data type"
 "OS error code 76: Name not unique on network"
 "OS error code 77: File descriptor in bad state"
 "OS error code 78: Remote address changed"
 "OS error code 79: Can not access a needed shared library"
 "OS error code 80: Accessing a corrupted shared library"
 "OS error code 81: .lib section in a.out corrupted"
 "OS error code 82: Attempting to link in too many shared libraries"
 "OS error code 83: Cannot exec a shared library directly"
 "OS error code 84: Invalid or incomplete multibyte or wide character"
 "OS error code 85: Interrupted system call should be restarted"
 "OS error code 86: Streams pipe error"
 "OS error code 87: Too many users"
 "OS error code 88: Socket operation on non-socket"
 "OS error code 89: Destination address required"
 "OS error code 90: Message too long"
 "OS error code 91: Protocol wrong type for socket"
 "OS error code 92: Protocol not available"
 "OS error code 93: Protocol not supported"
 "OS error code 94: Socket type not supported"
 "OS error code 95: Operation not supported"
 "OS error code 96: Protocol family not supported"
 "OS error code 97: Address family not supported by protocol"
 "OS error code 98: Address already in use"
 "OS error code 99: Cannot assign requested address"
 "OS error code 100: Network is down"
 "OS error code 101: Network is unreachable"
 "OS error code 102: Network dropped connection on reset"
 "OS error code 103: Software caused connection abort"
 "OS error code 104: Connection reset by peer"
 "OS error code 105: No buffer space available"
 "OS error code 106: Transport endpoint is already connected"
 "OS error code 107: Transport endpoint is not connected"
 "OS error code 108: Cannot send after transport endpoint shutdown"
 "OS error code 109: Too many references: cannot splice"
 "OS error code 110: Connection timed out"
 "OS error code 111: Connection refused"
 "OS error code 112: Host is down"
 "OS error code 113: No route to host"
 "OS error code 114: Operation already in progress"
 "OS error code 115: Operation now in progress"
 "OS error code 116: Stale NFS file handle"
 "OS error code 117: Structure needs cleaning"
 "OS error code 118: Not a XENIX named type file"
 "OS error code 119: No XENIX semaphores available"
 "OS error code 120: Is a named type file"
 "OS error code 121: Remote I/O error"
 "OS error code 122: Disk quota exceeded"
 "OS error code 123: No medium found"
 "OS error code 124: Wrong medium type"
 "OS error code 125: Operation canceled"
 "OS error code 126: Required key not available"
 "OS error code 127: Key has expired"
 "OS error code 128: Key has been revoked"
 "OS error code 129: Key was rejected by service"
 "OS error code 130: Owner died"
 "OS error code 131: State not recoverable"
 "MySQL error code 132: Old database file"
 "MySQL error code 133: No record read before update"
 "MySQL error code 134: Record was already deleted (or record file crashed)"
 "MySQL error code 135: No more room in record file"
 "MySQL error code 136: No more room in index file"
 "MySQL error code 137: No more records (read after end of file)"
 "MySQL error code 138: Unsupported extension used for table"
 "MySQL error code 139: Too big row"
 "MySQL error code 140: Wrong create options"
 "MySQL error code 141: Duplicate unique key or constraint on write or update"
 "MySQL error code 142: Unknown character set used"
 "MySQL error code 143: Conflicting table definitions in sub-tables of MERGE table"
 "MySQL error code 144: Table is crashed and last repair failed"
 "MySQL error code 145: Table was marked as crashed and should be repaired"
 "MySQL error code 146: Lock timed out; Retry transaction"
 "MySQL error code 147: Lock table is full; Restart program with a larger locktable"
 "MySQL error code 148: Updates are not allowed under a read only transactions"
 "MySQL error code 149: Lock deadlock; Retry transaction"
 "MySQL error code 150: Foreign key constraint is incorrectly formed"
 "MySQL error code 151: Cannot add a child row"
 "MySQL error code 152: Cannot delete a parent row"

你可能感兴趣的:(Hadoop,python,hadoop,mapreduce,大数据)

  • 理解Gunicorn：Python WSGI服务器的基石 范范0825 ipythonlinux运维
    理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
  • Python数据分析与可视化实战指南 William数据分析 pythonpython数据
    在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
  • python os.environ 江湖偌大 python深度学习
    os.environ['TF_CPP_MIN_LOG_LEVEL']='0'#默认值，输出所有信息os.environ['TF_CPP_MIN_LOG_LEVEL']='1'#屏蔽通知信息（INFO）os.environ['TF_CPP_MIN_LOG_LEVEL']='2'#屏蔽通知信息和警告信息（INFO\WARNING）os.environ['TF_CPP_MIN_LOG_LEVEL']='
  • Python中os.environ基本介绍及使用方法 鹤冲天Pro #Pythonpython服务器开发语言
    文章目录python中os.environos.environ简介os.environ进行环境变量的增删改查python中os.environ的使用详解1.简介2.key字段详解2.1常见key字段3.os.environ.get()用法4.环境变量的增删改查和判断是否存在4.1新增环境变量4.2更新环境变量4.3获取环境变量4.4删除环境变量4.5判断环境变量是否存在python中os.envi
  • Pyecharts数据可视化大屏：打造沉浸式数据分析体验 我的运维人生 信息可视化数据分析数据挖掘运维开发技术共享
    Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
  • Python教程：一文了解使用Python处理XPath 旦莫 Python进阶python开发语言
    目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
  • python os.environ_python os.environ 读取和设置环境变量 weixin_39605414 pythonos.environ
    >>>importos>>>os.environ.keys()['LC_NUMERIC','GOPATH','GOROOT','GOBIN','LESSOPEN','SSH_CLIENT','LOGNAME','USER','HOME','LC_PAPER','PATH','DISPLAY','LANG','TERM','SHELL','J2REDIR','LC_MONETARY','QT_QPA
  • 使用Faiss进行高效相似度搜索 llzwxh888 faisspython
    在现代AI应用中，快速和高效的相似度搜索是至关重要的。Faiss（FacebookAISimilaritySearch）是一个专门用于快速相似度搜索和聚类的库，特别适用于高维向量。本文将介绍如何使用Faiss来进行相似度搜索，并结合Python代码演示其基本用法。什么是Faiss？Faiss是一个由FacebookAIResearch团队开发的开源库，主要用于高维向量的相似性搜索和聚类。Faiss
  • python是什么意思中文-在python中%是什么意思 编程大乐趣
    Python中%有两种：1、数值运算：%代表取模，返回除法的余数。如：>>>7%212、%操作符（字符串格式化，stringformatting），说明如下：%[(name)][flags][width].[precision]typecode(name)为命名flags可以有+，-，''或0。+表示右对齐。-表示左对齐。''为一个空格，表示在正数的左侧填充一个空格，从而与负数对齐。0表示使用0填
  • Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Pythonpython开发语言大数据数据分析数据挖掘
    大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
  • python八股文面试题分享及解析(1) Shawn________ python
    #1.'''a=1b=2不用中间变量交换a和b'''#1.a=1b=2a,b=b,aprint(a)print(b)结果：21#2.ll=[]foriinrange(3):ll.append({'num':i})print(11)结果:#[{'num':0},{'num':1},{'num':2}]#3.kk=[]a={'num':0}foriinrange(3):#0,12#可变类型，不仅仅改变
  • 每日算法&面试题，大厂特训二十八天——第二十天（树） 肥学 ⚡算法题⚡面试题每日精进java算法数据结构
    目录标题导读算法特训二十八天面试题点击直接资料领取导读肥友们为了更好的去帮助新同学适应算法和面试题，最近我们开始进行专项突击一步一步来。上一期我们完成了动态规划二十一天现在我们进行下一项对各类算法进行二十八天的一个小总结。还在等什么快来一起肥学进行二十八天挑战吧！！特别介绍小白练手专栏，适合刚入手的新人欢迎订阅编程小白进阶python有趣练手项目里面包括了像《机器人尬聊》《恶搞程序》这样的有趣文章
  • Python快速入门 —— 第三节：类与对象 孤华暗香 Python快速入门python开发语言
    第三节：类与对象目标：了解面向对象编程的基础概念，并学会如何定义类和创建对象。内容：类与对象：定义类：class关键字。类的构造函数：__init__()。类的属性和方法。对象的创建与使用。示例：classStudent:def__init__(self,name,age,major):self.name&#
  • pyecharts——绘制柱形图折线图 2224070247 信息可视化pythonjava数据可视化
    一、pyecharts概述自2013年6月百度EFE(ExcellentFrontEnd）数据可视化团队研发的ECharts1.0发布到GitHub网站以来，ECharts一直备受业界权威的关注并获得广泛好评，成为目前成熟且流行的数据可视化图表工具，被应用到诸多数据可视化的开发领域。Python作为数据分析领域最受欢迎的语言，也加入ECharts的使用行列，并研发出方便Python开发者使用的数据
  • Python 实现图片裁剪（附代码） | Python工具 剑客阿良_ALiang
    前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
  • 【华为OD技术面试真题 - 技术面】- python八股文真题题库（4) 算法大师 华为od面试python
    华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选**1.Python中的`with`**用途和功能自动资源管理示例：文件操作上下文管理协议示例代码工作流程解析优点2.\_\_new\_\_和**\_\_init\_\_**区别__new____init__区别总结3.**切片（Slicing）操作**基本切片语法
  • python os 环境变量 CV矿工 python开发语言numpy
    环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
  • Python爬虫解析工具之xpath使用详解 eqa11 python爬虫开发语言
    文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
  • 【华为OD技术面试真题 - 技术面】- python八股文真题题库（1） 算法大师 华为od面试python
    华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.数据预处理流程数据预处理的主要步骤工具和库2.介绍线性回归、逻辑回归模型线性回归（LinearRegression）模型形式：关键点：逻辑回归（LogisticRegression）模型形式：关键点：参数估计与评估：3.python浅拷贝及深拷贝浅拷贝（Shal
  • nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
  • 《Python数据分析实战终极指南》 xjt921122 python数据分析开发语言
    对于分析师来说，大家在学习Python数据分析的路上，多多少少都遇到过很多大坑**，有关于技能和思维的**：Excel已经没办法处理现有的数据量了，应该学Python吗？找了一大堆Python和Pandas的资料来学习，为什么自己动手就懵了？跟着比赛类公开数据分析案例练了很久，为什么当自己面对数据需求还是只会数据处理而没有分析思路？学了对比、细分、聚类分析，也会用PEST、波特五力这类分析法，为啥
  • Python中深拷贝与浅拷贝的区别 yuxiaoyu.
    转自：http://blog.csdn.net/u014745194/article/details/70271868定义：在Python中对象的赋值其实就是对象的引用。当创建一个对象，把它赋值给另一个变量的时候，python并没有拷贝这个对象，只是拷贝了这个对象的引用而已。浅拷贝：拷贝了最外围的对象本身，内部的元素都只是拷贝了一个引用而已。也就是，把对象复制一遍，但是该对象中引用的其他对象我不复
  • Python开发常用的三方模块如下： 换个网名有点难 python开发语言
    Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
  • ES聚合分析原理与代码实例讲解 光剑书架上的书 大厂Offer收割机面试题简历程序员读书硅基计算碳基计算认知计算生物计算深度学习神经网络大数据AIGCAGILLMJavaPython架构设计Agent程序员实现财富自由
    ES聚合分析原理与代码实例讲解1.背景介绍1.1问题的由来在大规模数据分析场景中，特别是在使用Elasticsearch（ES）进行数据存储和检索时，聚合分析成为了一个至关重要的功能。聚合分析允许用户对数据集进行细分和分组，以便深入探索数据的结构和模式。这在诸如实时监控、日志分析、业务洞察等领域具有广泛的应用。1.2研究现状目前，ES聚合分析已经成为现代大数据平台的核心组件之一。它支持多种类型的聚
  • Python编译器 鹿鹿~ Python编译器Pythonpython开发语言后端
    嘿嘿嘿我又来了啊有些小盆友可能不知道Python其实是有编译器的，也就是PyCharm。你们可能会问到这个是干嘛的又不可以吃也不可以穿好像没有什么用，其实你还说对了这个还真的不可以吃也不可以穿，但是它用来干嘛的呢。用来编译你所打出的代码进行运行（可能这里说的有点不对但是只是个人认为）现在我们来说说PyCharm是用来干嘛的。PyCharm是一种PythonIDE，带有一整套可以帮助用户在使用Pyt
  • 一文掌握python面向对象魔术方法（二） 程序员neil pythonpython开发语言
    接上篇：一文掌握python面向对象魔术方法（一）-CSDN博客目录六、迭代和序列化：1、__iter__(self):定义迭代器，使得类可以被for循环迭代。2、__getitem__(self,key):定义索引操作，如obj[key]。3、__setitem__(self,key,value):定义赋值操作，如obj[key]=value。4、__delitem__(self,key):定义
  • 一文掌握python常用的list（列表）操作 程序员neil pythonpython开发语言
    目录一、创建列表1.直接创建列表：2.使用list()构造器3.使用列表推导式4.创建空列表二、访问列表元素1.列表支持通过索引访问元素，索引从0开始：2.还可以使用切片操作访问列表的一部分：三、修改列表元素四、添加元素1.append()：在末尾添加元素2.insert()：在指定位置插入元素五、删除元素1.del：删除指定位置的元素2.remove()：删除指定值的第一个匹配项3.pop()：
  • Python实现简单的机器学习算法 master_chenchengg pythonpython办公效率python开发IT
    Python实现简单的机器学习算法开篇：初探机器学习的奇妙之旅搭建环境：一切从安装开始必备工具箱第一步：安装Anaconda和JupyterNotebook小贴士：如何配置Python环境变量算法初体验：从零开始的Python机器学习线性回归：让数据说话数据准备：从哪里找数据编码实战：Python实现线性回归模型评估：如何判断模型好坏逻辑回归：从分类开始理论入门：什么是逻辑回归代码实现：使用skl
  • python中的深拷贝与浅拷贝 anshejd70787 python
    深拷贝和浅拷贝浅拷贝的时候，修改原来的对象，浅拷贝的对象不会发生改变。1、对象的赋值对象的赋值实际上是对象之间的引用：当创建一个对象，然后将这个对象赋值给另外一个变量的时候，python并没有拷贝这个对象，而只是拷贝了这个对象的引用。当对对象做赋值或者是参数传递或者作为返回值的时候，总是传递原始对象的引用，而不是一个副本。如下所示：>>>aList=["kel","abc",123]>>>bLis
  • 用Python实现简单的猜数字游戏 程序媛了了 python游戏java
    猜数字游戏代码：importrandomdefpythonit():a=random.randint(1,100)n=int(input("输入你猜想的数字："))whilen!=a:ifn>a:print("很遗憾，猜大了")n=int(input("请再次输入你猜想的数字："))elifna::如果玩家猜的数字n大于随机数字a，则输出"很遗憾，猜大了"，并提示玩家再次输入。elifn
  • apache 安装linux windows 墙头上一根草 apacheinuxwindows
    linux安装Apache 有两种方式一种是手动安装通过二进制的文件进行安装，另外一种就是通过yum 安装，此中安装方式，需要物理机联网。以下分别介绍两种的安装方式     通过二进制文件安装Apache需要的软件有apr,apr-util,pcre  1，安装 apr        下载地址：htt
  • fill_parent、wrap_content和match_parent的区别 Cb123456 match_parentfill_parent
    fill_parent、wrap_content和match_parent的区别:   1）fill_parent   设置一个构件的布局为fill_parent将强制性地使构件扩展，以填充布局单元内尽可能多的空间。这跟Windows控件的dockstyle属性大体一致。设置一个顶部布局或控件为fill_parent将强制性让它布满整个屏幕。 2） wrap_conte
  • 网页自适应设计 天子之骄 htmlcss响应式设计页面自适应
    网页自适应设计        网页对浏览器窗口的自适应支持变得越来越重要了。自适应响应设计更是异常火爆。再加上移动端的崛起，更是如日中天。以前为了适应不同屏幕分布率和浏览器窗口的扩大和缩小，需要设计几套css样式，用js脚本判断窗口大小，选择加载。结构臃肿，加载负担较大。现笔者经过一定时间的学习，有所心得，故分享于此，加强交流，共同进步。同时希望对大家有所
  • [sql server] 分组取最大最小常用sql 一炮送你回车库 SQL Server
    --分组取最大最小常用sql--测试环境if OBJECT_ID('tb') is not null drop table tb;gocreate table tb( col1 int, col2 int, Fcount int)insert into tbselect 11,20,1 union allselect 11,22,1 union allselect 1
  • ImageIO写图片输出到硬盘 3213213333332132 javaimage
    package awt; import java.awt.Color; import java.awt.Font; import java.awt.Graphics; import java.awt.image.BufferedImage; import java.io.File; import java.io.IOException; import javax.imagei
  • 自己的String动态数组 宝剑锋梅花香 java动态数组数组
    数组还是好说，学过一两门编程语言的就知道，需要注意的是数组声明时需要把大小给它定下来，比如声明一个字符串类型的数组：String str[]=new String[10];    但是问题就来了，每次都是大小确定的数组，我需要数组大小不固定随时变化怎么办呢？  动态数组就这样应运而生，龙哥给我们讲的是自己用代码写动态数组，并非用的ArrayList 看看字符
  • pinyin4j工具类 darkranger .net
    pinyin4j工具类Java工具类 2010-04-24 00:47:00 阅读69 评论0 字号：大中小 引入pinyin4j-2.5.0.jar包: pinyin4j是一个功能强悍的汉语拼音工具包，主要是从汉语获取各种格式和需求的拼音，功能强悍，下面看看如何使用pinyin4j。 本人以前用AscII编码提取工具，效果不理想，现在用pinyin4j简单实现了一个。功能还不是很完美，
  • StarUML学习笔记----基本概念 aijuans UML建模
    介绍StarUML的基本概念，这些都是有效运用StarUML?所需要的。包括对模型、视图、图、项目、单元、方法、框架、模型块及其差异以及UML轮廓。         模型、视与图（Model, View and Diagram）        &
  • Activiti最终总结 avords Activiti id 工作流
    1、流程定义ID：ProcessDefinitionId，当定义一个流程就会产生。 2、流程实例ID：ProcessInstanceId，当开始一个具体的流程时就会产生，也就是不同的流程实例ID可能有相同的流程定义ID。 3、TaskId，每一个userTask都会有一个Id这个是存在于流程实例上的。 4、TaskDefinitionKey和（ActivityImpl activityId
  • 从省市区多重级联想到的，react和jquery的差别 bee1314 jqueryUIreact
    在我们的前端项目里经常会用到级联的select，比如省市区这样。通常这种级联大多是动态的。比如先加载了省，点击省加载市，点击市加载区。然后数据通常ajax返回。如果没有数据则说明到了叶子节点。   针对这种场景，如果我们使用jquery来实现，要考虑很多的问题，数据部分，以及大量的dom操作。比如这个页面上显示了某个区，这时候我切换省，要把市重新初始化数据，然后区域的部分要从页面
  • Eclipse快捷键大全 bijian1013 javaeclipse快捷键
    Ctrl+1 快速修复(最经典的快捷键,就不用多说了)Ctrl+D: 删除当前行 Ctrl+Alt+↓ 复制当前行到下一行(复制增加)Ctrl+Alt+↑ 复制当前行到上一行(复制增加)Alt+↓ 当前行和下面一行交互位置(特别实用,可以省去先剪切,再粘贴了)Alt+↑ 当前行和上面一行交互位置(同上)Alt+← 前一个编辑的页面Alt+→ 下一个编辑的页面(当然是针对上面那条来说了)Alt+En
  • js 笔记 函数 征客丶 JavaScript
    一、函数的使用 1.1、定义函数变量 var vName = funcation(params){ } 1.2、函数的调用 函数变量的调用：      vName(params); 函数定义时自发调用：(function(params){})(params); 1.3、函数中变量赋值 var a = 'a'; var ff
  • 【Scala四】分析Spark源代码总结的Scala语法二 bit1129 scala
    1. Some操作   在下面的代码中，使用了Some操作：if (self.partitioner == Some(partitioner))，那么Some(partitioner)表示什么含义？首先partitioner是方法combineByKey传入的变量， Some的文档说明：   /** Class `Some[A]` represents existin
  • java 匿名内部类 BlueSkator java匿名内部类
    组合优先于继承 Java的匿名类，就是提供了一个快捷方便的手段，令继承关系可以方便地变成组合关系 继承只有一个时候才能用，当你要求子类的实例可以替代父类实例的位置时才可以用继承。   在Java中内部类主要分为成员内部类、局部内部类、匿名内部类、静态内部类。 内部类不是很好理解，但说白了其实也就是一个类中还包含着另外一个类如同一个人是由大脑、肢体、器官等身体结果组成，而内部类相
  • 盗版win装在MAC有害发热，苹果的东西不值得买，win应该不用 ljy325 游戏applewindowsXPOS
    Mac mini 型号: MC270CH-A RMB:5,688   Apple 对windows的产品支持不好,有以下问题:   1.装完了xp,发现机身很热虽然没有运行任何程序！貌似显卡跑游戏发热一样，按照那样的发热量,那部机子损耗很大,使用寿命受到严重的影响!   2.反观安装了Mac os的展示机，发热量很小，运行了1天温度也没有那么高 &nbs
  • 读《研磨设计模式》-代码笔记-生成器模式-Builder bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ /** * 生成器模式的意图在于将一个复杂的构建与其表示相分离，使得同样的构建过程可以创建不同的表示（GoF） * 个人理解： * 构建一个复杂的对象，对于创建者（Builder）来说，一是要有数据来源(rawData)，二是要返回构
  • JIRA与SVN插件安装 chenyu19891124 SVNjira
    JIRA安装好后提交代码并要显示在JIRA上，这得需要用SVN的插件才能看见开发人员提交的代码。 1.下载svn与jira插件安装包，解压后在安装包(atlassian-jira-subversion-plugin-0.10.1) 2.解压出来的包里下的lib文件夹下的jar拷贝到(C:\Program Files\Atlassian\JIRA 4.3.4\atlassian-jira\WEB
  • 常用数学思想方法 comsci 工作
      对于搞工程和技术的朋友来讲，在工作中常常遇到一些实际问题，而采用常规的思维方式无法很好的解决这些问题，那么这个时候我们就需要用数学语言和数学工具，而使用数学工具的前提却是用数学思想的方法来描述问题。。下面转帖几种常用的数学思想方法，仅供学习和参考   函数思想 　　把某一数学问题用函数表示出来，并且利用函数探究这个问题的一般规律。这是最基本、最常用的数学方法
  • pl/sql集合类型 daizj oracle集合typepl/sql
    --集合类型 /*   单行单列的数据，使用标量变量   单行多列数据，使用记录   单列多行数据，使用集合（。。。）   *集合：类似于数组也就是。pl/sql集合类型包括索引表（pl/sql table）、嵌套表（Nested Table）、变长数组（VARRAY）等 */ /*     --集合方法 &n
  • [Ofbiz]ofbiz初用 dinguangx 电商ofbiz
    从github下载最新的ofbiz（截止2015-7-13），从源码进行ofbiz的试用 1. 加载测试库 ofbiz内置derby，通过下面的命令初始化测试库 ./ant load-demo (与load-seed有一些区别)   2. 启动内置tomcat ./ant start 或 ./startofbiz.sh 或 java -jar ofbiz.jar &
  • 结构体中最后一个元素是长度为0的数组 dcj3sjt126com cgcc
    在Linux源代码中，有很多的结构体最后都定义了一个元素个数为0个的数组，如/usr/include/linux/if_pppox.h中有这样一个结构体： struct pppoe_tag {     __u16 tag_type;     __u16 tag_len;   &n
  • Linux cp 实现强行覆盖 dcj3sjt126com linux
    发现在Fedora 10 /ubutun 里面用cp -fr src dest，即使加了-f也是不能强行覆盖的，这时怎么回事的呢？一两个文件还好说，就输几个yes吧，但是要是n多文件怎么办，那还不输死人呢？下面提供三种解决办法。 方法一 我们输入alias命令，看看系统给cp起了一个什么别名。 [root@localhost ~]# aliasalias cp=’cp -i’a
  • Memcached(一)、HelloWorld frank1234 memcached
    一、简介 高性能的架构离不开缓存，分布式缓存中的佼佼者当属memcached，它通过客户端将不同的key hash到不同的memcached服务器中，而获取的时候也到相同的服务器中获取，由于不需要做集群同步，也就省去了集群间同步的开销和延迟，所以它相对于ehcache等缓存来说能更好的支持分布式应用，具有更强的横向伸缩能力。 二、客户端 选择一个memcached客户端，我这里用的是memc
  • Search in Rotated Sorted Array II hcx2013 search
    Follow up for "Search in Rotated Sorted Array":What if duplicates are allowed? Would this affect the run-time complexity? How and why? Write a function to determine if a given ta
  • Spring4新特性——更好的Java泛型操作API jinnianshilongnian spring4generic type
    Spring4新特性——泛型限定式依赖注入 Spring4新特性——核心容器的其他改进 Spring4新特性——Web开发的增强 Spring4新特性——集成Bean Validation 1.1(JSR-349)到SpringMVC  Spring4新特性——Groovy Bean定义DSL Spring4新特性——更好的Java泛型操作API  Spring4新
  • CentOS安装JDK liuxingguome centos
    1、行卸载原来的： [root@localhost opt]# rpm -qa | grep java tzdata-java-2014g-1.el6.noarch java-1.7.0-openjdk-1.7.0.65-2.5.1.2.el6_5.x86_64 java-1.6.0-openjdk-1.6.0.0-11.1.13.4.el6.x86_64 [root@localhost
  • 二分搜索专题2-在有序二维数组中搜索一个元素 OpenMind 二维数组算法二分搜索
    1,设二维数组p的每行每列都按照下标递增的顺序递增。 用数学语言描述如下：p满足 (1),对任意的x1，x2，y，如果x1<x2,则p(x1,y)<p(x2,y); (2),对任意的x，y1,y2, 如果y1<y2,则p(x,y1)<p(x,y2); 2,问题： 给定满足1的数组p和一个整数k，求是否存在x0,y0使得p(x0,y0)=k? 3,算法分析： (
  • java 随机数 Math与Random SaraWon javaMathRandom
    今天需要在程序中产生随机数，知道有两种方法可以使用，但是使用Math和Random的区别还不是特别清楚，看到一篇文章是关于的，觉得写的还挺不错的，原文地址是 http://www.oschina.net/question/157182_45274?sort=default&p=1#answers 产生1到10之间的随机数的两种实现方式： //Math Math.roun
  • oracle创建表空间 tugn oracle
    create temporary tablespace TXSJ_TEMP   tempfile 'E:\Oracle\oradata\TXSJ_TEMP.dbf'   size 32m   autoextend on   next 32m maxsize 2048m   extent m
  • 使用Java8实现自己的个性化搜索引擎 yangshangchuan javasuperword搜索引擎java8全文检索
    需要对249本软件著作实现句子级别全文检索，这些著作均为PDF文件，不使用现有的框架如lucene，自己实现的方法如下： 1、从PDF文件中提取文本，这里的重点是如何最大可能地还原文本。提取之后的文本，一个句子一行保存为文本文件。 2、将所有文本文件合并为一个单一的文本文件，这样，每一个句子就有一个唯一行号。 3、对每一行文本进行分词，建立倒排表，倒排表的格式为：词=包含该词的总行数N=行号
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他