Linux常用命令

linux  常見基本操作命令：

ls      查看本地目錄內容

pwd    查看本地目錄路徑

cd ..   返回上一層

mkdir filename 
創建文件夾

touch 
test    創建文件

rm -rf filename   
刪除文件夾

vi/vim/cat 
test.txt     查看該文件內容

i    編輯文件內容

:set 5  查看前5行文件內容

head -3 test.txt  
查看前幾行

mv ../test/.  
移動上層目錄文件到本目錄

rm test   刪除文件

rm -f test  強制刪除

:w    保存

:wq   保存退出

:wq!  強制保存退出

mv rmongodb /usr/lib64/R/library  移動rmongodb
到目標文件夾

tar -xzf spark-1.2.0-bin-hadoop2.4.tgz   解壓

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

Hadoop 基本操作命令:

hadoop fs

hadoop fs -ls/mv/cp/rm/rmr  瀏覽移動 複製刪除

hadoop fs -mkdir
/usr/local/ers_bigdata/hadoop-2.6.4/dfs/data/zhengzedian

hadoop fs -put /home/zhengzedian/minzong.txt
/usr/local/ers_bigdata/hadoop-2.6.4/dfs/data/zhengzedian/minzong.txt

hadoop fs -ls /usr/local/ers_bigdata/hadoop-2.6.4/dfs/data/zhengzedian

 

 

查看hdfs上文件方式兩種：

hadoop fs -cat hdfs://host1:port1/file1
hdfs://host2:port2/file2

hadoop fs -cat file:///file3 /user/hadoop/file4

 

 

spark連接操作命令：

pyspark --master spark://hadoop01:7077

IPYTHON_OPTS="notebook" $SPARK_HOME/bin/pyspark
--master spark://hadoop01:7077

IPYTHON_OPTS="notebook"
$SPARK_HOME/bin/pyspark --master spark://hadoop01:7077 --total-executor-cores 6

 

 

例子

text =
sc.textFile("file:///home/zhengzedian/test.txt")  本地文件

counts.saveAsTextFile("file:///home/zhengzedian/wc")

 

 

text =
sc.textFile("hdfs://hadoop01.ers.local:9000/usr/local/ers_bigdata/hadoop-2.6.4/dfs/data/zhengzedian/test.txt")   hdfs  文件系統

print (text)

from operator import add

def tokenize(text):

    return
text.split()

words = text.flatMap(tokenize)

print (words)

wc = words.map(lambda x: (x,1))

print (wc.toDebugString())

counts = wc.reduceByKey(add)

counts.saveAsTextFile("hdfs://hadoop01.ers.local:9000/usr/local/ers_bigdata/hadoop-2.6.4/dfs/data/zhengzedian/wc")

counts.saveAsTextFile("file:///home/zhengzedian/wc")

 

 

hadoop fs -head
/usr/local/ers_bigdata/hadoop-2.6.4/dfs/data/zhengzedian/wc/part-00000

hadoop fs -text
/usr/local/ers_bigdata/hadoop-2.6.4/dfs/data/zhengzedian/wc/part-00000

 

 

spark-submit --help或者spark-shell --help来查看这些参数。

 

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

linux  運行R：

Rscript weixin.R

Linux  運行Python：

pyhton test.py

 

linux curl发送数据：

linux curl get方式提交数据：

curl -G -d "name=value&name2=value2"
http://www.baidu.com

linux curl post方式提交数据：

curl -d "name=value&name2=value2"
http://www.baidu.com      #post数据

curl --data
"startdate=2016-09-22&enddate=2016-09-28&n=5"
"http://192.168.5.211:8000/macauarticle4"

 

 

example：

post:

curl -d "text=各位家長安心啦。" http://127.0.0.1:5000/classification

curl -X POST http://127.0.0.1:5000/classification
-d '{"text":"各位家長安心啦。"}'  

直接命令端安裝R包后如果不行的話，就直接進行解壓編譯：

tar xvzf rmongodb_1.8.0.tar.gz

sudo R CMD INSTALL rmongodb_1.8.0.tar.gz