python处理数据（二）——咪咕数据处理

路径中包含变量的情况：

fw = open('./result/'+date+'migu.singerinfo.txt','w')
filelist = gci('./'+str)

startswith和endswith的用法：

if f.startswith('./'+str+'/a_m-songer_') and f.endswith('txt'):

写shell脚本：

#!/bin/bash
today=`date +%Y%m%d`
yesterday=`date -d yesterday +%Y%m%d`
echo $today
echo $yesterday

mkdir data$yesterday
cd data$yesterday
wget ftp://218.200.227.115:10021/a_m-songer_$yesterday* --ftp-user=MusicVerticalApp --ftp-password='fnC6AWav6&K9'
wget ftp://218.200.227.115:10021/a_m-album_$yesterday* --ftp-user=MusicVerticalApp --ftp-password='fnC6AWav6&K9'
wget ftp://218.200.227.115:10021/a_m-albumSong_$yesterday* --ftp-user=MusicVerticalApp --ftp-password='fnC6AWav6&K9'
wget ftp://218.200.227.115:10021/a_m-music_$yesterday* --ftp-user=MusicVerticalApp --ftp-password='fnC6AWav6&K9' 
cd ..

python 1.genmifusinger.py $yesterday
python 2.migusong.py $yesterday
python 3.getrepeat.py $yesterday
python 4.filterepeat.py $yesterday

需要注意的地方：

1、获取当前日期的方法，`date +%Y%m%d`以及获取昨天以及n天前日期的方法。

2、显示变量，echo$today

3、给python文件传参数的方法——>python 2.migusong.py $yesterday

if [ $# -ne 2 ]; then
    usage
    exit -1
fi

startdate=$1
enddate=$2

while [ ${startdate} -le ${enddate} ]
do
  echo ${startdate}
  if [ ! -d "./data${startdate}" ]; then
    mkdir data$startdate
    cd data$startdate
    wget ftp://218.200.227.115:10021/a_m-songer_$startdate* --ftp-user=MusicVerticalApp --ftp-password='fnC6AWav6&K9'
    wget ftp://218.200.227.115:10021/a_m-album_$startdate* --ftp-user=MusicVerticalApp --ftp-password='fnC6AWav6&K9'
    wget ftp://218.200.227.115:10021/a_m-albumSong_$startdate* --ftp-user=MusicVerticalApp --ftp-password='fnC6AWav6&K9'
    wget ftp://218.200.227.115:10021/a_m-music_$startdate* --ftp-user=MusicVerticalApp --ftp-password='fnC6AWav6&K9'
    cd ..
  fi

  python 1.genmifusinger.py $startdate
  python 2.migusong.py $startdate
  python 3.getrepeat.py $startdate
  python 4.filterepeat.py $startdate
  startdate=`date -d "1 day ${startdate}" +%Y%m%d`
done

需要注意的地方：

1、判断某路径中是否存在某文件夹，如果是在当前路径下判断，./dictory_path/

2、获取加一天日期的操作——>current_date= `date -d "1 day ${current_date}" +%Y%m%d`