暂时备忘

hadoop参数调优 http://www.slideboom.com/presentations/116540/PPT-on-Advanced-Hadoop-Tuning-n-Optimisation

ssh登录不了的话大部分都是下面的机器自动换了ip，改回原来的ip即可。

启动hadoop或者hbase发现某些进程还在，叫你stop first，先killall java吧，再来过一次。

如果hadoop有什么问题的话，比如slave连接不上或者一连上一刷新就没了，说什么 safemode， 则删掉这些slaves的hadoop，删掉master1的log文件夹，然后重新拷贝master1的hadoop到各个slaves，再重新来建一次即可.（因为有可能是那些job*conf**.xml文件的影响，试...）

慎用killall java。会把/tmp里的pid删掉??

1.master1和各slaves的 /etc/hosts master1Machine// 这个要具体设置
127.0.0.1 localhost
127.0.1.1       master1Machine
10.214.34.230 master1
10.214.34.231   slave1
10.214.28.205 slave2
10.214.28.214 slave3
10.214.28.213   slave4
10.214.34.129   slave5
10.214.28.118   dcd118

2.master1和各slaves的/etc/hostname
master1: master1
slave1:  slave1
slave2: slave2
slave3: slave3
slave4:  slave4
slave5:  slave5

2.master1和各slaves的/etc/environment

PATH="/home/gushui/src/hama/bin:/home/gushui/apache-maven-2.2.1/bin:/home/gushui/src/hbase-0.20.3/bin:/home/gushui/src/hadoop-0.20.2/bin:/usr/lib/jvm/java-6-sun/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games"
LANGUAGE="zh_CN:zh:en_US:en"
LANG="zh_CN.UTF-8"
CLASSPATH=.:/usr/lib/jvm/java-6-sun/lib
JAVA_HOME=/usr/lib/jvm/java-6-sun
HADOOP_HOME=/home/gushui/src/hadoop-0.20.2
HBASE_HOME=/home/gushui/src/hbase-0.20.3
HBASE_MANAGES_ZK=true
HADOOP_CONF_DIR=/home/gushui/src/hadoop-0.20.2/conf
HBASE_CONF_DIR=/home/gushui/src/hbase-0.20.3/conf
HAMA_HOME=/home/gushui/src/hama
M2_HOME=/home/gushui/apache-maven-2.2.1
M2=/home/gushui/apache-maven-2.2.1/bin

3.ssh keygen的互加
cat >> 两个大于号才是追加,一个大于号是覆盖

4.sh preprocess.sh执行下面的操作
｛
cd ~
rm -r /tmp/hadoop-g*
rm -r /tmp/hbase-g*
rm -r tmp
mkdir tmp
rm -r $HADOOP_HOME/logs
｝

5.hadoop和hbase的复制或者它们conf文件的复制
cd $HADOOP_HOME
hadoop conf 的复制
hbase conf 的复制
增加slave影响:1,$HADOOP_HOME/conf/slaves  2, $HBASE_HOME/conf/regionservers 3，$HBASE_HOME/conf/hbase-site.xml/的
<property>
     <name>hbase.zookeeper.quorum</name>
     <value>master1,slave2,slave3,slave4,slave5</value>
   </property>
//master1是必须的(试)

6.
ssh master1
cd $HADOOP_HOME
bin/hadoop namenode -format
bin/start-all.sh

double sum=0.0;
double len1=0,len2=0;
double res=0.0;

VECPAIRSTRDOUBLE::iterator itI,itJ;
itI=docI.begin();
itJ=docJ.begin();
double tp1, tp2;
while (itI!=docI.end()&&itJ!=docJ.end())
{
if((*itI).first==(*itJ).first)
{
tp1=(*itI).second;
tp2=(*itJ).second;
sum += tp1* tp2;
itI++;
itJ++;
}
else if((*itI).first<(*itJ).first)
itI++;
else
itJ++;
}

for (itI=docI.begin();itI!=docI.end();itI++)
{
len1+=((*itI).second)*((*itI).second);
}

for (itJ=docJ.begin();itJ!=docJ.end();itJ++)
{
len2+=(*itJ).second*(*itJ).second;
}

double fenmu=sqrt(len1*len2);

if(fenmu==0)
{
return 0;
}
res=sum/fenmu;

return res;