通过PowerShell 脚本在中国区Azure部署定制化HDInsight 集群

通常用户可以直接通过管理门户(https://Manage.windowsazure.cn) 来创建HDInsight 集群，但个人建议还是通过PowerShell 来创建:
1. 通过PowerShell 脚本来创建，脚本可以复用。
2. 通过PowerShell 脚本可以修改HDInsight 的默认参数，以适应不同业务的需求

通过PowerShell 创建定制化的HDInsight 集群的步骤如下:

1.准备好缺省的存储账号和缺省的Container，以及需要链接的多个存储账号。

需要说明的是，HDInsight 可以支持多个存储账号，目前在中国区Azure上一个HDInsight 集群最多可以绑定8个存储账号。HDInsight 和Azure 存储账号的Topo 图如下所示:

$storageAccountName_Default = "jerryhdtest"
$containerName_Default = "hdtest"
$storageAccountName_Add1 = "jerryhdtest2"

2.准备好Hive 元数据库。新建好一个Azure Database 用于存储Hive 元数据。

关于如何创建Azure Database 的步骤请参考:
http://www.windowsazure.cn/documentation/articles/sql-database-get-started/

$hiveSQLDatabaseServerName = "HiveMetaServerName"
$hiveSQLDatabaseName = "HDHiveMetaSql"

3. 获取存储账号密钥:

Select-AzureSubscription $subscriptionName
$storageAccountKey_Default = Get-AzureStorageKey $storageAccountName_Default | %{ $_.Primary }
$storageAccountKey_Add1 = Get-AzureStorageKey $storageAccountName_Add1 | %{ $_.Primary }

4.获取部署HDinsight 的虚拟网络或子网的信息

$vnetID = '5ad379f6-27ab-476d-****-***********'
$subNetName = 'HDSubnet'

5.设置MapReduce/ YARN 的相关参数：

$MapRedConfigValues=new-object 'Microsoft.WindowsAzure.Management.HDInsight.Cmdlet.DataObjects.AzureHDInsightMapReduceConfiguration'
$MapRedConfigValues.Configuration = @{"mapreduce.map.memory.mb"="1024";"mapreduce.reduce.memory.mb"="1024";"mapreduce.map.java.opts“=”-Xmx800m -Xms800m -Djava.net.preferIPv4Stack=true -XX:NewRatio=8 -XX:+UseNUMA -XX:+UseParallelGC“;"mapreduce.reduce.java.opts"="-Xmx800m -Xms800m -Djava.net.preferIPv4Stack=true -XX:NewRatio=8 -XX:+UseNUMA -XX:+UseParallelGC"} $YarnConfigValues= @{"yarn.app.mapreduce.am.resource.mb"="1024";"yarn.app.mapreduce.am.command-opts"="-Xmx800m -Xms800m -Djava.net.preferIPv4Stack=true -XX:NewRatio=8 -XX:+UseNUMA -XX:+UseParallelGC"} 

6.创建存储容器

$dest1Context = New-AzureStorageContext –StorageAccountName $storageAccountName_Default  -StorageAccountKey $storageAccountKey_Default -Environment 'AzureChinaCloud' 
New-AzureStorageContainer -Name $containerName_Default -Context $dest1Context

7.设置HDInsight 集群的参数：

$config = New-AzureHDInsightClusterConfig -ClusterSizeInNodes $clusterNodes  -VirtualNetworkId $vnetID -SubnetName $subNetName
|Set-AzureHDInsightDefaultStorage -StorageAccountName "$storageAccountName_Default.blob.core.chinacloudapi.cn"-StorageAccountKey $storageAccountKey_Default -StorageContainerName $containerName_Default 
|Add-AzureHDInsightStorage -StorageAccountName "$storageAccountName_Add1.blob.core.chinacloudapi.cn" -StorageAccountKey $storageAccountKey_Add1|
 Add-AzureHDInsightConfigValues -MapReduce $MapRedConfigValues -Yarn $YarnConfigValues 
|Add-AzureHDInsightMetastore -SqlAzureServerName "$hiveSQLDatabaseServerName.database.chinacloudapi.cn" -DatabaseName $hiveSQLDatabaseName -Credential $credential -MetastoreType HiveMetastore 

8.基于以上参数创建HDInsight集群：

New-AzureHDInsightCluster -Name $clusterName  -Credential $credential -Config $config -Location $location