hsiehchou
hsiehchou

Hadoop的HA高可用（可行）

Hadoop的HA高可用（可行）

Hadoop的HA高可用（可行）

一、集群的规划

Zookeeper集群

192.168.116.121 192.168.116.122 192.168.116.123
hsiehchou121 hsiehchou122 hsiehchou123

Hadoop集群

192.168.116.121 192.168.116.122 192.168.116.123 192.168.116.124
hsiehchou121 hsiehchou122 hsiehchou123 hsiehchou124
NameNode1 NameNode2 DataNode1 DataNode2
ResourceManager1 ResourceManager2 NodeManager1 NodeManager2
Journalnode Journalnode

二、准备工作

1、安装JDK
2、配置环境变量
3、配置免密码登录
4、配置主机名

三、配置Zookeeper（在192.168.116.121安装）

在主节点（hsiehchou121）上配置ZooKeeper

1、配置/root/hd/zookeeper-3.4.10/conf/zoo.cfg文件


   
   
   
   

    
    
    
    dataDir=
    
    
    
    /root/hd
    
    
    
    /zookeeper-3.4.10/zkData

   
   
   
   

   
   
   
   

    
    
    
    +++++++++++++++zkconfig+++++++++++++++++

   
   
   
   

   
   
   
   

    
    
    
    server
    
    
    
    .1=
    
    
    
    hsiehchou121:
    
    
    
    2888:
    
    
    
    3888

   
   
   
   

   
   
   
   

    
    
    
    server
    
    
    
    .2=
    
    
    
    hsiehchou122:
    
    
    
    2888:
    
    
    
    3888

   
   
   
   

   
   
   
   

    
    
    
    server
    
    
    
    .3=
    
    
    
    hsiehchou123:
    
    
    
    2888:
    
    
    
    3888

2、在/root/training/zookeeper-3.4.6/tmp目录下创建一个myid的空文件

echo 1 > /root/hd/zookeeper-3.4.10/tmp/myid

3、将配置好的zookeeper拷贝到其他节点，同时修改各自的myid文件

scp -r /root/hd/zookeeper-3.4.10/ hsiehchou122:/root/hd
scp -r /root/hd/zookeeper-3.4.10/ hsiehchou123:/root/hd

四、安装Hadoop集群（在hsiehchou121上安装）

1、修改hadoo-env.sh


   
   
   
   

    
    
    
    export JAVA_HOME=
    
    
    
    /root/hd/jdk1
    
    
    
    .8
    
    
    
    .0_192

2、修改core-site.xml


   
   
   
   

    
    
    
    <configuration>

   
   
   
   

   
   
   
   
    
    
    
    
    

   
   
   
   

   
   
   
   
    
    
    
    
    <property>

   
   
   
   

   
   
   
   
        
    
    
    
    <name>fs.defaultFS
    
    
    
    name>

   
   
   
   

   
   
   
   
        
    
    
    
    <value>hdfs://mycluster
    
    
    
    value>

   
   
   
   

   
   
   
   
    
    
    
    
    property>

   
   
   
   

   
   
   
   

    

   
   
   
   

   
   
   
   
    
    
    
    
    

   
   
   
   

   
   
   
   
    
    
    
    
    <property>

   
   
   
   

   
   
   
   
        
    
    
    
    <name>hadoop.tmp.dir
    
    
    
    name>

   
   
   
   

   
   
   
   
        
    
    
    
    <value>/root/hd/hadoop-2.8.4/tmp
    
    
    
    value>

   
   
   
   

   
   
   
   
    
    
    
    
    property>

   
   
   
   

   
   
   
   

    

   
   
   
   

   
   
   
   
    
    
    
    
    

   
   
   
   

   
   
   
   
    
    
    
    
    <property>

   
   
   
   

   
   
   
   
        
    
    
    
    <name>ha.zookeeper.quorum
    
    
    
    name>

   
   
   
   

   
   
   
   
        
    
    
    
    <value>hsiehchou121:2181,hsiehchou122:2181,hsiehchou123:2181
    
    
    
    value>

   
   
   
   

   
   
   
   
    
    
    
    
    property>

   
   
   
   

   
   
   
   

    
    
    
    configuration>

3、修改hdfs-site.xml（配置这个nameservice中有几个namenode）


   
   
   
   

    
    
    
    <configuration> 

   
   
   
   

   
   
   
   
    
    
    
    
    

   
   
   
   

   
   
   
   
    
    
    
    
    <property>

   
   
   
   

   
   
   
   
        
    
    
    
    <name>dfs.nameservices
    
    
    
    name>

   
   
   
   

   
   
   
   
        
    
    
    
    <value>mycluster
    
    
    
    value>

   
   
   
   

   
   
   
   
    
    
    
    
    property>

   
   
   
   

   
   
   
   

    

   
   
   
   

   
   
   
   
    
    
    
    
    

   
   
   
   

   
   
   
   
    
    
    
    
    <property>

   
   
   
   

   
   
   
   
        
    
    
    
    <name>dfs.ha.namenodes.mycluster
    
    
    
    name>

   
   
   
   

   
   
   
   
        
    
    
    
    <value>nn1,nn2
    
    
    
    value>

   
   
   
   

   
   
   
   
    
    
    
    
    property>

   
   
   
   

   
   
   
   

    

   
   
   
   

   
   
   
   
    
    
    
    
    

   
   
   
   

   
   
   
   
    
    
    
    
    <property>

   
   
   
   

   
   
   
   
        
    
    
    
    <name>dfs.namenode.rpc-address.mycluster.nn1
    
    
    
    name>

   
   
   
   

   
   
   
   
        
    
    
    
    <value>hsiehchou121:9000
    
    
    
    value>

   
   
   
   

   
   
   
   
    
    
    
    
    property>

   
   
   
   

   
   
   
   

    

   
   
   
   

   
   
   
   
    
    
    
    
    

   
   
   
   

   
   
   
   
    
    
    
    
    <property>

   
   
   
   

   
   
   
   
        
    
    
    
    <name>dfs.namenode.http-address.mycluster.nn1
    
    
    
    name>

   
   
   
   

   
   
   
   
        
    
    
    
    <value>hsiehchou121:50070
    
    
    
    value>

   
   
   
   

   
   
   
   
    
    
    
    
    property>

   
   
   
   

   
   
   
   

    

   
   
   
   

   
   
   
   
    
    
    
    
    

   
   
   
   

   
   
   
   
    
    
    
    
    <property>

   
   
   
   

   
   
   
   
        
    
    
    
    <name>dfs.namenode.rpc-address.mycluster.nn2
    
    
    
    name>

   
   
   
   

   
   
   
   
        
    
    
    
    <value>hsiehchou122:9000
    
    
    
    value>

   
   
   
   

   
   
   
   
    
    
    
    
    property>

   
   
   
   

   
   
   
   

    

   
   
   
   

   
   
   
   
    
    
    
    
    

   
   
   
   

   
   
   
   
    
    
    
    
    <property>

   
   
   
   

   
   
   
   
        
    
    
    
    <name>dfs.namenode.http-address.mycluster.nn2
    
    
    
    name>

   
   
   
   

   
   
   
   
        
    
    
    
    <value>hsiehchou122:50070
    
    
    
    value>

   
   
   
   

   
   
   
   
    
    
    
    
    property>

   
   
   
   

   
   
   
   

    

   
   
   
   

   
   
   
   
    
    
    
    
    

   
   
   
   

   
   
   
   
    
    
    
    
    <property>

   
   
   
   

   
   
   
   
        
    
    
    
    <name>dfs.namenode.shared.edits.dir
    
    
    
    name>

   
   
   
   

   
   
   
   
        
    
    
    
    <value>qjournal://hsiehchou121:8485;hsiehchou122:8485;/mycluster
    
    
    
    value>

   
   
   
   

   
   
   
   
    
    
    
    
    property>

   
   
   
   

   
   
   
   

    

   
   
   
   

   
   
   
   
    
    
    
    
    

   
   
   
   

   
   
   
   
    
    
    
    
    <property>

   
   
   
   

   
   
   
   
        
    
    
    
    <name>dfs.journalnode.edits.dir
    
    
    
    name>

   
   
   
   

   
   
   
   
        
    
    
    
    <value>/root/hd/hadoop-2.8.4/journal
    
    
    
    value>

   
   
   
   

   
   
   
   
    
    
    
    
    property>

   
   
   
   

   
   
   
   

    

   
   
   
   

   
   
   
   
    
    
    
    
    

   
   
   
   

   
   
   
   
    
    
    
    
    <property>

   
   
   
   

   
   
   
   
        
    
    
    
    <name>dfs.ha.automatic-failover.enabled
    
    
    
    name>

   
   
   
   

   
   
   
   
        
    
    
    
    <value>true
    
    
    
    value>

   
   
   
   

   
   
   
   
    
    
    
    
    property>

   
   
   
   

   
   
   
   

    

   
   
   
   

   
   
   
   
    
    
    
    
    

   
   
   
   

   
   
   
   
    
    
    
    
    <property>

   
   
   
   

   
   
   
   
        
    
    
    
    <name>dfs.client.failover.proxy.provider.mycluster
    
    
    
    name>

   
   
   
   

   
   
   
   
        
    
    
    
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
    
    
    
    value>

   
   
   
   

   
   
   
   
    
    
    
    
    property>

   
   
   
   

   
   
   
   

    

   
   
   
   

   
   
   
   
    
    
    
    
    

   
   
   
   

   
   
   
   
    
    
    
    
    <property>

   
   
   
   

   
   
   
   
        
    
    
    
    <name>dfs.ha.fencing.methods
    
    
    
    name>

   
   
   
   

   
   
   
   
        
    
    
    
    <value>

   
   
   
   

   
   
   
   

    
    
    
                sshfence

   
   
   
   

   
   
   
   

    
    
    
                shell(/bin/true)

   
   
   
   

   
   
   
   
        
    
    
    
    value>

   
   
   
   

   
   
   
   
    
    
    
    
    property>

   
   
   
   

   
   
   
   

    

   
   
   
   

   
   
   
   
    
    
    
    
    

   
   
   
   

   
   
   
   
    
    
    
    
    <property>

   
   
   
   

   
   
   
   
        
    
    
    
    <name>dfs.ha.fencing.ssh.private-key-files
    
    
    
    name>

   
   
   
   

   
   
   
   
        
    
    
    
    <value>/root/.ssh/id_rsa
    
    
    
    value>

   
   
   
   

   
   
   
   
    
    
    
    
    property>

   
   
   
   

   
   
   
   

    

   
   
   
   

   
   
   
   
    
    
    
    
    

   
   
   
   

   
   
   
   
    
    
    
    
    <property>

   
   
   
   

   
   
   
   
        
    
    
    
    <name>dfs.ha.fencing.ssh.connect-timeout
    
    
    
    name>

   
   
   
   

   
   
   
   
        
    
    
    
    <value>30000
    
    
    
    value>

   
   
   
   

   
   
   
   
    
    
    
    
    property>

   
   
   
   

   
   
   
   

    
    
    
    configuration>

4、修改mapred-site.xml


   
   
   
   

    
    
    
    <configuration>

   
   
   
   

   
   
   
   
    
    
    
    
    <property>

   
   
   
   

   
   
   
   
        
    
    
    
    <name>mapreduce.framework.name
    
    
    
    name>

   
   
   
   

   
   
   
   
        
    
    
    
    <value>yarn
    
    
    
    value>

   
   
   
   

   
   
   
   
    
    
    
    
    property>

   
   
   
   

   
   
   
   

    
    
    
    configuration>

5、修改yarn-site.xml


   
   
   
   

    
    
    
    <configuration>

   
   
   
   

   
   
   
   
    
    
    
    
    

   
   
   
   

   
   
   
   
    
    
    
    
    <property>

   
   
   
   

   
   
   
   
       
    
    
    
    <name>yarn.resourcemanager.ha.enabled
    
    
    
    name>

   
   
   
   

   
   
   
   
       
    
    
    
    <value>true
    
    
    
    value>

   
   
   
   

   
   
   
   
    
    
    
    
    property>

   
   
   
   

   
   
   
   

    

   
   
   
   

   
   
   
   
    
    
    
    
    

   
   
   
   

   
   
   
   
    
    
    
    
    <property>

   
   
   
   

   
   
   
   
       
    
    
    
    <name>yarn.resourcemanager.cluster-id
    
    
    
    name>

   
   
   
   

   
   
   
   
       
    
    
    
    <value>yarncluster
    
    
    
    value>

   
   
   
   

   
   
   
   
    
    
    
    
    property>

   
   
   
   

   
   
   
   

    

   
   
   
   

   
   
   
   
    
    
    
    
    

   
   
   
   

   
   
   
   
    
    
    
    
    <property>

   
   
   
   

   
   
   
   
       
    
    
    
    <name>yarn.resourcemanager.ha.rm-ids
    
    
    
    name>

   
   
   
   

   
   
   
   
       
    
    
    
    <value>rm1,rm2
    
    
    
    value>

   
   
   
   

   
   
   
   
    
    
    
    
    property>

   
   
   
   

   
   
   
   

    

   
   
   
   

   
   
   
   
    
    
    
    
    

   
   
   
   

   
   
   
   
    
    
    
    
    <property>

   
   
   
   

   
   
   
   
       
    
    
    
    <name>yarn.resourcemanager.hostname.rm1
    
    
    
    name>

   
   
   
   

   
   
   
   
       
    
    
    
    <value>hsiehchou121
    
    
    
    value>

   
   
   
   

   
   
   
   
    
    
    
    
    property>

   
   
   
   

   
   
   
   
    
    
    
    
    <property>

   
   
   
   

   
   
   
   
       
    
    
    
    <name>yarn.resourcemanager.hostname.rm2
    
    
    
    name>

   
   
   
   

   
   
   
   
       
    
    
    
    <value>hsiehchou122
    
    
    
    value>

   
   
   
   

   
   
   
   
    
    
    
    
    property>

   
   
   
   

   
   
   
   

    

   
   
   
   

   
   
   
   
    
    
    
    
    

   
   
   
   

   
   
   
   
    
    
    
    
    <property>

   
   
   
   

   
   
   
   
       
    
    
    
    <name>yarn.resourcemanager.zk-address
    
    
    
    name>

   
   
   
   

   
   
   
   
       
    
    
    
    <value>hsiehchou121:2181,hsiehchou122:2181,hsiehchou123:2181
    
    
    
    value>

   
   
   
   

   
   
   
   
    
    
    
    
    property>

   
   
   
   

   
   
   
   

    

   
   
   
   

   
   
   
   
    
    
    
    
    <property>

   
   
   
   

   
   
   
   
       
    
    
    
    <name>yarn.nodemanager.aux-services
    
    
    
    name>

   
   
   
   

   
   
   
   
       
    
    
    
    <value>mapreduce_shuffle
    
    
    
    value>

   
   
   
   

   
   
   
   
    
    
    
    
    property>

   
   
   
   

   
   
   
   

    

   
   
   
   

   
   
   
   
    
    
    
    
    <property>

   
   
   
   

   
   
   
   
        
    
    
    
    <name>yarn.resourcemanager.recovery.enabled
    
    
    
    name>

   
   
   
   

   
   
   
   
        
    
    
    
    <value>true
    
    
    
    value>

   
   
   
   

   
   
   
   
    
    
    
    
    property>

   
   
   
   

   
   
   
   
    
    
    
    
    <property>

   
   
   
   

   
   
   
   
        
    
    
    
    <name>yarn.resourcemanager.store.class
    
    
    
    name>

   
   
   
   

   
   
   
   
        
    
    
    
    <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore
    
    
    
    value>

   
   
   
   

   
   
   
   
    
    
    
    
    property>

   
   
   
   

   
   
   
   
    
    
    
    
    <property>

   
   
   
   

   
   
   
   
        
    
    
    
    <name>yarn.scheduler.maximum-allocation-mb
    
    
    
    name>

   
   
   
   

   
   
   
   
        
    
    
    
    <value>32768
    
    
    
    value>

   
   
   
   

   
   
   
   
    
    
    
    
    property>

   
   
   
   

   
   
   
   
    
    
    
    
    <property>

   
   
   
   

   
   
   
   
        
    
    
    
    <name>yarn.nodemanager.resource.memory-mb
    
    
    
    name>

   
   
   
   

   
   
   
   
        
    
    
    
    <value>32768
    
    
    
    value>

   
   
   
   

   
   
   
   
    
    
    
    
    property>

   
   
   
   

   
   
   
   
    
    
    
    
    <property>

   
   
   
   

   
   
   
   
        
    
    
    
    <name>yarn.scheduler.minimum-allocation-mb
    
    
    
    name>

   
   
   
   

   
   
   
   
        
    
    
    
    <value>4096
    
    
    
    value>

   
   
   
   

   
   
   
   
    
    
    
    
    property>

   
   
   
   

   
   
   
   
    
    
    
    
    <property>

   
   
   
   

   
   
   
   
        
    
    
    
    <name>yarn.nodemanager.resource.cpu-vcores
    
    
    
    name>

   
   
   
   

   
   
   
   
        
    
    
    
    <value>24
    
    
    
    value>

   
   
   
   

   
   
   
   
    
    
    
    
    property>

   
   
   
   

   
   
   
   
    
    
    
    
    <property>

   
   
   
   

   
   
   
   
        
    
    
    
    <name>yarn.log-aggregation-enable
    
    
    
    name>

   
   
   
   

   
   
   
   
        
    
    
    
    <value>true
    
    
    
    value>

   
   
   
   

   
   
   
   
    
    
    
    
    property>

   
   
   
   

   
   
   
   
    
    
    
    
    <property>

   
   
   
   

   
   
   
   
        
    
    
    
    <name>yarn.nodemanager.remote-app-log-dir
    
    
    
    name>

   
   
   
   

   
   
   
   
        
    
    
    
    <value>/tmp/yarn-logs
    
    
    
    value>

   
   
   
   

   
   
   
   
    
    
    
    
    property>

   
   
   
   

   
   
   
   

    
    
    
    configuration>

6、修改slaves

hsiehchou123
hsiehchou124

7、将配置好的hadoop拷贝到其他节点

scp -r /root/hd/hadoop-2.8.4/ root@hsiehchou122:/root/hd/
scp -r /root/hd/hadoop-2.8.4/ root@hsiehchou123:/root/hd/
scp -r /root/hd/hadoop-2.8.4/ root@hsiehchou124:/root/hd/

五、启动Zookeeper集群

1、格式化zookeeper

[root@hsiehchou121 hadoop-2.8.4]# hdfs zkfc -formatZK

2、启动Zookeeper集群

[root@hsiehchou121 hadoop-2.8.4]# zkServer.sh start
[root@hsiehchou122 hadoop-2.8.4]# zkServer.sh start
[root@hsiehchou123 hadoop-2.8.4]# zkServer.sh start

六、在和hsiehchou122上启动journalnode

hadoop-daemon.sh start journalnode

七、格式化HDFS（在hsiehchou121上执行）

1. 格式化zookeeper

[root@hsiehchou121 hadoop-2.8.4]# hdfs zkfc -formatZK

2、启动hdfs

1）在各个JournalNode节点上，输入以下命令启动journalnode服务
[root@hsiehchou121 hadoop-2.8.4]# sbin/hadoop-daemon.sh start journalnode
2）在[nn1]上，对其进行格式化，并启动
[root@hsiehchou121 hadoop-2.8.4]# bin/hdfs namenode -format
[root@hsiehchou121 hadoop-2.8.4]# sbin/hadoop-daemon.sh start namenode
3）在[nn2]上，同步nn1的元数据信息
[root@hsiehchou121 hadoop-2.8.4]# bin/hdfs namenode -bootstrapStandby

八、在hsiehchou121上启动Hadoop集群

[root@hsiehchou121 hadoop-2.8.4]# start-all.sh

日志
This script is Deprecated. Instead use start-dfs.sh and start-yar
Starting namenodes on [hsiehchou121 hsiehchou122]
hsiehchou121: starting namenode, logging to /root/hd/hadoop-2.8.4-hsiehchou121.out
hsiehchou122: starting namenode, logging to /root/hd/hadoop-2.8.4-hsiehchou122.out
hsiehchou124: starting datanode, logging to /root/hd/hadoop-2.8.4-hsiehchou124.out
hsiehchou123: starting datanode, logging to /root/hd/hadoop-2.8.4-hsiehchou123.out
Starting journal nodes [hsiehchou121 hsiehchou122 ]
hsiehchou121: starting journalnode, logging to /root/hd/hadoop-2.alnode-hsiehchou121.out
hsiehchou122: starting journalnode, logging to /root/hd/hadoop-2.alnode-hsiehchou122.out
Starting ZK Failover Controllers on NN hosts [hsiehchou121 hsiehc
hsiehchou121: starting zkfc, logging to /root/hd/hadoop-2.8.4/logou121.out
hsiehchou122: starting zkfc, logging to /root/hd/hadoop-2.8.4/logou122.out
starting yarn daemons
starting resourcemanager, logging to /root/hd/hadoop-2.8.4/logs/ysiehchou121.out
hsiehchou123: starting nodemanager, logging to /root/hd/hadoop-2.ager-hsiehchou123.out
hsiehchou124: starting nodemanager, logging to /root/hd/hadoop-2.ager-hsiehchou124.out

hsiehchou122上的ResourceManager需要单独启动
命令
[root@hsiehchou121 hadoop-2.8.4]# ./sbin/yarn-daemon.sh start resourcemanager

你可能感兴趣的:(大数据,HA)

  • android系统selinux中添加新属性property 辉色投像
    1.定位/android/system/sepolicy/private/property_contexts声明属性开头：persist.charge声明属性类型：u:object_r:system_prop:s0图12.定位到android/system/sepolicy/public/domain.te删除neverallow{domain-init}default_prop:property
  • 每日一题——第八十九题 互联网打工人no1 C语言程序设计每日一练c语言
    题目：在字符串中找到提取数字，并统计一共找到多少整数，a123xxyu23&8889，那么找到的整数为123，23，8889//思想：#include#include#includeintmain(){charstr[]="a123xxyu23&8889";intcount=0;intnum=0;//用于临时存放当前正在构建的整数。boolinNum=false;//用于标记当前是否正在读取一个整
  • 每日一题——第九十题 互联网打工人no1 C语言程序设计每日一练c语言
    题目：判断子串是否与主串匹配#include#include#include//////判断子串是否在主串中匹配//////主串///子串///boolisSubstring(constchar*str,constchar*substr){intlenstr=strlen(str);//计算主串的长度intlenSub=strlen(substr);//计算子串的长度//遍历主字符串，对每个可能得
  • 每日一题——第八十一题 互联网打工人no1 C语言程序设计每日一练c语言
    打印如下图案:#includeintmain(){inti,j;charch='A';for(i=1;i<5;i++,ch++){for(j=0;j<5-i;j++){printf("");//控制空格输出}for(j=1;j<2*i;j++)//条件j<2*i{printf("%c",ch);//控制字符输出}printf("\n");}return0;}
  • 每日一题——第八十四题 互联网打工人no1 C语言程序设计每日一练c语言
    题目：编写函数1、输入10个职工的姓名和职工号2、按照职工由大到小顺序排列，姓名顺序也随之调整3、要求输入一个职工号，用折半查找法找出该职工的姓名#define_CRT_SECURE_NO_WARNINGS#include#include#defineMAX_EMPLOYEES10typedefstruct{intid;charname[50];}Empolyee;voidinputEmploye
  • 每日一题——第八十二题 互联网打工人no1 C语言程序设计每日一练c语言
    题目：将一个控制台输入的字符串中的所有元音字母复制到另一字符串中#include#include#include#include#defineMAX_INPUT1024boolisVowel(charp);intmain(){charinput[MAX_INPUT];charoutput[MAX_INPUT];printf("请输入一串字符串：\n");fgets(input,sizeof(inp
  • Pyecharts数据可视化大屏：打造沉浸式数据分析体验 我的运维人生 信息可视化数据分析数据挖掘运维开发技术共享
    Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
  • 探索OpenAI和LangChain的适配器集成：轻松切换模型提供商 nseejrukjhad langchaineasyui前端python
    #探索OpenAI和LangChain的适配器集成：轻松切换模型提供商##引言在人工智能和自然语言处理的世界中，OpenAI的模型提供了强大的能力。然而，随着技术的发展，许多人开始探索其他模型以满足特定需求。LangChain作为一个强大的工具，集成了多种模型提供商，通过提供适配器，简化了不同模型之间的转换。本篇文章将介绍如何使用LangChain的适配器与OpenAI集成，以便轻松切换模型提供商
  • 利用LangChain的StackExchange组件实现智能问答系统 nseejrukjhad langchainmicrosoft数据库python
    利用LangChain的StackExchange组件实现智能问答系统引言在当今的软件开发世界中，StackOverflow已经成为程序员解决问题的首选平台之一。而LangChain作为一个强大的AI应用开发框架，提供了StackExchange组件，使我们能够轻松地将StackOverflow的海量知识库集成到我们的应用中。本文将详细介绍如何使用LangChain的StackExchange组件
  • 如何部分格式化提示模板:LangChain中的高级技巧 nseejrukjhad langchainjava服务器python
    标题:如何部分格式化提示模板:LangChain中的高级技巧内容:如何部分格式化提示模板:LangChain中的高级技巧引言在使用大型语言模型(LLM)时,提示工程是一个关键环节。LangChain提供了强大的提示模板功能,让我们能更灵活地构建和管理提示。本文将介绍LangChain中一个高级特性-部分格式化提示模板,这个技巧可以让你的提示管理更加高效和灵活。什么是部分格式化提示模板?部分格式化提
  • 数组去重 好奇的猫猫猫
    整理自js中基础数据结构数组去重问题思考？如何去除数组中重复的项例如数组：[1,3,4,3,5]我们在做去重的时候，一开始想到的肯定是，逐个比较，外面一层循环，内层后一个与前一个一比较，如果是久不将当前这一项放进新的数组，挨个比较完之后返回一个新的去过重复的数组不好的实践方式上述方法效率极低，代码量还多，思考？有没有更好的方法这时候不禁一想当然有了！！！hashtable啊，通过对象的hash办法
  • 人工智能时代，程序员如何保持核心竞争力？ jmoych 人工智能
    随着AIGC（如chatgpt、midjourney、claude等）大语言模型接二连三的涌现，AI辅助编程工具日益普及，程序员的工作方式正在发生深刻变革。有人担心AI可能取代部分编程工作，也有人认为AI是提高效率的得力助手。面对这一趋势,程序员应该如何应对?是专注于某个领域深耕细作，还是广泛学习以适应快速变化的技术环境?又或者，我们是否应该将重点转向AI无法轻易替代的软技能？让我们一起探讨程序员
  • pyecharts——绘制柱形图折线图 2224070247 信息可视化pythonjava数据可视化
    一、pyecharts概述自2013年6月百度EFE(ExcellentFrontEnd）数据可视化团队研发的ECharts1.0发布到GitHub网站以来，ECharts一直备受业界权威的关注并获得广泛好评，成为目前成熟且流行的数据可视化图表工具，被应用到诸多数据可视化的开发领域。Python作为数据分析领域最受欢迎的语言，也加入ECharts的使用行列，并研发出方便Python开发者使用的数据
  • 高级 ECharts 技巧：自定义图表主题与样式 SnowMan1993 echarts信息可视化数据分析
    ECharts是一个强大的数据可视化库，提供了多种内置主题和样式，但你也可以根据项目的设计需求，自定义图表的主题与样式。本文将介绍如何使用ECharts自定义图表主题，以提升数据可视化的吸引力和一致性。1.什么是ECharts主题？ECharts的主题是指定义图表样式的配置项，包括颜色、字体、线条样式等。通过预设主题，你可以快速更改图表的整体风格，而自定义主题则允许你在此基础上进行个性化设置。2.
  • C++ | Leetcode C++题解之第409题最长回文串 Ddddddd_158 经验分享C++Leetcode题解
    题目：题解：classSolution{public:intlongestPalindrome(strings){unordered_mapcount;intans=0;for(charc:s)++count[c];for(autop:count){intv=p.second;ans+=v/2*2;if(v%2==1andans%2==0)++ans;}returnans;}};
  • 每日一题——第八十八题 互联网打工人no1 C语言程序设计每日一练c语言
    题目：输入一个9位的无符号整数，判断其是否有重复数字#include#include#includeintmain(){charnum_str[10];printf("请输入一个9位数的无符号数：");scanf_s("%9d",&num_str);if(strlen(num_str)!=9){printf("输入的不是一个9位无符号整数，请重新输入");}else{if(hasDuplicate
  • mac电脑命令行获取电量 小米人er 我的博客macos命令行
    在macOS上，有几个命令行工具可以用来获取电量信息，最常用的是pmset命令。你可以通过以下方式来查看电池状态和电量信息：查看电池状态：pmset-gbatt这个命令会返回类似下面的输出：Nowdrawingfrom'BatteryPower'-InternalBattery-0(id=1234567)95%;discharging;4:02remainingpresent:true输出中包括电
  • 【华为OD技术面试真题 - 技术面】- python八股文真题题库（1） 算法大师 华为od面试python
    华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.数据预处理流程数据预处理的主要步骤工具和库2.介绍线性回归、逻辑回归模型线性回归（LinearRegression）模型形式：关键点：逻辑回归（LogisticRegression）模型形式：关键点：参数估计与评估：3.python浅拷贝及深拷贝浅拷贝（Shal
  • nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
  • 在Ubuntu中编译含有JSON的文件出现报错 芝麻糊76 Linuxkill_buglinuxubuntujson
    在ubuntu中进行JSON相关学习的时候，我发现了一些小问题，决定与大家进行分享，减少踩坑时候出现不必要的时间耗费截取部分含有JSON部分的代码进行展示char*str="{\"title\":\"JSONExample\",\"author\":{\"name\":\"JohnDoe\",\"age\":35,\"isVerified\":true},\"tags\":[\"json\",\"
  • Xinference如何注册自定义模型 玩人工智能的辣条哥 人工智能AI大模型Xinference
    环境：Xinference问题描述：Xinference如何注册自定义模型解决方案：1.写个model_config.json，内容如下{"version":1,"context_length":2048,"model_name":"custom-llama-3","model_lang":["en","ch"],"model_ability":["generate","chat"],"model
  • ES聚合分析原理与代码实例讲解 光剑书架上的书 大厂Offer收割机面试题简历程序员读书硅基计算碳基计算认知计算生物计算深度学习神经网络大数据AIGCAGILLMJavaPython架构设计Agent程序员实现财富自由
    ES聚合分析原理与代码实例讲解1.背景介绍1.1问题的由来在大规模数据分析场景中，特别是在使用Elasticsearch（ES）进行数据存储和检索时，聚合分析成为了一个至关重要的功能。聚合分析允许用户对数据集进行细分和分组，以便深入探索数据的结构和模式。这在诸如实时监控、日志分析、业务洞察等领域具有广泛的应用。1.2研究现状目前，ES聚合分析已经成为现代大数据平台的核心组件之一。它支持多种类型的聚
  • STM32中的计时与延时 lupinjia STM32stm32单片机
    前言在裸机开发中，延时作为一种规定循环周期的方式经常被使用，其中尤以HAL库官方提供的HAL_Delay为甚。刚入门的小白可能会觉得既然有官方提供的延时函数，而且精度也还挺好，为什么不用呢？实际上HAL_Delay中有不少坑，而这些也只是HAL库中无数坑的其中一些。想从坑里跳出来还是得加强外设原理的学习和理解，切不可只依赖HAL库。除了延时之外，我们在开发中有时也会想要确定某段程序的耗时，这就需要
  • Python编译器 鹿鹿~ Python编译器Pythonpython开发语言后端
    嘿嘿嘿我又来了啊有些小盆友可能不知道Python其实是有编译器的，也就是PyCharm。你们可能会问到这个是干嘛的又不可以吃也不可以穿好像没有什么用，其实你还说对了这个还真的不可以吃也不可以穿，但是它用来干嘛的呢。用来编译你所打出的代码进行运行（可能这里说的有点不对但是只是个人认为）现在我们来说说PyCharm是用来干嘛的。PyCharm是一种PythonIDE，带有一整套可以帮助用户在使用Pyt
  • 你可能遗漏的一些C#/.NET/.NET Core知识点 追逐时光者 C#.NETDotNetGuide编程指南c#.net.netcoremicrosoft
    前言在这个快速发展的技术世界中，时常会有一些重要的知识点、信息或细节被忽略或遗漏。《C#/.NET/.NETCore拾遗补漏》专栏我们将探讨一些可能被忽略或遗漏的重要知识点、信息或细节，以帮助大家更全面地了解这些技术栈的特性和发展方向。拾遗补漏GitHub开源地址https://github.com/YSGStudyHards/DotNetGuide/blob/main/docs/DotNet/D
  • 为什么你总是对下属不满意? ZhaoWu1050
    【ZhaoWu的听课笔记】大多数公司，都存在两种问题。我创业四年，更是体会深切。这两种问题就是：老板经常不满意下属的表现；下属总是不知道老板想要什么；虽然这两种问题普遍存在，其实解决方法并不复杂。这节课，我们再聊聊第一个问题：为什么老板经常不满意下属表现?其实，这背后也是一条管理常识。管理学家德鲁克先生早就说过：管理者的任务，不是去改变人。*来自《卓有成效的管理者》只是大多数老板和我一样，都是一边
  • 推荐算法_隐语义-梯度下降 _feivirus_ 算法机器学习和数学推荐算法机器学习隐语义
    importnumpyasnp1.模型实现"""inputrate_matrix:M行N列的评分矩阵，值为P*Q.P:初始化用户特征矩阵M*K.Q:初始化物品特征矩阵K*N.latent_feature_cnt:隐特征的向量个数max_iteration:最大迭代次数alpha:步长lamda:正则化系数output分解之后的P和Q"""defLFM_grad_desc(rate_matrix,l
  • 2024.8.22 Python，链表两数之和，链表快速反转，二叉树的深度，二叉树前中后序遍历，N叉树递归遍历，翻转二叉树 RaidenQ python链表开发语言
    1.链表两数之和输入：l1=[2,4,3],l2=[5,6,4]输出：[7,0,8]解释：342+465=807.示例2：输入：l1=[0],l2=[0]输出：[0]示例3：输入：l1=[9,9,9,9,9,9,9],l2=[9,9,9,9]输出：[8,9,9,9,0,0,0,1]昨天的这个题，用自己的办法写的麻烦的要死，然后刚才一看chat归类的办法，感觉自己像个智障。classListNode
  • ARM V8 base instruction -- Debug instructions xiaozhiwise Assemblyarm
    /**Debuginstructions*/BRK#imm16进入monitormodedebug，那里有on-chipdebugmonitorcodeHLT#imm16进入haltmodedebug，连接有外部调试硬件
  • matlab mle 优化,MLE+: Matlab Toolbox for Integrated Modeling, Control and Optimization for Buildings... Simon Zhong matlabmle优化
    摘要：FollowingunilateralopticnervesectioninadultPVGhoodedrat,theaxonguidancecueephrin-A2isup-regulatedincaudalbutnotrostralsuperiorcolliculus(SC)andtheEphA5receptorisdown-regulatedinaxotomisedretinalgan
  • 书其实只有三类 西蜀石兰 类
    一个人一辈子其实只读三种书，知识类、技能类、修心类。 知识类的书可以让我们活得更明白。类似十万个为什么这种书籍，我一直不太乐意去读，因为单纯的知识是没法做事的，就像知道地球转速是多少一样（我肯定不知道），这种所谓的知识，除非用到，普通人掌握了完全是一种负担，维基百科能找到的东西，为什么去记忆？ 知识类的书，每个方面都涉及些，让自己显得不那么没文化，仅此而已。社会认为的学识渊博，肯定不是站在
  • 《TCP/IP 详解，卷1：协议》学习笔记、吐槽及其他 bylijinnan tcp
    《TCP/IP 详解，卷1：协议》是经典，但不适合初学者。它更像是一本字典，适合学过网络的人温习和查阅一些记不清的概念。 这本书，我看的版本是机械工业出版社、范建华等译的。这本书在我看来，翻译得一般，甚至有明显的错误。如果英文熟练，看原版更好： http://pcvr.nl/tcpip/ 下面是我的一些笔记，包括我看书时有疑问的地方，也有对该书的吐槽，有不对的地方请指正： 1.
  • Linux—— 静态IP跟动态IP设置 eksliang linuxIP
    一.在终端输入 vi /etc/sysconfig/network-scripts/ifcfg-eth0 静态ip模板如下： DEVICE="eth0" #网卡名称 BOOTPROTO="static" #静态IP（必须） HWADDR="00:0C:29:B5:65:CA" #网卡mac地址 IPV6INIT=&q
  • Informatica update strategy transformation 18289753290
    更新策略组件： 标记你的数据进入target里面做什么操作，一般会和lookup配合使用，有时候用0,1,1代表 forward  rejected rows被选中，rejected row是输出在错误文件里，不想看到reject输出，将错误输出到文件，因为有时候数据库原因导致某些column不能update，reject就会output到错误文件里面供查看，在workflow的
  • 使用Scrapy时出现虽然队列里有很多Request但是却不下载，造成假死状态 酷的飞上天空 request
    现象就是： 程序运行一段时间，可能是几十分钟或者几个小时，然后后台日志里面就不出现下载页面的信息，一直显示上一分钟抓取了0个网页的信息。 刚开始已经猜到是某些下载线程没有正常执行回调方法引起程序一直以为线程还未下载完成，但是水平有限研究源码未果。 经过不停的google终于发现一个有价值的信息，是给twisted提出的一个bugfix 连接地址如下http://twistedmatrix.
  • 利用预测分析技术来进行辅助医疗 蓝儿唯美 医疗
    2014年，克利夫兰诊所（Cleveland Clinic）想要更有效地控制其手术中心做膝关节置换手术的费用。整个系统每年大约进行2600例此类手术，所以，即使降低很少一部分成本，都可以为诊 所和病人节约大量的资金。为了找到适合的解决方案，供应商将视野投向了预测分析技术和工具，但其分析团队还必须花时间向医生解释基于数据的治疗方案意味着 什么。  克利夫兰诊所负责企业信息管理和分析的医疗
  • java 线程(一)：基础篇 DavidIsOK java多线程线程
                                                            &nbs
  • Tomcat服务器框架之Servlet开发分析 aijuans servlet
    最近使用Tomcat做web服务器，使用Servlet技术做开发时，对Tomcat的框架的简易分析： 疑问： 为什么我们在继承HttpServlet类之后，覆盖doGet(HttpServletRequest req, HttpServetResponse rep)方法后，该方法会自动被Tomcat服务器调用，doGet方法的参数有谁传递过来？怎样传递？ 分析之我见： doGet方法的
  • 揭秘玖富的粉丝营销之谜 与小米粉丝社区类似 aoyouzi 揭秘玖富的粉丝营销之谜
    玖富旗下悟空理财凭借着一个微信公众号上线当天成交量即破百万，第七天成交量单日破了1000万;第23天时，累计成交量超1个亿……至今成立不到10个月，粉丝已经超过500万，月交易额突破10亿，而玖富平台目前的总用户数也已经超过了1800万，位居P2P平台第一位。很多互联网金融创业者慕名前来学习效仿，但是却鲜有成功者，玖富的粉丝营销对外至今仍然是个谜。   　　近日，一直坚持微信粉丝营销
  • Java web的会话跟踪技术 百合不是茶 url会话Cookie会话Seession会话Java Web隐藏域会话
    会话跟踪主要是用在用户页面点击不同的页面时,需要用到的技术点   会话:多次请求与响应的过程     1,url地址传递参数,实现页面跟踪技术          格式:传一个参数的 url?名=值     传两个参数的 url?名=值 &名=值   关键代码
  • web.xml之Servlet配置 bijian1013 javaweb.xmlServlet配置
    定义： <servlet> <servlet-name>myservlet</servlet-name> <servlet-class>com.myapp.controller.MyFirstServlet</servlet-class> <init-param> <param-name>
  • 利用svnsync实现SVN同步备份 sunjing SVN同步E000022svnsync镜像
    1. 在备份SVN服务器上建立版本库    svnadmin create test 2. 创建pre-revprop-change文件     cd test/hooks/     cp pre-revprop-change.tmpl pre-revprop-change 3. 修改pre-revprop-
  • 【分布式数据一致性三】MongoDB读写一致性 bit1129 mongodb
    本系列文章结合MongoDB，探讨分布式数据库的数据一致性，这个系列文章包括： 数据一致性概述与CAP 最终一致性(Eventually Consistency) 网络分裂(Network Partition)问题 多数据中心(Multi Data Center) 多个写者(Multi Writer)最终一致性 一致性图表(Consistency Chart) 数据
  • Anychart图表组件-Flash图转IMG普通图的方法 白糖_ Flash
    问题背景：项目使用的是Anychart图表组件，渲染出来的图是Flash的，往往一个页面有时候会有多个flash图，而需求是让我们做一个打印预览和打印功能，让多个Flash图在一个页面上打印出来。   那么我们打印预览的思路是获取页面的body元素，然后在打印预览界面通过$("body").append(html)的形式显示预览效果，结果让人大跌眼镜：Flash是
  • Window 80端口被占用 WHY? bozch 端口占用window
    平时在启动一些可能使用80端口软件的时候，会提示80端口已经被其他软件占用，那一般又会有那些软件占用这些端口呢？    下面坐下总结：         1、web服务器是最经常见的占用80端口的，例如：tomcat , apache  , IIS , Php等等；         2
  • 编程之美-数组的最大值和最小值-分治法（两种形式） bylijinnan 编程之美
    import java.util.Arrays; public class MinMaxInArray { /** * 编程之美 数组的最大值和最小值 分治法 * 两种形式 */ public static void main(String[] args) { int[] t={11,23,34,4,6,7,8,1,2,23}; int[]
  • Perl正则表达式 chenbowen00 正则表达式perl
    首先我们应该知道 Perl 程序中，正则表达式有三种存在形式，他们分别是： 匹配：m/<regexp>;/ （还可以简写为 /<regexp>;/ ，略去 m） 替换：s/<pattern>;/<replacement>;/ 转化：tr/<pattern>;/<replacemnt>;
  • [宇宙与天文]行星议会是否具有本行星大气层以外的权力呢? comsci
          举个例子: 地球,地球上由200多个国家选举出一个代表地球联合体的议会,那么现在地球联合体遇到一个问题,地球这颗星球上面的矿产资源快要采掘完了....那么地球议会全体投票,一致通过一项带有法律性质的议案,既批准地球上的国家用各种技术手段在地球以外开采矿产资源和其它资源........    &
  • Oracle Profile 使用详解 daizj oracleprofile资源限制
    Oracle Profile 使用详解 转 一、目的： Oracle系统中的profile可以用来对用户所能使用的数据库资源进行限制，使用Create Profile命令创建一个Profile，用它来实现对数据库资源的限制使用，如果把该profile分配给用户，则该用户所能使用的数据库资源都在该profile的限制之内。 二、条件： 创建profile必须要有CREATE PROFIL
  • How HipChat Stores And Indexes Billions Of Messages Using ElasticSearch & Redis dengkane elasticsearchLucene
    This article is from an interview with Zuhaib Siddique, a production engineer at HipChat, makers of group chat and IM for teams. HipChat started in an unusual space, one you might not
  • 循环小示例，菲波拉契序列，循环解一元二次方程以及switch示例程序 dcj3sjt126com c算法
    # include <stdio.h> int main(void) { int n; int i; int f1, f2, f3; f1 = 1; f2 = 1; printf("请输入您需要求的想的序列："); scanf("%d", &n); for (i=3; i<n; i
  • macbook的lamp环境 dcj3sjt126com lamp
      sudo vim /etc/apache2/httpd.conf   /Library/WebServer/Documents 是默认的网站根目录   重启Mac上的Apache服务   这个命令很早以前就查过了，但是每次使用的时候还是要在网上查： 停止服务：sudo /usr/sbin/apachectl stop 开启服务：s
  • java ArrayList源码 下 shuizhaosi888 ArrayList源码
    版本 jdk-7u71-windows-x64   JavaSE7 ArrayList源码上：http://flyouwith.iteye.com/blog/2166890     /** * 从这个列表中移除所有c中包含元素 */ public boolean removeAll(Collection<?> c) {
  • Spring Security（08）——intercept-url配置 234390216 Spring Securityintercept-url访问权限访问协议请求方法
    intercept-url配置 目录 1.1     指定拦截的url 1.2     指定访问权限 1.3     指定访问协议 1.4     指定请求方法   1.1   &n
  • Linux环境下的oracle安装 jayung oracle
    linux系统下的oracle安装 本文档是Linux(redhat6.x、centos6.x、redhat7.x) 64位操作系统安装Oracle 11g(Oracle Database 11g Enterprise Edition Release 11.2.0.4.0 - 64bit Production)，本文基于各种网络资料精心整理而成，共享给有需要的朋友。如有问题可联系：QQ：52-7
  • hotspot虚拟机 leichenlei javaHotSpotjvm虚拟机文档
    JVM参数  http://docs.oracle.com/javase/6/docs/technotes/guides/vm/index.html   JVM工具 http://docs.oracle.com/javase/6/docs/technotes/tools/index.html   JVM垃圾回收 http://www.oracle.com
  • 读《Node.js项目实践：构建可扩展的Web应用》 ——引编程慢慢变成系统化的“砌砖活” noaighost Webnode.js
    读《Node.js项目实践：构建可扩展的Web应用》 ——引编程慢慢变成系统化的“砌砖活” 眼里的Node.JS 初初接触node是一年前的事，那时候年少不更事。还在纠结什么语言可以编写出牛逼的程序，想必每个码农都会经历这个月经性的问题：微信用什么语言写的？facebook为什么推荐系统这么智能，用什么语言写的？dota2的外挂这么牛逼，用什么语言写的？……用什么语言写这句话，困扰人也是阻碍
  • 快速开发Android应用 rensanning android
    Android应用开发过程中，经常会遇到很多常见的类似问题，解决这些问题需要花时间，其实很多问题已经有了成熟的解决方案，比如很多第三方的开源lib，参考 Android Libraries 和 Android UI/UX Libraries。 编码越少，Bug越少，效率自然会高。 但可能由于 根本没听说过、听说过但没用过、特殊原因不能用、自己已经有了解决方案等等原因，这些成熟的解决
  • 理解Java中的弱引用 tomcat_oracle java工作面试
    　不久之前，我 面试了一些求职Java高级开发工程师的应聘者。我常常会面试他们说，“你能给我介绍一些Java中得弱引用吗？”，如果面试者这样说，“嗯，是不是垃圾回收有关的？”，我就会基本满意了，我并不期待回答是一篇诘究本末的论文描述。 　　然而事与愿违，我很吃惊的发现，在将近20多个有着平均5年开发经验和高学历背景的应聘者中，居然只有两个人知道弱引用的存在，但是在这两个人之中只有一个人真正了
  • 标签输出html标签" target="_blank">关于标签输出html标签 xshdch jsp
    http://back-888888.iteye.com/blog/1181202 关于<c:out value=""/>标签的使用，其中有一个属性是escapeXml默认是true(将html标签当做转移字符，直接显示不在浏览器上面进行解析)，当设置escapeXml属性值为false的时候就是不过滤xml，这样就能在浏览器上解析html标签， &nb
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他