耗子在简书
耗子在简书

Cloudera Manager/CDH 5.13.0 详细离线部署流程

环境约束：
OS：CentOS 7.2-1511-x86_64
JDK：jdk1.8.0_152
Cloudera Manager： centos7-cm5.13.0_x86_64
CDH：5.13.0-1.cdh5.13.0.p0.29-el7
Namenode:192.168.6.240/node100
Datanode:
192.168.6.240/node100
192.168.6.241/node101
192.168.6.242/node102
NTP server:192.168.6.132

文中所用软件下载链接：
CentOS 7.2 1511 DVD 镜像
JDK
Cloudera Manager tarball
CDH parcel、sha1 file、manifest.json
(sha1 file下载后需要改后缀名为.sha)
Mysql Server、Mysql Client、Mysql common、Mysql libs
JDBC Driver

一、基本环境准备

1. 关闭防火墙和iptables
systemctl stop firewalld.service
systemctl stop iptables.service
systemctl disable firewalld.service
systemctl disable iptables.service
2. 关闭SELinux
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
3. 配置ntp时间同步服务端

本文配置过程中并未采用集群内的节点作为服务端，实际部署中可以使用集群内的节点作为服务端。

vim /etc/ntp.conf

打开ntp配置文件，改为以下内容

driftfile /var/lib/ntp/drift
restrict default kod nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery
restrict 127.0.0.1
restrict -6 ::1
restrict 192.168.6.0 mask 255.255.255.0 nomodify notrap
server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst
server  127.127.1.0  #local clock
fudag   127.127.1.0     stratum 10
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys

或者直接在终端执行：

cat << EOF > /etc/ntp.conf
driftfile /var/lib/ntp/drift
restrict default kod nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery
restrict 127.0.0.1
restrict -6 ::1
restrict 192.168.6.0 mask 255.255.255.0 nomodify notrap
server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst
server  127.127.1.0  #local clock
fudag   127.127.1.0     stratum 10
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys  
EOF

然后启动ntp服务并加入开机自启：

service ntpd start
chkconfig ntpd on
4. 配置ntp时间同步客户端

打开 /etc/ntp.conf 文件，改为我们自己配置好的内容（以192.68.6.132为例）

driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict ::1
restrict 192.168.6.132 mask 255.255.255.0 nomodify notrap
server 192.168.6.132
server 127.127.1.0
fudge 127.127.1.0 statum 10
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
SYNC_HWCLOCK=yes

或者直接在终端执行：

cat << EOF > /etc/ntp.conf
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict ::1
restrict 192.168.6.132 mask 255.255.255.0 nomodify notrap
server 192.168.6.132
server 127.127.1.0
fudge 127.127.1.0 statum 10
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
SYNC_HWCLOCK=yes
EOF

启动ntp服务并加入开机自启：

service ntpd start
chkconfig ntpd on
5. 配置主机名
cat  << EOF >> /etc/sysconfig/network
NETWORKING=yes
HOSTNAME= node100.myexample.com
EOF
6. 在集群所有主机名规划好之后，修改hosts
cat << EOF >> /etc/hosts 
192.168.6.240 node100.myexample.com
192.168.6.241 node101.myexample.com
192.168.6.242 node102.myexample.com
EOF
7. 配置无密码登录（仅主节点）
ssh-keygen -t rsa
ssh-copy-id [email protected]
ssh-copy-id [email protected]
ssh-copy-id [email protected]
8. 关闭THP服务

在 /etc/rc.local文件中设置开机自动关闭THP的语句，因为CentOS7默认开机是不执行rc.local的，所以还要给 /etc/rc.d/rc.local可执行权限:

cat << EOF >> /etc/rc.local
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
EOF
chmod +x /etc/rc.d/rc.local
9. 安装JDK1.8

建议使用 /usr/java/jdk1.8 作为 JAVA_HOME,因为YARN等组件默认使用这个目录为 JAVA_HOME，直接配置到这里可以避免很多麻烦。
假设jdk的tarball已经拷贝到服务器的 /usr/java 目录下 ：

tar zxvf jdk-8u152-linux-x64.tar.gz
mkdir jdk1.8
mv jdk1.8.0_152/* jdk1.8/

配置环境变量：

cat << EOF >> /etc/profile
export JAVA_HOME=/usr/java/jdk1.8
export PATH=\$JAVA_HOME/bin:\$PATH
export CLASSPATH=.:\$JAVA_HOME/lib/dt.jar:\$JAVA_HOME/lib/tools.jar
EOF
source /etc/profile
echo "JAVA_HOME=/usr/java/jdk1.8" >> /etc/environment

完成基本配置后需要重新启动

二、配置Cloudera Manager Server和Agent

1. 部署文件

把 cloudera-manager-centos7-cm5.13.0_x86_64.tar.gz复制到所有节点的 /opt目录下解压缩。自动生成 cloudera、cm-5.13.0两个文件夹：

tar zxvf cloudera-manager-centos7-cm5.13.0_x86_64.tar.gz

把JDBC驱动复制到以下目录：

cp mysql-connector-java-5.1.44.jar /opt/cm-5.1.3/share/cmf/lib/
cp mysql-connector-java-5.1.44.jar /usr/share/java/
2. 安装和配置mysql数据库

首先删除自带的MariaDB：

yum erase -y mariadb mariadb-libs

安装Mysql，因为依赖关系，这里必须按照这个顺序安装：

rpm -ivh mysql-community-common-5.7.20-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-5.7.9-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-5.7.9-1.el7.x86_64.rpm
rpm -ivh mysql-community-server-5.7.9-1.el7.x86_64.rpm

设置Mysql：

systemctl enable mysqld.service
service mysqld start
grep 'temporary password' /var/log/mysqld.log

执行完毕之后会有类似如下显示（临时生成的密码会有区别）：

2017-12-17T11:26:18.937718Z 1 [Note] A temporary password is generated 
for root@localhost: LgEu(D(

根据上面查找到的密码登录mysql

mysql -uroot -p

以下是mysql命令行：

修改密码，必须包含大小写字母、数字和符号

alter user root@localhost identified by 'Thisis1password!';
#授权用户root使用密码passwd从任意主机连接到mysql服务器
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'Thisis1password!' WITH GRANT OPTION;
flush privileges;

为ActiveMonitor和Hive创建数据库：

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
quit;

创建用户（所有节点）：

useradd --system --home=/opt/cm-5.13.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
3.安装Cloudera Manager Server

为scm建立数据库：

/opt/cm-5.13.0/share/cmf/schema/scm_prepare_database.sh mysql -uroot -p scm scm

如成功则会出现提示：

[main] DbCommandExecutor INFO  Successfully connected to database.
All done, your SCM database is configured correctly!
4. 部署CDH的parcel：

将

CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel
CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel.sha
manifest.json

三个文件复制到 /opt/cloudera/parcel-repo/ 目录下。

5. 启动Cloudera Manager Server

执行启动脚本：

/opt/cm-5.13.0/etc/init.d/cloudera-scm-server start

过程非常慢，需要耐心等待5分钟左右，此间可以执行：

watch netstat -lntp

来观察启动情况，如出现7180端口的服务启动，则说明启动完成。
执行启动脚本的时候可能会提示：

/opt/cm-5.13.0/etc/init.d/cloudera-scm-server:行109: pstree: 未找到命令

需要安装psmisc：

yum install -y psmisc
6. 配置和启动Cloudera Manager Agent

在每个Agent节点上修改config.ini文件：

sed -i 's/server_host=localhost/server_host=node100.myexample.com/g' /opt/cm-5.13.0/etc/cloudera-scm-agent/config.ini

主机名"node100.myexample.com"根据实际需求更换成对应的Server's hostname。

启动agent：

/opt/cm-5.13.0/etc/init.d/cloudera-scm-agent start
7. 把Cloudera Manager Server/Agent添加到系统服务进行管理

在 /lib/systemd/system新建 cmserver.service文件,添加系统服务配置(仅server节点)

cat << EOF >> /lib/systemd/system/cmserver.service
[Unit]
Description=Cloudera Manager Server
After=network.target

[Service]
Type=forking
ExecStart=/opt/cm-5.13.0/etc/init.d/cloudera-scm-server start
ExecReload=/opt/cm-5.13.0/etc/init.d/cloudera-scm-server restart
ExecStop=/opt/cm-5.13.0/etc/init.d/cloudera-scm-server stop
PrivateTmp=true

[Install]
WantedBy=multi-user.target
EOF

新建 cmagent.service文件,添加系统服务配置（所有节点）

cat << EOF >> /lib/systemd/system/cmagent.service
[Unit]
Description=Cloudera Manager Agent
After=network.target

[Service]
Type=forking
ExecStart=/opt/cm-5.13.0/etc/init.d/cloudera-scm-agent start
ExecReload=/opt/cm-5.13.0/etc/init.d/cloudera-scm-agent restart
ExecStop=/opt/cm-5.13.0/etc/init.d/cloudera-scm-agent stop
PrivateTmp=true

[Install]
WantedBy=multi-user.target
EOF

更改配置文件的权限为745：

chmod 745 /lib/systemd/system/cmserver.service
chmod 745 /lib/systemd/system/cmagent.service

添加到开机自启动：

systemctl enable cmserver.service
systemctl enable cmagent.service

然后启动、重启、停止服务就和其它系统服务一样了。

三、部署安装CDH 5.13.0.29

1. 建立集群

用浏览器访问server:7180

Cloudera Manager/CDH 5.13.0 详细离线部署流程_第1张图片

TOC打钩

Cloudera Manager/CDH 5.13.0 详细离线部署流程_第2张图片

实验环境就选个免费版

Cloudera Manager/CDH 5.13.0 详细离线部署流程_第3张图片

继续下一步

Cloudera Manager/CDH 5.13.0 详细离线部署流程_第4张图片

如果之前配置都正确的话，就直接选择当前管理的主机。

Cloudera Manager/CDH 5.13.0 详细离线部署流程_第5张图片

继续下一步

Cloudera Manager/CDH 5.13.0 详细离线部署流程_第6张图片

然后就开始较为漫长的安装了

Cloudera Manager/CDH 5.13.0 详细离线部署流程_第7张图片

集群安装好之后还要验证一下

Cloudera Manager/CDH 5.13.0 详细离线部署流程_第8张图片

这里会将一些检查发现的问题汇总起来，不严重的问题可以先不管，图中提示THP没有关闭是因为我截图的时候忘记把主机的THP关闭了，如果按照基础环境准备的步骤做，是不会提示这个警告的。swapness我也没有管，不过建议搭建的时候如果物理内存足够的话，还是把swapness调小一些，否则真的很卡顿。

Cloudera Manager/CDH 5.13.0 详细离线部署流程_第9张图片

然后就可以开始选择安装服务了。

Cloudera Manager/CDH 5.13.0 详细离线部署流程_第10张图片
2. 安装服务

首先点击“群集”，选择我们装好的cluster（这里我预先装好了HDFS和Zookeeper）

Cloudera Manager/CDH 5.13.0 详细离线部署流程_第11张图片

进入cluster控制台，选择添加服务

Cloudera Manager/CDH 5.13.0 详细离线部署流程_第12张图片

在这里可以选择安装需要的服务

Cloudera Manager/CDH 5.13.0 详细离线部署流程_第13张图片
3. 安装Hive时的注意事项

安装Hive时，除了预先要建立Hive的数据库之外，在安装过程中还会遇到无法连接数据库的错误，此时需要把JDBC的jar包拷贝到 $HIVE_HOME/lib/ 下面。
在此版本约束下，$HIVE_HOME/lib/一般为：

/opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/lib/hive/lib/
4. 安装失败后，全新重装之前的清理
  • 先停止server和agent的服务
/opt/cm-5.13.0/etc/init.d/cloudera-scm-server stop
/opt/cm-5.13.0/etc/init.d/cloudera-scm-agent stop
  • 删除scm等相关的数据库
drop database scm;
drop database amon;
drop database hive;
……
  • 删除agent的部署文件
rm -rf /opt/cm-5.13.0/lib/cloudera-scm-agent/*
  • 删除临时文件
rm -rf /tmp/*
  • 如果之前部署了HDFS服务，还要在每个节点删除dfs的文件
rm -rf /dfs/*
  • 最后重启服务器

四、Trouble shooting

1. 各种状态图不显示，状态图表为灰色小问号，但服务运行状态正常：
Cloudera Manager/CDH 5.13.0 详细离线部署流程_第14张图片

solution：
一般这种情况的原因就是运行Host Monitor、Activity Monitor、Service Monitor的主机内存不足，或者这三个服务没有启动，到Cloudera Manager Service控制台进行调整即可。

2. “无法找到主机的 NTP 服务，或该服务未响应时钟偏差请求。”：
Cloudera Manager/CDH 5.13.0 详细离线部署流程_第15张图片

solution：
这种情况的原因是NTP服务没有启动或者配置好，需要手动启动NTP服务，然后手动与服务器进行对时：

ntpdate -u ntp.server.com

然后重新启动一下agent服务。

/opt/cm-5.13.0/etc/init.d/cloudera-scm-agent restart

欢迎转载，转载请联系我并注明文章来源。

你可能感兴趣的:(Cloudera Manager/CDH 5.13.0 详细离线部署流程)

  • 银河麒麟V10离线安装MongoDB4.0 孙霸天 信创记录#mongodb银河麒麟MongoDBLinux数据库数据仓库
    目录银河麒麟V10离线安装MongoDB4.0环境介绍安装准备安装MongoDB编辑mongod.conf配置系统防火墙启动服务停止服务重启服务创建管理员用户开启用户认证配置自启动服务编辑自启动服务文件mongodb服务命令银河麒麟V10离线安装MongoDB4.0环境介绍银河麒麟V10是一款高性能的国产服务器操作系统，适用于各种应用场景。在离线环境下安装MongoDB是一项重要任务，以支持数据存
  • 基于R-CNN深度学习的无人机目标检测系统：数据集、模型和UI界面的完整实现 2025年数学建模美赛 R-CNN检测系统深度学习cnn无人机计算机视觉目标检测人工智能
    摘要随着无人机技术的迅猛发展，无人机在军事、农业、环境监测等多个领域的应用日益广泛。无人机目标检测系统的建设成为提升无人机自主飞行和环境感知能力的重要环节。本文将详细介绍如何构建一个基于深度学习的无人机目标检测系统，采用R-CNN（区域卷积神经网络）算法，通过用户界面设计和数据集处理，实现高效的目标检测功能。通过本项目，旨在为无人机目标检测提供一种可行的解决方案，并提高其在复杂环境下的工作效率。目
  • Python编程的最好搭档—VSCode 详细指南 程序员朱鹏 vscodepython编辑器
    刚学Python的同学可能会觉得每次写Python的时候都得打开Cmd有点烦躁，直接上手Pycharm的同学可能会觉得这软件太笨重了，晦涩难用。那么有没有省去打开CMD的步骤，又能弥补Pycharm笨重的特点的软件呢？——答案是VSCode.诞生于2015年的VSCode编辑器，现在可以说是目前最强的编辑器之一，在微软的背书下，比各位历史悠久的老大哥成长快得多，不到5年的时间里便坐到了市场占有率第
  • 搭建Hadoop与Hive环境 达达玲玲 hadoophive大数据
    当搭建Hadoop与Hive环境时，以下是每个步骤的详细操作说明：1.安装并配置CentOS7操作系统：-下载CentOS7ISO镜像文件，并通过虚拟机或物理机安装CentOS7操作系统。-在安装过程中，为系统分配必要的网络、用户和权限。2.安装Java开发环境：-下载适合您的系统的JavaJDK版本。-使用命令或GUI工具安装JavaJDK。-配置JAVA_HOME环境变量：-打开终端，输入以下
  • hive视图与物化视图使用详解 达达玲玲 hivehadoop数据仓库大数据
    Hive视图和物化视图都是在数据仓库中处理数据的概念。下面对Hive视图和物化视图进行详细解释：Hive视图：1.Hive视图是一个逻辑表，它是对基础表的查询结果的引用，被视为一个新表。2.视图可以简化复杂查询，隐藏复杂的逻辑，并将查询重用。3.视图不存储数据，而是在查询时动态地返回结果。4.视图可以基于单个表或多个表创建，也可以对其他视图创建。Hive视图的使用方式：1.创建视图：```sqlC
  • 如何使用HASH创建低交互式蜜罐系统 FreeBuf- 工具哈希算法算法
    关于HASHHASH是一个用于创建和启动低交互蜜罐的框架，可以帮助广大研究人员轻松创建HTTP无关的低交互式软件蜜罐。HASH的主要理念是易于配置，能够灵活地模拟在HTTP/HTTPs上运行的任何软件。尽可能减少占用空间，避免被检测为蜜罐。功能介绍1、单一框架即可部署基于HTTP/HTTPs的蜜罐；2、通过YAML文件轻松配置；3、内置honeytraps；4、基于强大的随机化fakerjs以避免
  • 力扣动态规划-12【算法学习day.106】 南宫生 算法#动态规划算法leetcode动态规划java数据结构
    前言###我做这类文章一个重要的目的还是给正在学习的大家提供方向（例如想要掌握基础用法，该刷哪些题？建议灵神的题单和代码随想录）和记录自己的学习过程，我的解析也不会做的非常详细，只会提供思路和一些关键点，力扣上的大佬们的题解质量是非常非常高滴！！！习题1.乘积最大子数组题目链接:152.乘积最大子数组-力扣（LeetCode）题面:代码:classSolution{publicintmaxProd
  • 力扣动态规划-10【算法学习day.104】 南宫生 算法#动态规划算法leetcode动态规划java学习
    前言###我做这类文章一个重要的目的还是给正在学习的大家提供方向（例如想要掌握基础用法，该刷哪些题？建议灵神的题单和代码随想录）和记录自己的学习过程，我的解析也不会做的非常详细，只会提供思路和一些关键点，力扣上的大佬们的题解质量是非常非常高滴！！！习题1.环形子数组的最大和题目链接:918.环形子数组的最大和-力扣（LeetCode）题面:附上灵神代码:classSolution{publicin
  • 无人机+固定机巢 ，空地协同作业技术详解 无人机技术圈 无人机技术无人机
    无人机与固定机巢结合的空地协同作业技术是现代无人机应用领域的一项重要创新，它结合了无人机的灵活性和固定机巢的保障性，实现了空地一体化的高效作业。以下是对该技术的详细解析：一、技术概述无人机与固定机巢结合的空地协同作业技术，主要是通过无人机搭载各种传感器和任务载荷，在固定机巢的支持下进行起飞、巡逻、监测、数据采集等任务，并通过高速通信技术将数据传输至地面控制站，实现信息的实时共享和协同决策。固定机巢
  • Python编写Modbus详细指南与示例 达达玲玲 python开发语言
    Python编写Modbus：详细指南与示例理解ModbusModbus是一种串行通信协议，广泛用于工业自动化领域。它定义了一系列消息结构，用于在多个设备之间交换数据。Python由于其易用性和丰富的库，成为了编写Modbus应用程序的热门选择。安装PyModbus库PyModbus是Python中一个功能强大的Modbus协议栈实现，支持RTU和TCP两种模式。Bashpipinstallpym
  • NVIDIA Isaac Lab 入门教程（一） kuan_li_lyg 机器人最优控制工具人工智能机器人开发语言python强化学习模仿学习Isaac
    系列文章目录前言IsaacLab是一个用于机器人学习的统一模块化框架，旨在简化机器人研究中的常见工作流程（如RL、从演示中学习和运动规划）。它建立在英伟达IsaacSim的基础上，利用最新的仿真功能实现逼真的场景和快速高效的仿真。该框架的核心目标是模块化：轻松定制和添加新环境、机器人和传感器。灵活性：适应社区不断变化的需求。开放性：保持开源，允许社区贡献和扩展框架。包含电池：包含大量可随时使用的环
  • python模块之psutil详解_基于python调用psutil模块过程解析 谢艺馨
    这篇文章主要介绍了基于python调用psutils模块过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下用Python来编写脚本简化日常的运维工作是Python的一个重要用途。在Linux下，有许多系统命令可以让我们时刻监控系统运行的状态，如ps，top，free等等。要获取这些系统信息，Python可以通过subprocess模块调用并获
  • 软件测试基础：全面入门与实践指南 AWS云计算
    本文还有配套的精品资源，点击获取简介：软件测试是软件开发中的关键环节，对产品的质量和用户体验起决定性作用。本文详细介绍了软件测试的基本概念、类型、方法和过程，提供了测试工具的选择建议，并强调了持续学习、沟通协作、问题解决和业务理解的重要性。这些内容为软件测试的初学者提供了全面的入门指导和实践建议。1.软件测试基本概念与目标软件测试是确保软件质量和可靠性的关键环节，贯穿于整个软件开发生命周期。测试的
  • 软件测试学习路线 IT菇凉 单元测试jmeter功能测试
    软件测试学习路线1.软件测试基础知识内容软件测试职业以及发展定位软件测试的概述&原则软件测试的策略及详细讲解软件测试的生命周期软件测试工作流程软件需求分析制作详解软件测试计划的编写软件测试用例的常用方法–等价类，边界值软件测试用例的常用方法–因果图，判定表测试用例的常用方法–状态迁移图;场景法软件测试环境准备&团队组织架构&职责划分bug编写规范，教你写出不low的缺陷bug的流转与状态处理缺陷编
  • 数据包的发送流程 sumatch 网络
    以绿皮聊天软件为例：首先，我们两个手机的绿皮聊天软件客户端，要通信，中间会通过它们家服务器。大概长这样。但为了简化模型，我们把中间的服务器给省略掉，假设这是个端到端的通信。且为了保证消息的可靠性，我们盲猜它们之间用的是TCP协议进行通信。为了发送数据包，两端首先会通过三次握手，建立TCP连接。一个数据包，从聊天框里发出，消息会从聊天软件所在的用户空间拷贝到内核空间的发送缓冲区（sendbuffer
  • DeepSeek R1模型基于ollama部署 &Dirac 机器学习笔记python语言模型nlp
    DeepSeekR1模型基于ollama部署1、安装部署ollama(windows)2、在ollama中使用deepseekr13、问答示例4、python调用接口5、ollama常用命令1、安装部署ollama(windows)Ollama是一个专为本地机器设计的开源框架，旨在简化大型语言模型（LLM）的部署和运行过程。它提供了一套工具和命令，使用户能够轻松地下载、管理和运行各种语言模型，包括
  • Spring Boot项目中使用MockMvc进行测试的详细指南 一休哥助手 javaspringboot后端java
    目录MockMvc简介安装和配置基本用法高级用法集成测试测试最佳实践总结MockMvc简介MockMvc是Spring框架提供的一种用于测试SpringMVC控制器的工具。它允许开发者在不启动完整的Web服务器的情况下，模拟HTTP请求并验证响应。MockMvc的主要优点包括：快速执行：
  • subprocess模块篇 熊猫Devin python笔记人工智能python开发语言
    文章目录使用方法调用Python程序设置工作目录使用方法subprocess模块是Python中用于生成新的进程，连接到它们的input/output/error管道，并获取它们的返回码的模块1。下面是subprocess模块的一些主要知识点和详细教程：run()方法创建子进程：使用subprocess.run()方法可以方便地创建一个子进程并等待其完成。例如，要运行一个外部命令并获取其输出，可以
  • Ansible批量远程管理Windows主机(部署与配置) 小小小徐先生 linuxcentos
    Ansible批量远程管理Windows主机(部署与配置)一、Linux管理服务器需安装pip、pywinrm插件（1）配置阿里镜像源[root@HJMDesktop]#cd/etc/yum.repos.d/[[email protected]]#wget-O/etc/yum.repos.d/CentOS-Base.repohttp://mirrors.aliyun.com/repo/Cent
  • IsaacLab从入门到精通（六）真机部署与Sim2real NathanWu7 IsaacLab人工智能机器人深度学习机器学习
    在之前的教程中，我们已经完成了整个强化学习任务流程，现在我们需要将自己训练的策略迁移到真机上1.1Sim2real简要方法论强化学习的Sim2real问题一直以来是非常难解决的问题，在仿真环境中训练的policy往往很难迁移到实际的机器人系统上，因此我们需要用一些特殊的方法协助来实现这个过程。1.1.1建立数字孪生（Digitaltwin）在仿真环境中，我们建立的环境需要尽可能与真实世界对齐，因此
  • 为AI聊天工具添加一个知识系统 之73 详细设计之14 正则表达式 之1 一水鉴天 智能制造人工语言软件智能网络人工智能
    本文要点要点今天讨论“当代符号学的正则表达式：StringProcessor”。StringProcessor被视为当代符号学的正则表达式，表达的是思维的纯粹形式（逻辑表示无关，语言表达无关，程序实现无关）。StringProcessor自带投影规则-关注空性中心（符号学立场），它内嵌转换规则-隐藏共性内核（建筑术视角）和外挂映射规则-悬置个性外壳（诠释学观点）。正则表达式的三方智能合约：字母转换
  • 为AI聊天工具添加一个知识系统 之72 详细设计之13 图灵机 一水鉴天 软件智能人工语言智能制造人工智能
    本文要点要点实际上是要设计一个图灵机，利用λ转换规则和λ演算来定义StringProcessor的发生产规则的转换功能。三种文法型运行图灵机来处理不同的串---符号串，数字串和文字串一个StrIngProcessor，图灵机（利用λ转换规则和λ演算来定义StringProcessor的发生产规则的转换功能），三种串(字符/数字/文字)，三种语法公式（term/atom/formula），三种文法型
  • Node.js 中的中间件：概念与应用 JJCTO袁龙 Node.jsnode.js中间件
    Node.js中的中间件：概念与应用在当今的网络开发中，Node.js作为一种高效、可扩展的JavaScript运行环境，正在快速占领开发者的心智。而在Node.js的生态中，中间件（Middleware）是一个不可或缺的概念，它为构建灵活而高效的应用程序提供了强大的支持。在这篇文章中，我们将详细探讨Node.js中的中间件的概念、工作原理以及实际应用，帮助你更好地理解和使用这一强大工具。什么是中
  • 系统设计面试题 慢慢慢时光 面试准备面试系统设计
    比较开放，需要灵活应对，列出基本的一些思路。文章目录**设计一个短网址服务**：如何将长网址转换为短网址，并支持短网址的生成、存储、解析和重定向等功能**设计一个分布式文件系统**：考虑如何实现文件的存储、访问、备份、容错等功能，以及如何处理大规模数据和高并发访问。**设计一个聊天系统**：包括消息的发送、接收、存储、展示等功能，以及如何处理实时通信、离线消息、群聊等需求设计一个推荐系统：根据用户
  • 真实互联网线上系统JVM内存溢出排查流程(文末彩蛋) 程序健跑人生 JVM多线程高并发工作感悟jvmjava架构后端分布式
    起因：近期在工作中发生因jvm内存溢出导致线上应用进程崩溃，导致服务瞬间瘫痪。期间发现集群中每台应用服务器JVM内存使用率高达96%左右，存在瞬间内存打满，导致服务瘫痪情况。根据经验分析，大概率是由于JVM中存在长期无法回收的（大）对象（此问题属代码本身问题）或瞬间流量激增导致垃圾收集器来不及回收（可调整JVM参数或横向增加服务器）导致。排查过程：1.通过命令（jmap-dump:format=b
  • Typescript新特性关键字readyonly详细解读 黑码小帅 自己总结typescriptjavascript前端htmlcssvue.jsvue
    readonly修饰符：首先是一个关键字，对类中的属性成员进行修饰，修饰后，该属性成员，就不能在外部被随意的修改了一构造函数中，可以对只读的属性成员的数据进行修改(()=>{//定义一个类型classPerson{//属性readonlyname:string//构造函数constructor(name:string){this.name=name}}//实例化对象constperson:Pers
  • Typescript 多个泛型参数详细解读 黑码小帅 自己总结typescriptjavascript前端vue.jsjsvuereactjs
    多个泛型参数的函数:函数中有多个泛型的参数。示例：(()=>{functiongetMsg(value1:K,value2:V):[K,V]{return[value1,value2]}constarr1=getMsg('jack',100.2345)console.log(arr1[0].split(''))console.log(arr1[1].toFixed(1))//调用toFixed(1
  • TaskManager的JVM OOM退出配置 艾丽丝的爱情 jvm大数据
    在大数据领域中，TaskManager是执行并行任务的关键组件之一。它负责管理任务的执行和资源分配。在处理大规模数据时，内存管理是一个重要的考虑因素。当TaskManager的Java虚拟机（JVM）遇到内存不足的情况时，可以通过配置相应的参数来控制其行为。本文将介绍如何配置TaskManager的JVM，以便在OOM（内存溢出）发生时退出。OOM（OutofMemory）是指在程序运行过程中，J
  • JVM堆空间 silver687 jvm
    JVM（Java虚拟机）堆空间是Java内存管理的核心区域之一，用于存储Java对象实例。以下是关于JVM堆空间的详细介绍：1.堆空间的作用•存储对象实例：几乎所有的Java对象实例（通过new关键字创建的对象）都存储在堆空间中。例如，当你创建一个String对象、一个ArrayList对象或其他任何类的实例时，它们都会被分配到堆空间。•支持垃圾回收：堆空间是垃圾回收的主要区域。垃圾回收器（GC）
  • ESP-IDF环境安装出现问题（报错python.exe -m pip“ is not valid. (ERROR_INVALID_PIP)） Lethal Rhythm113 pythonpip开发语言
    安装参考【ESP-IDF篇】搭建ESP-IDF软件开发环境，包括手动命令行和VSCode两种方式-CSDN博客遇见问题原因分析：1.离线包自带的python3.11.2没有pip，导致安装失败2.电脑中有其他版本的python，需要在环境变量中将py3.11.2的路径上移到原先python环境前解决方案打开cmd，使用cdC:\Espressif\tools\idf-python\3.11.2命令
  • LeetCode[Math] - #66 Plus One Cwind javaLeetCode题解AlgorithmMath
    原题链接：#66 Plus One   要求： 给定一个用数字数组表示的非负整数，如num1 = {1, 2, 3, 9}, num2 = {9, 9}等，给这个数加上1。 注意： 1. 数字的较高位存在数组的头上，即num1表示数字1239 2. 每一位（数组中的每个元素）的取值范围为0~9   难度：简单   分析： 题目比较简单，只须从数组
  • JQuery中$.ajax()方法参数详解 AILIKES JavaScriptjsonpjqueryAjaxjson
    url: 要求为String类型的参数，（默认为当前页地址）发送请求的地址。 type: 要求为String类型的参数，请求方式（post或get）默认为get。注意其他http请求方法，例如put和    delete也可以使用，但仅部分浏览器支持。 timeout: 要求为Number类型的参数，设置请求超时时间（毫秒）。此设置将覆盖$.ajaxSetup()方法的全局
  • JConsole & JVisualVM远程监视Webphere服务器JVM Kai_Ge JVisualVMJConsoleWebphere
        JConsole是JDK里自带的一个工具，可以监测Java程序运行时所有对象的申请、释放等动作，将内存管理的所有信息进行统计、分析、可视化。我们可以根据这些信息判断程序是否有内存泄漏问题。 　　使用JConsole工具来分析WAS的JVM问题，需要进行相关的配置。 　　首先我们看WAS服务器端的配置. 　　1、登录was控制台https://10.4.119.18
  • 自定义annotation 120153216 annotation
    Java annotation 自定义注释@interface的用法 一、什么是注释      说起注释，得先提一提什么是元数据(metadata)。所谓元数据就是数据的数据。也就是说，元数据是描述数据的。就象数据表中的字段一样，每个字段描述了这个字段下的数据的含义。而J2SE5.0中提供的注释就是java源代码的元数据，也就是说注释是描述java源
  • CentOS 5/6.X 使用 EPEL YUM源 2002wmj centos
    CentOS 6.X 安装使用EPEL YUM源1. 查看操作系统版本[root@node1 ~]# uname -a Linux node1.test.com 2.6.32-358.el6.x86_64 #1 SMP Fri Feb 22 00:31:26 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux [root@node1 ~]#
  • 在SQLSERVER中查找缺失和无用的索引SQL 357029540 SQL Server
    --缺失的索引 SELECT  avg_total_user_cost * avg_user_impact * ( user_scans + user_seeks ) AS PossibleImprovement ,          last_user_seek ,    
  • Spring3 MVC 笔记（二） —json+rest优化 7454103 Spring3 MVC
    接上次的 spring mvc 注解的一些详细信息！                          其实也是一些个人的学习笔记  呵呵！
  • 替换“\”的时候报错Unexpected internal error near index 1 \ ^ adminjun java“\替换”
    发现还是有些东西没有刻子脑子里,,过段时间就没什么概念了,所以贴出来...以免再忘...   在拆分字符串时遇到通过 \ 来拆分，可是用所以想通过转义 \\ 来拆分的时候会报异常   public class Main {          /*
  • POJ 1035 Spell checker(哈希表) aijuans 暴力求解--哈希表
    /* 题意：输入字典，然后输入单词，判断字典中是否出现过该单词，或者是否进行删除、添加、替换操作，如果是，则输出对应的字典中的单词 要求按照输入时候的排名输出 题解：建立两个哈希表。一个存储字典和输入字典中单词的排名，一个进行最后输出的判重 */ #include <iostream> //#define using namespace std; const int HASH =
  • 通过原型实现javascript Array的去重、最大值和最小值 ayaoxinchao JavaScriptarrayprototype
    用原型函数（prototype）可以定义一些很方便的自定义函数，实现各种自定义功能。本次主要是实现了Array的去重、获取最大值和最小值。 实现代码如下：   <script type="text/javascript"> Array.prototype.unique = function() { var a = {}; var le
  • UIWebView实现https双向认证请求 bewithme UIWebViewhttpsObjective-C
              什么是HTTPS双向认证我已在先前的博文 ASIHTTPRequest实现https双向认证请求 中有讲述，不理解的读者可以先复习一下。本文是用UIWebView来实现对需要客户端证书验证的服务请求，网上有些文章中有涉及到此内容，但都只言片语，没有讲完全，更没有完整的代码，让人困扰不已。但是此知
  • NoSQL数据库之Redis数据库管理(Redis高级应用之事务处理、持久化操作、pub_sub、虚拟内存) bijian1013 redis数据库NoSQL
    3.事务处理         Redis对事务的支持目前不比较简单。Redis只能保证一个client发起的事务中的命令可以连续的执行，而中间不会插入其他client的命令。当一个client在一个连接中发出multi命令时，这个连接会进入一个事务上下文，该连接后续的命令不会立即执行，而是先放到一个队列中，当执行exec命令时，redis会顺序的执行队列中
  • 各数据库分页sql备忘 bingyingao oraclesql分页
    ORACLE 下面这个效率很低 SELECT * FROM ( SELECT A.*, ROWNUM RN FROM (SELECT * FROM IPAY_RCD_FS_RETURN order by id desc) A ) WHERE RN <20; 下面这个效率很高 SELECT A.*, ROWNUM RN FROM (SELECT * FROM IPAY_RCD_
  • 【Scala七】Scala核心一：函数 bit1129 scala
    1. 如果函数体只有一行代码，则可以不用写{},比如 def print(x: Int) = println(x) 一行上的多条语句用分号隔开，则只有第一句属于方法体，例如   def printWithValue(x: Int) : String= println(x); "ABC"   上面的代码报错，因为，printWithValue的方法
  • 了解GHC的factorial编译过程 bookjovi haskell
    GHC相对其他主流语言的编译器或解释器还是比较复杂的，一部分原因是haskell本身的设计就不易于实现compiler，如lazy特性，static typed，类型推导等。 关于GHC的内部实现有篇文章说的挺好，这里，文中在RTS一节中详细说了haskell的concurrent实现，里面提到了green thread，如果熟悉Go语言的话就会发现，ghc的concurrent实现和Go有点类
  • Java-Collections Framework学习与总结-LinkedHashMap BrokenDreams LinkedHashMap
            前面总结了java.util.HashMap，了解了其内部由散列表实现，每个桶内是一个单向链表。那有没有双向链表的实现呢？双向链表的实现会具备什么特性呢？来看一下HashMap的一个子类——java.util.LinkedHashMap。       
  • 读《研磨设计模式》-代码笔记-抽象工厂模式-Abstract Factory bylijinnan abstract
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ package design.pattern; /* * Abstract Factory Pattern * 抽象工厂模式的目的是： * 通过在抽象工厂里面定义一组产品接口，方便地切换“产品簇” * 这些接口是相关或者相依赖的
  • 压暗面部高光 cherishLC PS
    方法一、压暗高光&重新着色 当皮肤很油又使用闪光灯时，很容易在面部形成高光区域。 下面讲一下我今天处理高光区域的心得： 皮肤可以分为纹理和色彩两个属性。其中纹理主要由亮度通道（Lab模式的L通道）决定，色彩则由a、b通道确定。 处理思路为在保持高光区域纹理的情况下，对高光区域着色。具体步骤为：降低高光区域的整体的亮度，再进行着色。 如果想简化步骤，可以只进行着色（参看下面的步骤1
  • Java VisualVM监控远程JVM crabdave visualvm
    Java VisualVM监控远程JVM    JDK1.6开始自带的VisualVM就是不错的监控工具. 这个工具就在JAVA_HOME\bin\目录下的jvisualvm.exe, 双击这个文件就能看到界面   通过JMX连接远程机器, 需要经过下面的配置: 1. 修改远程机器JDK配置文件 (我这里远程机器是linux).    
  • Saiku去掉登录模块 daizj saiku登录olapBI
    1、修改applicationContext-saiku-webapp.xml <security:intercept-url pattern="/rest/**" access="IS_AUTHENTICATED_ANONYMOUSLY" />  <security:intercept-url pattern=&qu
  • 浅析 Flex中的Focus dsjt htmlFlexFlash
    关键字：focus、 setFocus、 IFocusManager、KeyboardEvent 焦点、设置焦点、获得焦点、键盘事件 一、无焦点的困扰——组件监听不到键盘事件 原因：只有获得焦点的组件（确切说是InteractiveObject）才能监听到键盘事件的目标阶段；键盘事件（flash.events.KeyboardEvent）参与冒泡阶段，所以焦点组件的父项（以及它爸
  • Yii全局函数使用 dcj3sjt126com yii
    由于YII致力于完美的整合第三方库，它并没有定义任何全局函数。yii中的每一个应用都需要全类别和对象范围。例如，Yii::app()->user;Yii::app()->params['name'];等等。我们可以自行设定全局函数，使得代码看起来更加简洁易用。(原文地址) 我们可以保存在globals.php在protected目录下。然后，在入口脚本index.php的，我们包括在
  • 设计模式之单例模式二（解决无序写入的问题） come_for_dream 单例模式volatile乱序执行双重检验锁
                    在上篇文章中我们使用了双重检验锁的方式避免懒汉式单例模式下由于多线程造成的实例被多次创建的问题，但是因为由于JVM为了使得处理器内部的运算单元能充分利用，处理器可能会对输入代码进行乱序执行（Out Of Order Execute）优化，处理器会在计算之后将乱序执行的结果进行重组，保证该
  • 程序员从初级到高级的蜕变 gcq511120594 框架工作PHPandroidhtml5
    软件开发是一个奇怪的行业，市场远远供不应求。这是一个已经存在多年的问题，而且随着时间的流逝，愈演愈烈。 我们严重缺乏能够满足需求的人才。这个行业相当年轻。大多数软件项目是失败的。几乎所有的项目都会超出预算。我们解决问题的最佳指导方针可以归结为——“用一些通用方法去解决问题，当然这些方法常常不管用，于是，唯一能做的就是不断地尝试，逐个看看是否奏效”。 现在我们把淫浸代码时间超过3年的开发人员称为
  • Reverse Linked List hcx2013 list
    Reverse a singly linked list.   /** * Definition for singly-linked list. * public class ListNode { * int val; * ListNode next; * ListNode(int x) { val = x; } * } */ p
  • Spring4.1新特性——数据库集成测试 jinnianshilongnian spring 4.1
    目录 Spring4.1新特性——综述 Spring4.1新特性——Spring核心部分及其他 Spring4.1新特性——Spring缓存框架增强 Spring4.1新特性——异步调用和事件机制的异常处理 Spring4.1新特性——数据库集成测试脚本初始化 Spring4.1新特性——Spring MVC增强 Spring4.1新特性——页面自动化测试框架Spring MVC T
  • C# Ajax上传图片同时生成微缩图(附Demo) liyonghui160com
        1.Ajax无刷新上传图片,详情请阅我的这篇文章。（jquery + c# ashx）         2.C#位图处理  System.Drawing。         3.最新demo支持IE7,IE8,Fir
  • Java list三种遍历方法性能比较 pda158 java
    从c/c++语言转向java开发，学习java语言list遍历的三种方法，顺便测试各种遍历方法的性能，测试方法为在ArrayList中插入1千万条记录，然后遍历ArrayList，发现了一个奇怪的现象，测试代码例如以下： package com.hisense.tiger.list; import java.util.ArrayList; import java.util.Iterator;
  • 300个涵盖IT各方面的免费资源（上）——商业与市场篇 shoothao seo商业与市场IT资源免费资源
    A.网站模板+logo+服务器主机+发票生成 HTML5 UP:响应式的HTML5和CSS3网站模板。 Bootswatch:免费的Bootstrap主题。 Templated:收集了845个免费的CSS和HTML5网站模板。 Wordpress.org|Wordpress.com:可免费创建你的新网站。 Strikingly:关注领域中免费无限的移动优
  • localStorage、sessionStorage uule localStorage
    W3School 例子   HTML5 提供了两种在客户端存储数据的新方法： localStorage - 没有时间限制的数据存储 sessionStorage - 针对一个 session 的数据存储   之前，这些都是由 cookie 完成的。但是 cookie 不适合大量数据的存储，因为它们由每个对服务器的请求来传递，这使得 cookie 速度很慢而且效率也不
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他