张乃晟

基于R和Python的极大似然估计的牛顿法实现

0.前言

1.理论基础

2.Cauchy分布的极大似然估计

2.1理论基础

2.2算法

2.2.1R语言实现

2.2.2Python语言实现

3.Gamma 分布的极大似然估计

3.1理论基础

3.2算法

3.2.1R语言实现

3.2.2Python语言实现

0.前言

最近在学习Theory and Method of Statistics（统计理论方法）,使用的教材是由Bradley Efron 、Trevor Hastie共同编写的Computer Age Statistical Inference: Algorithms, Evidence, and Data Science(《计算机时代的统计推断：算法、演化和数据科学》)。书中第四章讲述的Fisherian Inference and Maximum Likelihood Estimation（费雪推断和极大似然估计）,其中提到现实应用中极大似然估计并没有那么容易求解,比如Cauchy分布和Gamma分布。

如果极大似然估计方法没有显式解,可以考虑用数值计算的方法求解(如牛顿法);更进一步，如果二阶导不存在或Hessian矩阵非正定,可以使用拟牛顿法;再复杂一些,可以使用MM算法(EM是MM的特例) 。本文以牛顿法为例,给出求解 Cauchy分布、Gamma分布的极大似然估计参数的理论并使用R和Python实现。

1.理论基础

本节给出牛顿法求分布的极大似然参数估计的一般理论。

如果随机变量独立同分布于 $f(x|\theta)$ ,且已知一组样本 $X=\{x_1,...,x_n\}$ ,为了估计该分布的参数，可以使用极大似然估计的方法。

首先写出样本的似然函数

$L(\theta)=f(x_1,...,x_n|\theta)=\prod_{i=1}^{n}f(x_i|\theta)$

对 $L(\theta)$ 进行对数化处理,得到对数似然函数 $l(\theta)$

$l(\theta)=ln(L(\theta))=\sum_{i=1}^{n}ln(f(x_i,\theta))$

则求解未知参数 $\theta$ 等价于求解以下等式方程组

$\dot{l}(\hat{\theta})=\frac{\partial{l(\hat{\theta})}}{\partial{\hat{\theta}}}=\vec{0}$

不妨假设收敛解为 $\hat{\theta}$ ,将 $\dot{l}(\theta)$ 在 $\hat{\theta}$ 的邻域内展开成泰勒级数得

$\dot{l}(\theta)=\dot{l}(\hat{\theta})+\ddot{l}(\hat{\theta})(\theta-\hat{\theta})+o(||\theta-\hat{\theta}||_2^2)$

$\dot{l}(\theta)=\dot{l}(\hat{\theta})+\ddot{l}(\hat{\theta})(\theta-\hat{\theta}),\theta\rightarrow \hat{\theta}$

$\dot{l}(\hat{\theta})=0\Rightarrow \theta=\hat{\theta}-(\ddot{l}(\hat{\theta}))^-\dot{l}(\hat{\theta})$

这样就得到一个迭代关系式

$\hat{\theta}^{(k+1)}=\hat{\theta}^{(k)}-(\ddot{l}(\hat{\theta}^{(k)}))^-\dot{l}(\hat{\theta}^{(k)})$

如果是连续的，并且待求的零点是孤立的，那么在零点周围存在一个区域，只要初始值位于这个邻近区域内，那么牛顿法必定收敛。并且，如果不为0, 那么牛顿法将具有平方收敛的性能。粗略地说，这意味着每迭代一次，牛顿法结果的有效数字将增加一倍。

2.Cauchy分布的极大似然估计

如果随机变量服从柯西分布,记为 $x\sim{C(\gamma,\theta)}$ ,其中 $\gamma$ 为最大值一半处的一半宽度的尺度参数(scale parameter ), $\theta$ 为定义分布峰值位置的位置参数(location parameter )

$f(x|\gamma,\theta)=\frac{1}{\pi\gamma}\frac{1}{(1+(\frac{x-\theta}{\gamma})^2)}=\frac{1}{\pi}\frac{\gamma}{({x-\theta})^2+\gamma^2},x\in(-\infty,\infty)$

当 $\gamma=1,\theta=0$ ,此时的Cauchy 分布称为标准Cauchy 分布

$f(x|\gamma=1,\theta0)=\frac{1}{\pi}\frac{1}{(1+{x}^2)},x\in(-\infty,\infty)$

Cauchy 分布的最特别的性质是其期望及高阶矩都不存在,自然也就无法对参数进行矩估计。但Cauchy分布的cdf具有很好的性质,可以利用一组样本的分位点来对参数进行点估计。

$F(x|\gamma,\theta)=\int_{\theta}^{x}\frac{1}{\pi}\frac{\gamma}{({x-\theta})^2+\gamma^2}dx=\frac{1}{2}+\frac{1}{\pi}arctan(\frac{x-\theta}{\gamma}),x\in(-\infty,\infty)$

$\because F(\theta|\gamma,\theta)=\frac{1}{2}, F(\theta+\gamma|\gamma,\theta)=\frac{3}{4}$

$\therefore \hat{\theta}=X_{\frac{1}{2}},\hat{\theta}+\hat{\gamma}=X_{\frac{3}{4}}$

$\therefore \hat{\gamma}=X_{\frac{3}{4}}-X_{\frac{1}{2}},\hat{\theta}=X_{\frac{1}{2}}$

2.1理论基础

使用极大似然方法估计 $\lambda=\begin{pmatrix} \gamma\\ \theta \end{pmatrix}$ ,已知样本 $X=\{x_1,...,x_n\}$

$x_i \overset{i.i.d} {\sim}C(\gamma,\theta)$

$f(x|\gamma,\theta)=\frac{1}{\pi}\frac{\gamma}{({x-\theta})^2+\gamma^2},x\in(-\infty,\infty)$

$L(\lambda)=\prod_{i=1}^{n}\frac{1}{\pi}\frac{\gamma}{({x_i-\theta})^2+\gamma^2}$

$l(\lambda)=\sum_{i=1}^{n}ln(\frac{1}{\pi}\frac{\gamma}{({x_i-\theta})^2+\gamma^2})=-nln(\pi)+nln(\gamma)-\sum_{i=1}^{n}ln((x_i-\theta)^2+\gamma^2)$

$\dot{\l}(\lambda)=\bigl(\begin{smallmatrix} \frac{n}{\gamma}-\sum_{i=1}^{n}\frac{2\gamma}{(x_i-\theta)^2+\gamma^2}\\ \sum_{i=1}^{n}\frac{2(x_i-\theta)}{(x_i-\theta)^2+\gamma^2} \end{smallmatrix}\bigr)= \begin{pmatrix} 0\\0 \end{pmatrix}$

$\ddot{\l}(\lambda)=\begin{bmatrix} -\frac{n}{\gamma^2}-\sum_{i=1}^{n}\frac{2((x_i-\theta)^2-\gamma^2)}{((x_i-\theta)^2+\gamma^2)^2}&-\sum_{i=1}^{n}\frac{4\gamma(x_i-\theta)}{((x_i-\theta)^2+\gamma^2)^2} \\ -\sum_{i=1}^{n}\frac{4\gamma(x_i-\theta)}{((x_i-\theta)^2+\gamma^2)^2}&\sum_{i=1}^{n}\frac{2((x_i-\theta)^2-\gamma^2)}{((x_i-\theta)^2+\gamma^2)^2} \end{bmatrix}$

故迭代公式为

$\hat{\theta}^{(k+1)}=\hat{\theta}^{(k)}-(\ddot{l}(\hat{\theta}^{(k)}))^-\dot{l}(\hat{\theta}^{(k)})$

2.2算法

Step0:给定 $\hat{\theta}^{(0)}=\begin{pmatrix} quantile(X,0.75)-median(X)\\ median(X) \end{pmatrix}$ ,,停止精度 $\varepsilon=10^{-5}$

Step1:计算 $\dot{l}(\hat{\theta}^{(k)})$ ,如果

$||\dot{l}(\hat{\theta}^{(k)})||_2\leq \varepsilon$

则终止,否则进行下一步

Step2:计算 $\ddot{l}(\hat{\theta}^{(k)})$ ,令

$d^{(k)}=-\ddot{l}(\hat{\theta}^{(k)})^-\dot{l}(\hat{\theta}^{(k)})$

Step3:计算 $\hat{\theta}^{(k)}=\hat{\theta}^{(k)}+d^{(k)},k=k+1$ , 跳转Step1

2.2.1R语言实现

# 设立牛顿算法框架
Newtons = function(fun, x, theta,ep = 1e-5, it_max = 100){
  index = 0 ;k = 1
  while (k <= it_max){
    theta1 = theta
    obj = fun(x,theta)
    theta = theta - solve(obj$J,obj$f)
    norm = sqrt((theta - theta1) %*% (theta - theta1))
    if (norm < ep){
      index = 1; break
    }
    k = k + 1
  }
  obj = fun(x,theta)
  list(root = theta, it = k, index = index, FunVal = obj$f)
}
# 计算hessian矩阵和一阶导数
funs = function(x,theta){
  n = length(x)
  temp_1 = (x-theta[2])^2+theta[1]^2
  temp_2 = (x-theta[2])^2-theta[1]^2
  f = c(n/theta[1]-sum(2*theta[1]/temp_1), 
         sum((2*(x-theta[2]))/temp_1))
  J = matrix(c(-n/theta[1]^2-sum(2*temp_2/temp_1^2), -sum((4*theta[1]*(x-theta[2]))/temp_1^2),
                -sum((4*theta[1]*(x-theta[2]))/temp_1^2),sum(2*temp_2/temp_1^2)), nrow = 2, byrow = T)
  list(f = f, J = J)
}

# 抽取1000个样本
set.seed(80)
sample = rcauchy(1000,scale = 2,location = 2)

# 计算cauchy分布参数的分位数估计作为初始值
gamma_ = quantile(sample,0.75) - median(sample)
theta_ = median(sample)
theta = c(gamma_,theta_)

Newtons(funs,sample,theta)

2.2.2Python语言实现

import numpy as np
import scipy.stats as st

np.random.seed(12)
sample = st.cauchy.rvs(loc=1,scale = 1,size = 100) # scipy.stats.cauchy.rvs(loc=0, scale=1, size=1, random_state=None)
gamma_ = np.quantile(sample,0.75) - np.median(sample)
theta_ = np.median(sample)
theta = np.array([gamma_,theta_])

def Newtons(fun,x,theta,ep=1e-5,it_max = 100):
    index = 0
    k = 1
    while k <= it_max:
        theta1 = theta
        obj = fun(x,theta)
        theta = theta - np.dot(np.linalg.inv(obj[1]),obj[0])
        norm = np.sqrt(np.sum((theta - theta1)**2))
        if norm < ep:
            index = 1
            break
        k = k+1
    obj = fun(x,theta)
    print('gamma,theta估计值为%.3f,%.3f'%(theta[0],theta[1]))
def funs(x,theta):
    n = len(x)
    temp_1 = (x - theta[1]) ** 2 + theta[0] ** 2
    temp_2 = (x - theta[1]) ** 2 - theta[0] ** 2
    f = np.array([n/theta[0]-np.sum(2*theta[0]/temp_1),
                  np.sum((2*(x-theta[1]))/temp_1)])
    j = np.array([[-n/theta[0]**2-sum(2*temp_2/temp_1**2),-np.sum((4*theta[0]*(x-theta[1]))/temp_1**2)],
                  [-np.sum((4*theta[0]*(x-theta[1]))/temp_1**2),sum(2*temp_2/temp_1**2)]])
    return [f,j]

Newtons(funs,sample,theta)

3.Gamma 分布的极大似然估计

如果随机变量服从Gamma分布,记为 $x\sim{G(\alpha,\beta,\lambda)}$ ,其中 $\alpha$ 为形状参数(shape parameter),β 为尺度参数(scale parameter ),λ 为位置参数(location parameter)

$f(x|\alpha,\beta,\lambda)=\frac{1}{\beta^{\alpha}\Gamma(\alpha)}(x-\lambda)^{\alpha-1}e^{-\frac{x-\lambda}{\beta}},x\in(\lambda,\infty)$

为了给出Gamma分布三个参数的矩估计，现考虑分布的一二三阶原点矩(求解的技巧在于凑Gamma函数)

以一阶原点矩的证明为例，将x拆分为

$x=(x-\lambda)+\lambda$

故

$E(x)=\int_{\lambda}^{\infty}x\frac{1}{\beta^{\alpha}\Gamma(\alpha)}(x-\lambda)^{\alpha-1}e^{-\frac{x-\lambda}{\beta}}dx$

$=\frac{1}{\beta^{\alpha}\Gamma(\alpha)}\int_{\lambda}^{\infty}(x-\lambda+\lambda)(x-\lambda)^{\alpha-1}e^{-\frac{x-\lambda}{\beta}}dx$

$=\frac{1}{\beta^{\alpha}\Gamma(\alpha)}\int_{\lambda}^{\infty}(x-\lambda)^{\alpha}e^{-\frac{x-\lambda}{\beta}}+\lambda(x-\lambda)^{\alpha-1}e^{-\frac{x-\lambda}{\beta}} dx$

$=\frac{1}{\beta^{\alpha}\Gamma(\alpha)}\int_{\lambda}^{\infty}[\beta^{\alpha}(\frac{x-\lambda}{\beta})^{\alpha}e^{-\frac{x-\lambda}{\beta}}+\lambda(\frac{x-\lambda}{\beta})^{\alpha-1}e^{-\frac{x-\lambda}{\beta}}] d\frac{x-\lambda}{\beta}$

$=\frac{1}{\beta^{\alpha}\Gamma(\alpha)}\int_{0}^{\infty}[\beta^{\alpha}(t)^{\alpha}e^{-t}+\lambda(t)^{\alpha-1}e^{-t}] dt$

$=\frac{1}{\beta^{\alpha}\Gamma(\alpha)}(\beta^{\alpha+1}\Gamma(\alpha+1)+\beta^{\alpha}\lambda\Gamma(\alpha))$

$=\alpha\beta+\lambda$ ①

对于二阶三阶原点矩，分别将拆分为

$x^2=(x-\lambda)^2+2\lambda(x-\lambda)+\lambda^2$

$x^3=(x-\lambda)^3+3\lambda(x-\lambda)^2+3\lambda^2(x-\lambda)+\lambda^3$

易得

$E(x^2)=\alpha^2\beta^2+\alpha\beta^2+2\alpha\beta\lambda+\lambda^2$

$E(x^3)=\alpha^3\beta^3+3\alpha^2\beta^3+2\alpha\beta^3+3\alpha^2\beta^2\lambda+3\alpha\beta^2\lambda+3\alpha\beta\lambda^2+\lambda^3$

又

$Var(x)=E[(x-E(x))^2]=E(x^2)-E^2(x)=\alpha\beta^2$ ②

$m_3=E[(x-E(x))^3]=E(x^3)-3E(x^2)E(x)+2E^3(x)=2\alpha\beta^3$ ③

由①②③可得

$\therefore\hat{\alpha}=\frac{4(Var(x))^3}{m_3^2},\hat{\beta}=\frac{m_3}{2Var(x)},\hat{\lambda}=mean(x)-2\frac{(Var(x))^2}{m_3}$

3.1理论基础

已知样本 $X=\{x_1,...,x_n\}$ ,参数 $\theta=\begin{bmatrix} \alpha\\ \beta \\ \lambda \end{bmatrix}$

$f(x|\theta)=\frac{1}{\beta^{\alpha}\Gamma(\alpha)}(x-\lambda)^{\alpha-1}e^{-\frac{x-\lambda}{\beta}}$

$L(\theta)=\prod_{i=1}^{n}\frac{1}{\beta^{\alpha}\Gamma(\alpha)}(x_i-\lambda)^{\alpha-1}e^{-\frac{x_i-\lambda}{\beta}}$

$l(\theta)=-n\alpha ln(\beta)-n ln(\Gamma(\alpha))+(\alpha-1)\sum_{i=1}^{n}ln(x_i-\lambda)-\frac{1}{\beta}\sum_{i=1}^{n}(x_i-\lambda)$

$\dot{l}(\theta)=\begin{pmatrix} -n ln(\beta)-n\frac{\Gamma'(\alpha)}{\Gamma(\alpha)}+\sum_{i=1}^{n}ln(x_i-\lambda)\\ -n\frac{\alpha}{\beta}+\frac{1}{\beta^2}\sum_{i=1}^{n}(x_i-\lambda) \\ (\alpha-1)\sum_{i=1}^{n}\frac{-1}{x_i-\lambda}+\frac{n}{\beta} \end{pmatrix}=\begin{pmatrix} 0\\ 0 \\ 0 \end{pmatrix}$

$\ddot{l}(\theta)=\begin{pmatrix} -n(\frac{\Gamma'(\alpha)}{\Gamma(\alpha)})' &-\frac{n}{\beta} &\sum_{i=1}^{n}\frac{-1}{x_i-\lambda} \\ -\frac{n}{\beta} &n\frac{\alpha}{\beta^2} -\frac{2}{\beta^3}\sum_{i=1}^{n}(x_i-\lambda) &-\frac{n}{\beta^2} \\ \sum_{i=1}^{n}\frac{-1}{x_i-\lambda} & -\frac{n}{\beta^2} & (\alpha-1)\sum_{i=1}^{n}\frac{-1}{(x_i-\lambda)^2} \end{pmatrix}$

故迭代公式为

$\hat{\theta}^{(k+1)}=\hat{\theta}^{(k)}-(\ddot{l}(\hat{\theta}^{(k)}))^-\dot{l}(\hat{\theta}^{(k)})$

3.2算法

Step0:给定 $\hat{\theta}^{(0)}=\begin{pmatrix} \frac{4(Var(x))^3}{m_3^2}\\ \frac{m_3}{2Var(x)}\\mean(x)-2\frac{(Var(x))^2}{m_3} \end{pmatrix}$ ,,停止精度 $\varepsilon=10^{-5}$

Step1:计算 $\dot{l}(\hat{\theta}^{(k)})$ ,如果

$||\dot{l}(\hat{\theta}^{(k)})||_2\leq \varepsilon$

则终止,否则进行下一步

Step2:计算 $\ddot{l}(\hat{\theta}^{(k)})$ ,令

$d^{(k)}=-\ddot{l}(\hat{\theta}^{(k)})^-\dot{l}(\hat{\theta}^{(k)})$

Step3:计算 $\hat{\theta}^{(k)}=\hat{\theta}^{(k)}+d^{(k)},k=k+1$ , 跳转Step1

3.2.1R语言实现

# 设立牛顿算法框架
Newtons = function(fun, x, theta,ep = 1e-5, it_max = 100){
  index = 0; k = 1
  while (k <= it_max ){
    theta1 = theta; obj = fun(x,theta)
    theta = theta - solve(obj$J,obj$f)
    norm = sqrt((theta - theta1) %*% (theta - theta1))
    if (norm < ep){
      index = 1; break
    }
    k = k + 1
  }
  obj = fun(x,theta)
  list(root = theta, it = k, index = index, FunVal = obj$f)
}
# 计算hessian矩阵和一阶导数
funs = function(x,theta){
  n = length(x)
  f = c(-n*log(theta[2])-n*digamma(theta[1])+sum(log(x-theta[3])), 
         -n*theta[1]/theta[2]+1/(theta[2]^2)*sum(x-theta[3]),
         (theta[1]-1)*sum(-1/(x-theta[3]))+n/theta[2])
  J = matrix(c(-n*trigamma(theta[1]), -n/theta[2], sum(-1/(x-theta[3])),
                -n/theta[2],n*theta[1]/(theta[2]^2)-2/(theta[2]^3)*sum(x-theta[3]),-n/(theta[2]^2),
                sum(-1/(x-theta[3])),-n/(theta[2]^2),(theta[1]-1)*sum(-1/(x-theta[3])^2)), nrow = 3, byrow = T)
  list(f = f, J = J)
}

# 抽取随机gamma
set.seed(80)
sample = rgamma(100,2,)

# 计算gamma分布参数的矩估计作为初始值
s_m = mean(sample)
s_v = var(sample)
m_3 = (sum((sample-s_m)^3))/length(sample)
alpha = (4*(s_v)^3)/(m_3^2)
beta = m_3/(2*s_v)
lambda = s_m-2*((s_v)^2/m_3)
theta = c(alpha,beta,lambda)

Newtons(funs,sample,theta)

3.2.2Python语言实现

import numpy as np
import scipy.stats as st
import scipy.special as sp

np.random.seed(12)
sample = st.gamma.rvs(2,scale = 1,size = 50) # scipy.stats.gamma.rvs(a, loc=0, scale=1, size=1, random_state=None)
s_m = sample.mean()
s_v =sample.var()
m_3 = np.mean(((sample - s_m)**3))
alpha = (4*(s_v)**3)/(m_3**2)
beta = m_3/(2*s_v)
lambda_ = s_m-2*((s_v)**2/m_3)
theta = np.array([alpha,beta,lambda_])

def Newtons(fun,x,theta,ep=1e-5,it_max = 100):
    index = 0
    k = 1
    while k <= it_max:
        theta1 = theta
        obj = fun(x,theta)
        theta = theta - np.dot(np.linalg.inv(obj[1]),obj[0])
        norm = np.sqrt(np.sum((theta - theta1)**2))
        if norm < ep:
            index = 1
            break
        k = k+1
    obj = fun(x,theta)
    print('alpha,beta,lambda估计值为%.3f,%.3f,%.3f'%(theta[0],theta[1],theta[2]))
def funs(x,theta):
    n = len(x)
    f = np.array([-n*np.log(theta[1])-n*sp.digamma(theta[0])+np.sum(np.log(x-theta[2])),
                  -n*theta[0]/theta[1]+1/(theta[1]**2)*np.sum(x-theta[2]),
                  (theta[0]-1)*np.sum(-1.0/(x-theta[2]))+n/theta[1]])
    j = np.array([[-n*sp.polygamma(1,theta[0]),-n/theta[1],np.sum(-1/(x-theta[2]))],
                  [-n/theta[1],n*theta[0]/(theta[1]**2)-2/(theta[1]**3)*np.sum(x-theta[2]),-n/(theta[1]**2)],
                  [np.sum(-1/(x-theta[2])),-n/(theta[1]**2),(theta[0]-1)*np.sum(-1/(x-theta[2])**2)]])
    return [f,j]

Newtons(funs,sample,theta)

注意：对Gamma分布三参数的极大似然估计过程中,如果使用牛顿法,很容易出现矩阵不正定的情况从而无法得到正确解,这个时候可以使用拟牛顿法或者修正的牛顿法。

机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习 python
一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
理解Gunicorn：Python WSGI服务器的基石范范0825 ipython linux 运维
理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
Python数据分析与可视化实战指南 William数据分析 python python 数据
在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
python os.environ 江湖偌大 python 深度学习
os.environ['TF_CPP_MIN_LOG_LEVEL']='0'#默认值，输出所有信息os.environ['TF_CPP_MIN_LOG_LEVEL']='1'#屏蔽通知信息（INFO）os.environ['TF_CPP_MIN_LOG_LEVEL']='2'#屏蔽通知信息和警告信息（INFO\WARNING）os.environ['TF_CPP_MIN_LOG_LEVEL']='
Python中os.environ基本介绍及使用方法鹤冲天Pro #Python python 服务器开发语言
文章目录python中os.environos.environ简介os.environ进行环境变量的增删改查python中os.environ的使用详解1.简介2.key字段详解2.1常见key字段3.os.environ.get()用法4.环境变量的增删改查和判断是否存在4.1新增环境变量4.2更新环境变量4.3获取环境变量4.4删除环境变量4.5判断环境变量是否存在python中os.envi
Pyecharts数据可视化大屏：打造沉浸式数据分析体验我的运维人生信息可视化数据分析数据挖掘运维开发技术共享
Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
Goolge earth studio 进阶4——路径修改与平滑陟彼高冈yu Google earth studio 进阶教程旅游
如果我们希望在大约中途时获得更多的城市鸟瞰视角。可以将相机拖动到这里并创建一个新的关键帧。camera_target_clip_7EarthStudio会自动平滑我们的路径，所以当我们通过这个关键帧时，不是一个生硬的角度，而是一个平滑的曲线。camera_target_clip_8路径上有贝塞尔控制手柄，允许我们调整路径的形状。右键单击，我们可以选择“平滑路径”，这是默认的自动平滑算法，或者我们可
Python教程：一文了解使用Python处理XPath 旦莫 Python进阶 python 开发语言
目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
python os.environ_python os.environ 读取和设置环境变量 weixin_39605414 python os.environ
>>>importos>>>os.environ.keys()['LC_NUMERIC','GOPATH','GOROOT','GOBIN','LESSOPEN','SSH_CLIENT','LOGNAME','USER','HOME','LC_PAPER','PATH','DISPLAY','LANG','TERM','SHELL','J2REDIR','LC_MONETARY','QT_QPA
基于社交网络算法优化的二维最大熵图像分割智能算法研学社（Jack旭）智能优化算法应用图像分割算法 php 开发语言
智能优化算法应用：基于社交网络优化的二维最大熵图像阈值分割-附代码文章目录智能优化算法应用：基于社交网络优化的二维最大熵图像阈值分割-附代码1.前言2.二维最大熵阈值分割原理3.基于社交网络优化的多阈值分割4.算法结果：5.参考文献：6.Matlab代码摘要：本文介绍基于最大熵的图像分割，并且应用社交网络算法进行阈值寻优。1.前言阅读此文章前，请阅读《图像分割：直方图区域划分及信息统计介绍》htt
使用Faiss进行高效相似度搜索 llzwxh888 faiss python
在现代AI应用中，快速和高效的相似度搜索是至关重要的。Faiss（FacebookAISimilaritySearch）是一个专门用于快速相似度搜索和聚类的库，特别适用于高维向量。本文将介绍如何使用Faiss来进行相似度搜索，并结合Python代码演示其基本用法。什么是Faiss？Faiss是一个由FacebookAIResearch团队开发的开源库，主要用于高维向量的相似性搜索和聚类。Faiss
python是什么意思中文-在python中%是什么意思编程大乐趣
Python中%有两种：1、数值运算：%代表取模，返回除法的余数。如：>>>7%212、%操作符（字符串格式化，stringformatting），说明如下：%[(name)][flags][width].[precision]typecode(name)为命名flags可以有+，-，''或0。+表示右对齐。-表示左对齐。''为一个空格，表示在正数的左侧填充一个空格，从而与负数对齐。0表示使用0填
Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Python python 开发语言大数据数据分析数据挖掘
大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
python八股文面试题分享及解析(1) Shawn________ python
#1.'''a=1b=2不用中间变量交换a和b'''#1.a=1b=2a,b=b,aprint(a)print(b)结果：21#2.ll=[]foriinrange(3):ll.append({'num':i})print(11)结果:#[{'num':0},{'num':1},{'num':2}]#3.kk=[]a={'num':0}foriinrange(3):#0,12#可变类型，不仅仅改变
121. 买卖股票的最佳时机薄荷糖的味道_fb40
给定一个数组，它的第i个元素是一支给定股票第i天的价格。如果你最多只允许完成一笔交易（即买入和卖出一支股票），设计一个算法来计算你所能获取的最大利润。注意你不能在买入股票前卖出股票。示例1:输入:[7,1,5,3,6,4]输出:5解释:在第2天（股票价格=1）的时候买入，在第5天（股票价格=6）的时候卖出，最大利润=6-1=5。注意利润不能是7-1=6,因为卖出价格需要大于买入价格。示例2:输入:
每日算法&面试题，大厂特训二十八天——第二十天（树）肥学 ⚡算法题⚡面试题每日精进 java 算法数据结构
目录标题导读算法特训二十八天面试题点击直接资料领取导读肥友们为了更好的去帮助新同学适应算法和面试题，最近我们开始进行专项突击一步一步来。上一期我们完成了动态规划二十一天现在我们进行下一项对各类算法进行二十八天的一个小总结。还在等什么快来一起肥学进行二十八天挑战吧！！特别介绍小白练手专栏，适合刚入手的新人欢迎订阅编程小白进阶python有趣练手项目里面包括了像《机器人尬聊》《恶搞程序》这样的有趣文章
Python快速入门 —— 第三节：类与对象孤华暗香 Python快速入门 python 开发语言
第三节：类与对象目标：了解面向对象编程的基础概念，并学会如何定义类和创建对象。内容：类与对象：定义类：class关键字。类的构造函数：__init__()。类的属性和方法。对象的创建与使用。示例：classStudent:def__init__(self,name,age,major):self.name&#
pyecharts——绘制柱形图折线图 2224070247 信息可视化 python java 数据可视化
一、pyecharts概述自2013年6月百度EFE(ExcellentFrontEnd）数据可视化团队研发的ECharts1.0发布到GitHub网站以来，ECharts一直备受业界权威的关注并获得广泛好评，成为目前成熟且流行的数据可视化图表工具，被应用到诸多数据可视化的开发领域。Python作为数据分析领域最受欢迎的语言，也加入ECharts的使用行列，并研发出方便Python开发者使用的数据
回溯算法-重新安排行程 chirou_ 算法数据结构图论 c++图搜索
leetcode332.重新安排行程这题我还没自己ac过，只能现在凭着刚学完的热乎劲把我对题解的理解记下来。本题我认为对数据结构的考察比较多，用什么数据结构去存数据，去读取数据，都是很重要的。classSolution{private:unordered_map>targets;boolbacktracking(intticketNum,vector&result){//1.确定参数和返回值//2
Python 实现图片裁剪（附代码） | Python工具剑客阿良_ALiang
前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
【华为OD技术面试真题 - 技术面】- python八股文真题题库（4) 算法大师华为od 面试 python
华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选**1.Python中的`with`**用途和功能自动资源管理示例：文件操作上下文管理协议示例代码工作流程解析优点2.\_\_new\_\_和**\_\_init\_\_**区别__new____init__区别总结3.**切片（Slicing）操作**基本切片语法
python os 环境变量 CV矿工 python 开发语言 numpy
环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
Python爬虫解析工具之xpath使用详解 eqa11 python 爬虫开发语言
文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
Faiss：高效相似性搜索与聚类的利器网络·魚大数据 faiss
Faiss是一个针对大规模向量集合的相似性搜索库，由FacebookAIResearch开发。它提供了一系列高效的算法和数据结构，用于加速向量之间的相似性搜索，特别是在大规模数据集上。本文将介绍Faiss的原理、核心功能以及如何在实际项目中使用它。Faiss原理：近似最近邻搜索：Faiss的核心功能之一是近似最近邻搜索，它能够高效地在大规模数据集中找到与给定查询向量最相似的向量。这种搜索是近似的，
【华为OD技术面试真题 - 技术面】- python八股文真题题库（1）算法大师华为od 面试 python
华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.数据预处理流程数据预处理的主要步骤工具和库2.介绍线性回归、逻辑回归模型线性回归（LinearRegression）模型形式：关键点：逻辑回归（LogisticRegression）模型形式：关键点：参数估计与评估：3.python浅拷贝及深拷贝浅拷贝（Shal
nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
《Python数据分析实战终极指南》 xjt921122 python 数据分析开发语言
对于分析师来说，大家在学习Python数据分析的路上，多多少少都遇到过很多大坑**，有关于技能和思维的**：Excel已经没办法处理现有的数据量了，应该学Python吗？找了一大堆Python和Pandas的资料来学习，为什么自己动手就懵了？跟着比赛类公开数据分析案例练了很久，为什么当自己面对数据需求还是只会数据处理而没有分析思路？学了对比、细分、聚类分析，也会用PEST、波特五力这类分析法，为啥
insert into select 主键自增_mybatis拦截器实现主键自动生成 weixin_39521651 insert into select 主键自增 mybatis delete返回值 mybatis insert返回主键 mybatis insert返回对象 mybatis plus insert返回主键 mybatis plus 插入生成id
前言前阵子和朋友聊天，他说他们项目有个需求，要实现主键自动生成，不想每次新增的时候，都手动设置主键。于是我就问他，那你们数据库表设置主键自动递增不就得了。他的回答是他们项目目前的id都是采用雪花算法来生成，因此为了项目稳定性，不会切换id的生成方式。朋友问我有没有什么实现思路，他们公司的orm框架是mybatis，我就建议他说，不然让你老大把mybatis切换成mybatis-plus。mybat
Python中深拷贝与浅拷贝的区别 yuxiaoyu.
转自：http://blog.csdn.net/u014745194/article/details/70271868定义：在Python中对象的赋值其实就是对象的引用。当创建一个对象，把它赋值给另一个变量的时候，python并没有拷贝这个对象，只是拷贝了这个对象的引用而已。浅拷贝：拷贝了最外围的对象本身，内部的元素都只是拷贝了一个引用而已。也就是，把对象复制一遍，但是该对象中引用的其他对象我不复
k均值聚类算法考试例题_k均值算法(k均值聚类算法计算题) 寻找你83497 k均值聚类算法考试例题
?算法：第一步：选K个初始聚类中心，z1(1),z2(1)，…，zK(1)，其中括号内的序号为寻找聚类中心的迭代运算的次序号。聚类中心的向量值可任意设定，例如可选开始的K个.k均值聚类：---------一种硬聚类算法，隶属度只有两个取值0或1，提出的基本根据是“类内误差平方和最小化”准则；模糊的c均值聚类算法：--------一种模糊聚类算法，是.K均值聚类算法是先随机选取K个对象作为初始的聚类
矩阵求逆（JAVA）初等行变换 qiuwanchi 矩阵求逆（JAVA）
package gaodai.matrix; import gaodai.determinant.DeterminantCalculation; import java.util.ArrayList; import java.util.List; import java.util.Scanner; /** * 矩阵求逆(初等行变换) * @author 邱万迟 *
JDK timer antlove java jdk schedule code timer
1.java.util.Timer.schedule(TimerTask task, long delay)：多长时间（毫秒）后执行任务 2.java.util.Timer.schedule(TimerTask task, Date time)：设定某个时间执行任务 3.java.util.Timer.schedule(TimerTask task, long delay,longperiod
JVM调优总结 -Xms -Xmx -Xmn -Xss coder_xpf jvm 应用服务器
堆大小设置JVM 中最大堆大小有三方面限制：相关操作系统的数据模型（32-bt还是64-bit）限制；系统的可用虚拟内存限制；系统的可用物理内存限制。32位系统下，一般限制在1.5G~2G；64为操作系统对内存无限制。我在Windows Server 2003 系统，3.5G物理内存，JDK5.0下测试，最大可设置为1478m。典型设置： java -Xmx
JDBC连接数据库 Array_06 jdbc
package Util; import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import java.sql.SQLException; import java.sql.Statement; public class JDBCUtil { //完
Unsupported major.minor version 51.0（jdk版本错误） oloz java
java.lang.UnsupportedClassVersionError: cn/support/cache/CacheType : Unsupported major.minor version 51.0 (unable to load class cn.support.cache.CacheType) at org.apache.catalina.loader.WebappClassL
用多个线程处理1个List集合 362217990 多线程 thread list 集合
昨天发了一个提问，启动5个线程将一个List中的内容，然后将5个线程的内容拼接起来，由于时间比较急迫，自己就写了一个Demo，希望对菜鸟有参考意义。。 import java.util.ArrayList; import java.util.List; import java.util.concurrent.CountDownLatch; public c
JSP简单访问数据库香水浓 sql mysql jsp
学习使用javaBean，代码很烂，仅为留个脚印 public class DBHelper { private String driverName; private String url; private String user; private String password; private Connection connection; privat
Flex4中使用组件添加柱状图、饼状图等图表 AdyZhang Flex
1.添加一个最简单的柱状图 ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 <?xml version= "1.0"&n
Android 5.0 - ProgressBar 进度条无法展示到按钮的前面 aijuans android
在低于SDK < 21 的版本中，ProgressBar 可以展示到按钮前面，并且为之在按钮的中间，但是切换到android 5.0后进度条ProgressBar 展示顺序变化了，按钮再前面，ProgressBar 在后面了我的xml配置文件如下： [html] view plain copy <RelativeLa
查询汇总的sql baalwolf sql
select list.listname, list.createtime,listcount from dream_list as list , (select listid,count(listid) as listcount from dream_list_user group by listid order by count(
Linux du命令和df命令区别 BigBird2012 linux
1，两者区别 du，disk usage,是通过搜索文件来计算每个文件的大小然后累加，du能看到的文件只是一些当前存在的，没有被删除的。他计算的大小就是当前他认为存在的所有文件大小的累加和。
AngularJS中的$apply，用还是不用？ bijian1013 JavaScript AngularJS $apply
在AngularJS开发中，何时应该调用$scope.$apply()，何时不应该调用。下面我们透彻地解释这个问题。但是首先，让我们把$apply转换成一种简化的形式。 scope.$apply就像一个懒惰的工人。它需要按照命
[Zookeeper学习笔记十]Zookeeper源代码分析之ClientCnxn数据序列化和反序列化 bit1129 zookeeper
ClientCnxn是Zookeeper客户端和Zookeeper服务器端进行通信和事件通知处理的主要类，它内部包含两个类，1. SendThread 2. EventThread， SendThread负责客户端和服务器端的数据通信，也包括事件信息的传输，EventThread主要在客户端回调注册的Watchers进行通知处理 ClientCnxn构造方法 &
【Java命令一】jmap bit1129 Java命令
jmap命令的用法： [hadoop@hadoop sbin]$ jmap Usage: jmap [option] <pid> (to connect to running process) jmap [option] <executable <core> (to connect to a
Apache 服务器安全防护及实战 ronin47
此文转自IBM. Apache 服务简介 Web 服务器也称为 WWW 服务器或 HTTP 服务器 (HTTP Server)，它是 Internet 上最常见也是使用最频繁的服务器之一，Web 服务器能够为用户提供网页浏览、论坛访问等等服务。由于用户在通过 Web 浏览器访问信息资源的过程中，无须再关心一些技术性的细节，而且界面非常友好，因而 Web 在 Internet 上一推出就得到
unity 3d实例化位置出现布置？ brotherlamp unity教程 unity unity资料 unity视频 unity自学
问：unity 3d实例化位置出现布置？答：实例化的同时就可以指定被实例化的物体的位置,即 position Instantiate (original : Object, position : Vector3, rotation : Quaternion) : Object 这样你不需要再用Transform.Position了, 如果你省略了第二个参数(
《重构，改善现有代码的设计》第八章 Duplicate Observed Data bylijinnan java 重构
import java.awt.Color; import java.awt.Container; import java.awt.FlowLayout; import java.awt.Label; import java.awt.TextField; import java.awt.event.FocusAdapter; import java.awt.event.FocusE
struts2更改struts.xml配置目录 chiangfai struts.xml
struts2默认是读取classes目录下的配置文件，要更改配置文件目录，比如放在WEB-INF下，路径应该写成../struts.xml(非/WEB-INF/struts.xml) web.xml文件修改如下： <filter> <filter-name>struts2</filter-name> <filter-class&g
redis做缓存时的一点优化 chenchao051 redis hadoop pipeline
最近集群上有个job，其中需要短时间内频繁访问缓存，大概7亿多次。我这边的缓存是使用redis来做的，问题就来了。首先，redis中存的是普通kv，没有考虑使用hash等解结构，那么以为着这个job需要访问7亿多次redis，导致效率低，且出现很多redi
mysql导出数据不输出标题行 daizj mysql 数据导出去掉第一行去掉标题
当想使用数据库中的某些数据，想将其导入到文件中，而想去掉第一行的标题是可以加上-N参数如通过下面命令导出数据： mysql -uuserName -ppasswd -hhost -Pport -Ddatabase -e " select * from tableName" > exportResult.txt 结果为： studentid
phpexcel导出excel表简单入门示例 dcj3sjt126com PHP Excel phpexcel
先下载PHPEXCEL类文件，放在class目录下面，然后新建一个index.php文件，内容如下 <?php error_reporting(E_ALL); ini_set('display_errors', TRUE); ini_set('display_startup_errors', TRUE); if (PHP_SAPI == 'cli') die('
爱情格言 dcj3sjt126com 格言
1) I love you not because of who you are, but because of who I am when I am with you. 　　我爱你，不是因为你是一个怎样的人，而是因为我喜欢与你在一起时的感觉。 　　2) No man or woman is worth your tears, and the one who is, won‘t
转 Activity 详解——Activity文档翻译 e200702084 android UI sqlite 配置管理网络应用
activity 展现在用户面前的经常是全屏窗口，你也可以将 activity 作为浮动窗口来使用（使用设置了 windowIsFloating 的主题），或者嵌入到其他的 activity （使用 ActivityGroup ）中。当用户离开 activity 时你可以在 onPause() 进行相应的操作。更重要的是，用户做的任何改变都应该在该点上提交 ( 经常提交到 ContentPro
win7安装MongoDB服务 geeksun mongodb
1. 下载MongoDB的windows版本：mongodb-win32-x86_64-2008plus-ssl-3.0.4.zip，Linux版本也在这里下载，下载地址： http://www.mongodb.org/downloads 2. 解压MongoDB在D:\server\mongodb, 在D:\server\mongodb下创建d
Javascript魔法方法:__defineGetter__,__defineSetter__ hongtoushizi js
转载自： http://www.blackglory.me/javascript-magic-method-definegetter-definesetter/ 在javascript的类中,可以用defineGetter和defineSetter_控制成员变量的Get和Set行为例如,在一个图书类中,我们自动为Book加上书名符号: function Book(name){
错误的日期格式可能导致走nginx proxy cache时不能进行304响应 jinnianshilongnian cache
昨天在整合某些系统的nginx配置时，出现了当使用nginx cache时无法返回304响应的情况，出问题的响应头： Content-Type:text/html; charset=gb2312 Date:Mon, 05 Jan 2015 01:58:05 GMT Expires:Mon , 05 Jan 15 02:03:00 GMT Last-Modified:Mon, 05
数据源架构模式之行数据入口 home198979 PHP 架构行数据入口
注：看不懂的请勿踩，此文章非针对java，java爱好者可直接略过。一、概念行数据入口（Row Data Gateway）：充当数据源中单条记录入口的对象，每行一个实例。二、简单实现行数据入口为了方便理解，还是先简单实现： <?php /** * 行数据入口类 */ class OrderGateway { /*定义元数
Linux各个目录的作用及内容 pda158 linux 脚本
1）根目录“/” 　　根目录位于目录结构的最顶层，用斜线（/）表示，类似于 Windows 操作系统的“C:\“，包含Fedora操作系统中所有的目录和文件。　　2）/bin 　　/bin 　　目录又称为二进制目录，包含了那些供系统管理员和普通用户使用的重要 linux命令的二进制映像。该目录存放的内容包括各种可执行文件，还有某些可执行文件的符号连接。常用的命令有：cp、d
ubuntu12.04上编译openjdk7 ol_beta HotSpot jvm jdk OpenJDK
获取源码从openjdk代码仓库获取(比较慢) 安装mercurial Mercurial是一个版本管理工具。 sudo apt-get install mercurial 将以下内容添加到$HOME/.hgrc文件中，如果没有则自己创建一个： [extensions] forest=/home/lichengwu/hgforest-crew/forest.py fe
将数据库字段转换成设计文档所需的字段 vipbooks 设计模式工作正则表达式
哈哈，出差这么久终于回来了，回家的感觉真好！ PowerDesigner的物理数据库一出来，设计文档中要改的字段就多得不计其数，如果要把PowerDesigner中的字段一个个Copy到设计文档中，那将会是一件非常痛苦的事情。

基于R和Python的极大似然估计的牛顿法实现

0.前言

1.理论基础

2.Cauchy分布的极大似然估计

2.1理论基础

2.2算法

2.2.1R语言实现

2.2.2Python语言实现

3.Gamma 分布的极大似然估计

3.1理论基础

3.2算法

3.2.1R语言实现

3.2.2Python语言实现

你可能感兴趣的:(python,概率论,算法)