chenlouzhen1603
chenlouzhen1603

Hue安装部署

1 Hue简介

1.1 Hue介绍

Hue是一个开源的Apache Hadoop UI系统，最早是由Cloudera Desktop演化而来，由Cloudera贡献给开源社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据。

1.2 功能和特性集合

Ø 默认基于轻量级sqlite数据库管理会话数据，用户认证和授权，可以自定义为MySQL、Postgresql，以及Oracle

Ø 基于文件浏览器（File Browser）访问HDFS

Ø 基于Hive编辑器来开发和运行Hive查询

Ø 支持基于Solr进行搜索的应用，并提供可视化的数据视图，以及仪表板（Dashboard）

Ø 支持基于Impala的应用进行交互式查询

Ø 支持Spark编辑器和仪表板（Dashboard）

Ø 支持Pig编辑器，并能够提交脚本任务

Ø 支持Oozie编辑器，可以通过仪表板提交和监控Workflow、Coordinator和Bundle

Ø 支持HBase浏览器，能够可视化数据、查询数据、修改HBase表

Ø 支持Metastore浏览器，可以访问Hive的元数据，以及HCatalog

Ø 支持Job浏览器，能够访问MapReduce Job（MR1/MR2-YARN）

Ø 支持Job设计器，能够创建MapReduce/Streaming/Java Job

Ø 支持Sqoop 2编辑器和仪表板（Dashboard）

Ø 支持ZooKeeper浏览器和编辑器

Ø 支持MySql、PostGresql、Sqlite和Oracle数据库查询编辑器

1.3 Hadoop集群服务分布图

1.3.1 ZOOKEEPER&HDFS

服务器

ZOOKEEPER

HDFS

IP地址

主机名

zookeeper

journalnode

namenode

zkfc

datanode

192.168.1.201

hadoop001

√

√

√

√

　

192.168.1.202

hadoop002

√

√

 

 

√

192.168.1.203

hadoop003

√

√

√

√

 

192.168.1.204

hadoop004

　

　

　

　

√

192.168.1.205

hadoop005

　

　

　

　

√

192.168.1.206

hadoop006

　

　

　

　

√

192.168.1.207

Hue

　

　

　

　

 

 

1.3.2 YARN

服务器

YARN

IP地址

主机名

resourcemanager

nodemanager

timeline

JobHistory

192.168.1.201

hadoop001

√

　

　√

√

192.168.1.202

hadoop002

  

√

　

　

192.168.1.203

hadoop003

√

  

　

　

192.168.1.204

hadoop004

　

√

　

　

192.168.1.205

hadoop005

　

√

　

　

192.168.1.206

hadoop006

　

√

　

　

192.168.1.207

hue

　

  

　

　

 

1.3.3 HIVE&MYSQL

服务器

HIVE

MYSQL

IP地址

主机名

metastore

hiveserver2

mariadb

192.168.1.201

hadoop001

√

√

√(主)

192.168.1.202

hadoop002

  

  

  

192.168.1.203

hadoop003

　

　

　√(备)

192.168.1.204

hadoop004

　

　

　

192.168.1.205

hadoop005

　

　

　

192.168.1.206

hadoop006

　

　

　

192.168.1.207

hue

　

　

　

　 　

1.3.4 HBASE

服务器

HBASE

IP地址

主机名

master

regionserver

192.168.1.201

hadoop001

√

　

192.168.1.202

hadoop002

 

√

192.168.1.203

hadoop003

√

 

192.168.1.204

hadoop004

　

√

192.168.1.205

hadoop005

　

√

192.168.1.206

hadoop006

　

√

192.168.1.207

hue

　

 

 

1.4 Hue部署情况

192.168.1.207

组件

完成情况

HIVE

  √

HBASE

√

SPARKSQL

  √

HDFS

√

ZOOKEEPER

  √

DBQuery

  

Impala

  

HDFS

  

Job Browser

  √

Ooize

  

Pig

  

Notebook

  √

 

2 环境及依赖

2.1 操作系统

Description: CentOS Linux release 7.2.1511 (Core)

Release: 7.2.1511

2.2 配置局域网YUM源

根据实际需要配置局域网YUM源。

【参考配置】如下

===============================================================================

在/etc/yum.repos.d目录下创建local-yum.repo文件

[root@hue~]# mkdir /etc/yum.repos.d/local-yum.repo

该文件的内容如下：

[local_yum]

name=local_yum

baseurl=ftp://192.168.8.211/vg0_lv1/Packages/

enabled=1

gpgcheck=0

##enabled=1  查看是否已经创建成功,yum list显示存在lan的包则成功

## /etc/yum.repos.d/目录下可能会有系统自带的yum文件，需要先删掉才能识别自己创建的yum文件，记得删除前需备份。

 

接下来删除/etc/yum.repos.d目录下除local-yum.repo外的所有文件

[root@hue yum.repos.d]# ll

total 28

-rw-r--r--  1 root root   71 Aug 17 14:32 centos_211.repo

-rw-r--r--. 1 root root 1991 Oct 23  2014 CentOS-Base.repo

-rw-r--r--. 1 root root  647 Oct 23  2014 CentOS-Debuginfo.repo

-rw-r--r--. 1 root root  289 Oct 23  2014 CentOS-fasttrack.repo

-rw-r--r--. 1 root root  630 Oct 23  2014 CentOS-Media.repo

-rw-r--r--. 1 root root 5394 Oct 23  2014 CentOS-Vault.repo

[root@hue yum.repos.d]# rm -rf CentOS-*

[root@hue yum.repos.d]# ll

 

配完local-yum.repo文件后执行下面语句查看yum源是否配置成。

yum clean all

yum makecache

yum list |wc -l   ##执行后显示yum数目，这里显示的就是6353

6353           ##不同的yum配置 数目会有所不一样

2.3 防火墙

关闭防火墙

[root@hue~]# systemctl stop firewalld

[root@hue~]# systemctl disable firewalld

2.4 官方依赖

centos：

Ÿ Oracle's JDK

Ÿ ant

Ÿ asciidoc

Ÿ cyrus-sasl-devel

Ÿ cyrus-sasl-gssapi

Ÿ cyrus-sasl-plain

Ÿ gcc

Ÿ gcc-c++

Ÿ krb5-devel

Ÿ libffi-devel

Ÿ libtidy (for unit tests only)

Ÿ libxml2-devel

Ÿ libxslt-devel

Ÿ make

Ÿ mvn (from apache-maven package or maven3 tarball)

Ÿ mysql

Ÿ mysql-devel

Ÿ openldap-devel

Ÿ python-devel

Ÿ sqlite-devel

Ÿ openssl-devel (for version 7+)

Ÿ gmp-devel

2.5 添加用户

Ø 添加用户：

[root@hue~]#useradd hadoop

Ø 设置密码：

[root@hue~]#passwd hadoop

并输入两次以设置密码

3 安装部署

3.1 集群

Ø hadoop001~006上安装hadoop集群。参考《省份大数据平台部署运维规范(贵州模版)》。

3.2 beh软件包

Ø 将hadoop集群任意节点中的beh软件包scp到hue主机上预留一份

3.3 安装依赖

Ø 在hue主机上安装依赖

[root@hue~]# yum -y install asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++  krb5-devel libffi-devel libtidy libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel openssl-devel gmp-devel

特别检查asciidoc、libffi-devel是否正确安装，若无yum源，请自行下载安装。

3.3.1 JDK

[root@hue~]# vi /etc/profile

export JAVA_HOME=/opt/beh/core/jdk

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

[root@hue~]# source /etc/profile

[root@hue~]# java –version

3.3.2 ant

Ø 下载解压

[root@hue~]# wget http://mirror.bit.edu.cn/apache/ant/binaries/apache-ant-1.9.7-bin.tar.gz

[root@hue~]# tar -zxvf apache-ant-1.9.7-bin.tar.gz –C /usr/local

Ø 切到local目录

[root@hue local]# mv apache-ant-1.9.7 ant

[root@hue local]# vi /etc/profile

export ANT_HOME=/usr/local/ant

export PATH=$ANT_HOME/bin:$PATH

[root@hue local]# source /etc/profile

[root@hue local]# ant –v

3.3.3 mvn

Ø 下载解压

[root@hue~]# wget http://mirror.bit.edu.cn/apache/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz

[root@hue~]# tar -zxvf apache-maven-3.3.9-bin.tar.gz –C /usr/local

Ø 切到local目录

[root@hue local]# mv apache-maven-3.3.9 maven

[root@hue local]# vi /etc/profile

export M2_HOME=/usr/local/maven

export PATH=$M2_HOME/bin:$PATH

[root@hue local]# source /etc/profile

[root@hue local]# mvn –v

3.3.4 更新pytz

[root@hue~]# easy_install --upgrade pytz

3.3.5 更新cffi

[root@hue~]# easy_install --upgrade cffi

3.4 编译安装

3.4.1 安装

Ø 下载并上传

http://gethue.com/category/release/ download最新版本hue，当前最新hue-3-10

Ø 解压到hue家目录中并重命名文件夹

[root@hue~]# tar -zxvf hue-3.10.0.tgz –C /home/hue/

[root@hue~]# cd /home/hue

[root@hue hue]# mv hue-3.10.0 hue

3.4.2 编译

[root@hue hue]# cd hue

[root@hue hue]# make apps

3.4.3 测试

[root@hue hue]# build/env/bin/hue runserver

可在http://localhost:8000 web页面看到hue的登录界面

 

3.4.4 常见问题

编译出错，缺少依赖，安装pip，缺什么依赖通过pip install xxxx进行安装，然后执行make clean后再次编译。

time out，与目标服务器的连接不稳定，执行make clean后再次编译。

3.4.5 权限

[root@hue hue]# chown –R hadoop:hadoop hue/

4 配置

4.1 配置各组件及所需服务开启

默认配置文件:$HUE_HOME/desktop/conf/hue.ini

bin目录:$HUE_HOME/build/env/bin/

4.1.1 webserver listens

  http_host=192.168.1.207

  http_port=8000

4.1.2 修改hadoop用户权限

  # Webserver runs as this user

   server_user=hadoop

   server_group=hadoop

 

  # This should be the Hue admin and proxy user

   default_user=hue

 

  # This should be the hadoop cluster admin

   default_hdfs_superuser=hadoop

4.1.3 使用mysql数据库

4.1.3.1 修改配置文件

# Note for MariaDB use the 'mysql' engine.

     engine=mysql

     host=hadoop001

     port=3306

     user=hue

     password=hue

    # Execute this script to produce the database password. This will be used when `password` is not set.

    ## password_script=/path/script

     name=hue

4.1.3.2 创建hue相关mysql数据

[hadoop@hadoop001 ~]$ mysql –u root –p

Ø 执行创建数据库、创建用户并授权操作

create database hue;

grant all on hue.* to 'hue'@'%' identified by 'hue';

grant all on hue.* to 'hue'@'localhost' identified by 'hue';

grant all on hue.* to 'hue'@'hadoop001' identified by 'hue';

4.1.3.3 同步初始化数据

[hadoop@hue home]$ hue/hue/build/env/bin/hue syncdb

[hadoop@hue home]$ hue/hue/build/env/bin/hue migrate

 

4.1.4 HDFS

配置HDFS用于支持其他功能的使用。

需要将hdfs-site.xml中webhdfs权限开启，并重启服务

   dfs.webhdfs.enabled

   true

然后修改hue的配置文件

[[[default]]]

      # Enter the filesystem uri

      fs_defaultfs=hdfs://beh

 

      # NameNode logical name.

      ## logical_name=

 

      # Use WebHdfs/HttpFs as the communication mechanism.

      # Domain should be the NameNode or HttpFs host.

      # Default port is 14000 for HttpFs.

       webhdfs_url=http://192.168.1.201:50070/webhdfs/v1

 

      # Change this if your HDFS cluster is Kerberos-secured

       security_enabled=true

hadoop_conf_dir=$HADOOP_CONF_DIR when set or '/opt/beh/core/hadoop/etc/hadoop/conf'

4.1.5 YARN

[[yarn_clusters]]

 

      # Enter the host on which you are running the ResourceManager

       resourcemanager_host=192.168.1.201

 

      # The port where the ResourceManager IPC listens on

       resourcemanager_port=23140

 

      # Whether to submit jobs to this cluster

      submit_to=True

 

      # Resource Manager logical name (required for HA)

      ## logical_name=

 

      # Change this if your YARN cluster is Kerberos-secured

      ## security_enabled=false

 

      # URL of the ResourceManager API

      resourcemanager_api_url=http://hadoop001:23188

 

      # URL of the ProxyServer API

      proxy_api_url=http://hadoop001:8088

 

      # URL of the HistoryServer API

       history_server_api_url=http://hadoop001:19888

 

      # URL of the Spark History Server

      spark_history_server_url=http://hadoop001:18088

 

      # In secure mode (HTTPS), if SSL certificates from YARN Rest APIs

      # have to be verified against certificate authority

      ## ssl_cert_ca_verify=True

[[yarn_clusters]]

 

      # Enter the host on which you are running the ResourceManager

       resourcemanager_host=192.168.1.201

 

      # The port where the ResourceManager IPC listens on

       resourcemanager_port=23140

 

      # Whether to submit jobs to this cluster

      submit_to=True

 

      # Resource Manager logical name (required for HA)

      ## logical_name=

 

      # Change this if your YARN cluster is Kerberos-secured

      ## security_enabled=false

 

      # URL of the ResourceManager API

      resourcemanager_api_url=http://hadoop001:23188

 

      # URL of the ProxyServer API

      proxy_api_url=http://hadoop001:8088

 

      # URL of the HistoryServer API

       history_server_api_url=http://hadoop001:19888

 

      # URL of the Spark History Server

      spark_history_server_url=http://hadoop001:18088

 

      # In secure mode (HTTPS), if SSL certificates from YARN Rest APIs

      # have to be verified against certificate authority

      ## ssl_cert_ca_verify=True

4.1.6 HA

# HA support by specifying multiple clusters.

    # Redefine different properties there.

    # e.g.

 

     [[[ha]]]

      # Resource Manager logical name (required for HA)

      logical_name=beh

 

      # Un-comment to enable

      submit_to=True

 

      # URL of the ResourceManager API

      resourcemanager_api_url=http://hadoop003:23188

 

4.1.7 Hive

Hive需要hadoop001开启thriftserver2服务

[hadoop@hadoop001 ~]$ hive_start hiveserver2 &

Ø 然后修改hue配置文件

[beeswax]

 

  # Host where HiveServer2 is running.

  # If Kerberos security is enabled, use fully-qualified domain name (FQDN).

  hive_server_host=192.168.1.201

 

  # Port where HiveServer2 Thrift server runs on.

  hive_server_port=10000

 

  # Hive configuration directory, where hive-site.xml is located

   hive_conf_dir=/opt/beh/core/hive/conf

4.1.8 HBase

HBase 需要hadoop001开启ThriftServer服务

[hadoop@hadoop001 ~]$ hbase-daemon.sh start thrift

Ø 然后修改hue配置文件

[hbase]

  # Comma-separated list of HBase Thrift servers for clusters in the format of '(name|host:port)'.

  # Use full hostname with security.

  # If using Kerberos we assume GSSAPI SASL, not PLAIN.

   hbase_clusters=(Cluster|192.168.1.201:9090)

  #hbase_clusters=(hadoop|192.168.1.201:9090)

  # HBase configuration directory, where hbase-site.xml is located.

   hbase_conf_dir=/opt/beh/core/hbase/conf

4.1.9 ZooKeeper

只需要hadoop集群开启zookeeper服务即可

Ø 修改hue配置文件

[zookeeper]

 

  [[clusters]]

 

    [[[default]]]

      # Zookeeper ensemble. Comma separated list of Host/Port.

      # e.g. localhost:2181,localhost:2182,localhost:2183

      host_ports=192.168.1.201:2181,192.168.1.202:2181,192.168.1.203:2181

 

      # The URL of the REST contrib service (required for znode browsing).

       rest_url=http://192.168.1.201:9998

 

      # Name of Kerberos principal when using security.

## principal_name=zookeeper

4.1.10 Spark

Spark需要livy-server，spark-Jobserver，spark-thrift-server

Ø hue上安装启动Livv-server

[hadoop@hue ~]# git clone http://archive.cloudera.com/beta/livy/livy-server-0.2.0.zip

[hadoop@hue ~]# sudo zip livy-server-0.2.0.zip

[hadoop@hue ~]# cd livy-server-0.2.0

[hadoop@hue ~]# ./bin/livy-server

Ø hadoop001上启动spark-thrift-server

[hadoop@hadoop001 ~]# cd /opt/beh/core/spark/sbin

[hadoop@hadoop001 sbin]# ./start-thriftserver.sh  --hiveconf hive.server2.thrift.port=10001

Ø hadoop001上启动spark-jobserver

[hadoop@hadoop001 ~]# rpm -ivh https://dl.bintray.com/sbt/rpm/sbt-0.13.6.rpm

[hadoop@hadoop001 ~]# git clone https://github.com/ooyala/spark-jobserver.git

[hadoop@hadoop001 ~]# cd spark-jobserver

[hadoop@hadoop001 ~]# sbt

> re-start

Ø 修改hue配置文件

spark]

  # Host address of the Livy Server.

  livy_server_host=hue

 

  # Port of the Livy Server.

  livy_server_port=8998

 

  # Configure livy to start in local 'process' mode, or 'yarn' workers.

   livy_server_session_kind=process

 

  # If livy should use proxy users when submitting a job.

  ## livy_impersonation_enabled=true

 

  # Host of the Sql Server

  sql_server_host=192.168.1.201

 

  # Port of the Sql Server

   sql_server_port=10001

4.1.11 File Browser

需要将hdfs-site.xml中用户认证关闭，并重启服务。否则报类似cannot connect的错误。

   dfs.permissions.enabled

   false

需要在core-site.xml中添加如下代理用户配置，并重启服务。否则可能报类似cannot impersonate的错误。

  hadoop.proxyuser.hue.hosts

  *

  hadoop.proxyuser.hue.groups

  *

转载于:https://my.oschina.net/u/2547078/blog/810319

你可能感兴趣的:(数据库,git,java)

  • 为什么wal会 提升数据库性能 浩澜大大 数据库
    由于对于一个数据库内会存在很多张表，那么当数据库更新表数据时（1）直接写入磁盘实际写入的位置，会根据表的不同对应到不同的磁盘位置，在写入数据的时候，就会不停的寻找磁盘地址，找到地址后再去写入，对于机械硬盘来说，无规律的寻址是非常耗时的，对应SSD来说虽然性能提升很多，但是也会消耗时间；（2）先写入日志，在写入磁盘（WAL）WAL的过程，由于总是按照在文件末尾追加，只要找到文件写入位置，写入修改后，
  • 极狐GitLab 论坛 2.0 全新上线，可以在论坛上查找与 GitLab 相关的问题了～ 极小狐 gitlab极狐GitLabdevopsGitLabci/cddevsecopsSCM
    安装出现依赖错误？版本升级搞不定？遇到422、500就懵逼了？不知道某个功能是免费or付费？……使用GitLab这种全球顶级的DevOps平台进行软件研发时，总会遇到一些困惑，想跟专业的技术人员快速交流以便获得答案，同时又想把这些问题沉淀下来以帮助他人？有这种赠人玫瑰，手有余香的解决方案吗？答案肯定有：论坛！！！论坛——一个各路大神聚集的地方，一个可以解惑答疑问道的地方。解惑：搜索与自己问题相同或
  • 通俗易懂：MySQL中如何设置只读实例并确保数据一致性？ 大龄下岗程序员 mysqljavamysqlspring
    在MySQL中设置只读实例主要应用于构建高可用性和扩展性的数据库环境，通常是为了分担读取负载或者用于备份和灾难恢复。以下是创建MySQL只读实例并确保数据一致性的基本步骤：1.创建并配置只读实例-主从复制设置-首先，你需要有一个主数据库实例（Master）负责接收所有的写操作。-创建一个或多个从数据库实例（Slave），并将它们配置为主数据库的复制品。这通常通过设置主从复制（Replication
  • 下载Android源码 赛非斯
    repoinit-uhttps://mirrors.tuna.tsinghua.edu.cn/git/AOSP/platform/manifest-bandroid-10.0.0_r411.首先下载repo：a）终端运行gitclonegit://codeaurora.org/tools/repo.gitb）mkdir~/binc）拷贝repo到~/bin下面，修改repo权限，chmoda+x~
  • 华为OD机试 - 单向链表中间节点（Java & JS & Python & C & C++） 华为OD题库 华为od链表java
    须知哈喽，本题库完全免费，收费是为了防止被爬，大家订阅专栏后可以私信联系退款。感谢支持文章目录须知题目描述输出描述解析代码题目描述给定一个单链表L，请编写程序输出L中间结点保存的数据。如果有两个中间结点，则输出第二个中间结点保存的数据。例如：给定L为1→7→5，则输出应该为7；给定L为1→2→3→4，则输出应该为3；输入描述每个输入包含1个测试用例。每个测试用例：第一行给出链表首结点的地址、结点总
  • 学习JavaEE的日子 Day32 线程池 A 北枝 学习JavaEE学习java-eejava线程池
    Day32线程池1.引入一个线程完成一项任务所需时间为：创建线程时间-Time1线程中执行任务的时间-Time2销毁线程时间-Time32.为什么需要线程池(重要)线程池技术正是关注如何缩短或调整Time1和Time3的时间，从而提高程序的性能。项目中可以把Time1，T3分别安排在项目的启动和结束的时间段或者一些空闲的时间段线程池不仅调整Time1，Time3产生的时间段，而且它还显著减少了创建
  • llama.cpp 编译安装@Ubuntu skywalk8163 项目实践人工智能llamaubuntulinux人工智能
    在Kylin和Ubuntu编译llama.cpp，具体参考：llama模型c语言推理@FreeBSD-CSDN博客现在代码并编译：gitclonehttps://github.com/ggerganov/llama.cppcdllama.cppmkdirbuildcdbuildcmake..cmake--build.--configRelease#可选安装makeinstall#或可选添加路径ex
  • 使用多线程的方式模拟高并发请求接口，用于自测接口的稳定性【项目】 还算善良_ 私有代码库工具类javalist数据结构
    packagecom.gitee.taven.test;importcom.gitee.taven.ApiResult;importcom.gitee.taven.aop.RepeatSubmitAspect;importorg.slf4j.Logger;importorg.slf4j.LoggerFactory;importorg.springframework.beans.factory.an
  • C#中的PLINQ和LINQ的效率对比 搬砖的诗人Z C#c#linq开发语言
    PLINQ（ParallelLINQ）和LINQ（LanguageIntegratedQuery）都是.NET框架中的功能，用于对集合进行查询和操作。它们之间的主要区别在于并行处理能力。LINQ:LINQ是一种用于在.NET应用程序中进行数据查询和操作的语言集成功能。它提供了一种统一的方式来查询各种数据源，如集合、数组、XML、数据库等。LINQ是在单线程环境中执行查询操作的，因此对于大型数据集或
  • 请简单介绍一下Shiro框架是什么？Shiro在Java安全领域的主要作用是什么？Shiro主要提供了哪些安全功能？ AaronWang94 shirojavajava安全开发语言
    请简单介绍一下Shiro框架是什么？Shiro框架是一个强大且灵活的开源安全框架，为Java应用程序提供了全面的安全解决方案。它主要用于身份验证、授权、加密和会话管理等功能，可以轻松地集成到任何JavaWeb应用程序中，并提供了易于理解和使用的API，使开发人员能够快速实现安全特性。Shiro的核心组件包括Subject、SecurityManager和Realms。Subject代表了当前与应用
  • 谷歌浏览器驱动Chromedriver（114-120版本）文件以及驱动下载教程 pigerr杨 Pythonpythonchromedrivers
    ChromeDriver官方网站GitHub||GoogleChromeLabs/chrome-for-testingChromeDriver113-125_JSONChromeforTestingavailability123-125zip白月黑羽Python基础|进阶|Qt图形界面|Django|自动化测试|性能测试|JS语言|JS前端|原理与安装
  • 通俗易懂：什么是Java虚拟机（JVM）？它的主要作用是什么？ 大龄下岗程序员 mysqljavamysqlspring
    Java虚拟机（JavaVirtualMachine,JVM）是一种软件实现的抽象计算机，它负责执行Java字节码（Bytecode）。Java程序并不是直接在物理计算机上运行，而是先由Java编译器将源代码编译成与平台无关的字节码，然后由JVM负责读取字节码并在实际硬件架构上运行。JVM的主要作用包括以下几个方面：1.跨平台性-JVM是Java语言“一次编写，到处运行”（WriteOnce,Ru
  • 大创项目推荐 深度学习 opencv python 公式识别(图像识别 机器视觉) laafeer python
    文章目录0前言1课题说明2效果展示3具体实现4关键代码实现5算法综合效果6最后0前言优质竞赛项目系列，今天要分享的是基于深度学习的数学公式识别算法实现该项目较为新颖，适合作为竞赛课题方向，学长非常推荐！学长这里给一个题目综合评分(每项满分5分)难度系数：3分工作量：4分创新点：4分更多资料,项目分享：https://gitee.com/dancheng-senior/postgraduate1课题
  • 3、JavaWeb-Ajax/Axios-前端工程化-Element 所谓远行Misnearch #JavaWeb前端ajaxelementuijava前端框架
    P34Ajax介绍Ajax:AsynchroousJavaScriptAndXML，异步的JS和XMLJS网页动作，XML一种标记语言，存储数据，作用：数据交换：通过Ajax给服务器发送请求，并获取服务器响应的数据异步交互：在不重新加载整个页面的情况下，与服务器交换数据并实现更新部分网页的技术，例如：搜索联想、用户名是否可用的校验等等。同步与异步：同步：服务器在处理中客户端要处于等待状态，输入域名
  • docker怎么端口映射 Lance_mu docker容器运维
    1、默认固定的端口#Web服务器：WebApache或Nginx通常使用80端口HTTP：80HTTPS：443#数据库服务器MySQL：3306PostgreSQL：5432MongoDB：27017Redis：6379#邮件服务器SMTP：25POP3：110IMAP：143#其他服务SSH：22FTP：21DNS（域名解析）：53代理服务器Squid：3128版本控制系统Git：9418(S
  • 新注册的阿里云账号有哪些优惠？阿里云新用户必看优惠大合集 阿里云最新优惠和活动汇总
    很多用户看到阿里云各种活动中的云服务器、云数据库、企业邮箱等云产品都仅限新用户购买之后，都纷纷直接注册了阿里云新账号之后购买，其实，阿里云新用户不仅可以优惠购买活动中的各种云产品，还有很多优惠，下面是“阿里云最新优惠和活动汇总”整理汇总的阿里云新用户必看优惠大合集。新注册的阿里云账号在购买活动中的云产品之前，还有免费领云产品通用代金券、抽取无门槛代金券、免费试用云服务器和正式购买云服务器等阿里云产
  • ES-LTR粗排模块 poins jenkins运维
    ES-LTR粗排模块官方资源：https://github.com/HeiBoWang/elasticsearch-learning-to-rankElasticsearch学习排名插件使用机器学习提高搜索相关性排名。它为维基媒体基金会和Snagajob等地方的搜索提供了动力！这个插件有什么功能此插件：允许您在Elasticsearch中存储特征（Elasticsearch查询模板）记录特征得分（
  • MyBatis高级面试题-2024 my_styles mybatisjava开发语言面试题
    MyBatis的核心组件有哪些？首先第一个是，SqlSessionFactory，它就像是一个会话工厂。它的任务是创建SqlSession对象，这个对象是我们与数据库交互的主要途径。SqlSessionFactory的作用很重要，因为它可以帮我们配置数据库连接信息和事务管理等。一旦这个工厂被建立起来，它就会加载一些必要的配置和映射文件，为后续的数据库操作提供一个可靠的基础。第二个是SqlSessi
  • SQLite版本3中的文件锁定和并发(七） 代码工匠云 数据库SQLiteC与c++sqlitec++数据库
    返回：SQLite—系列文章目录上一篇：自己编译SQLite或将SQLite移植到新的操作系统（六）下一篇：SQLite—系列文章目录正文：1.0SQLite版本3中的文件锁定和并发SQLite版本3.0.0引入了新的锁定和日志功能旨在提高SQLite版本2的并发性的机制并减少作家的饥饿问题。新机制还允许交易的原子提交涉及多个数据库文件。本文档介绍新的锁定机制。目标受众是想要理解和/或修改的程序员
  • python转码 Desamond python开发语言
    转码在许多场景中都有应用，以下是一些常见的场景：网页开发：当用户在网页上输入文本时，可能需要将特殊字符（如空格、引号、特殊符号等）进行转码，以防止这些字符对URL或HTML代码产生干扰。文件名处理：在处理文件名时，可能需要将特殊字符进行转码，以避免文件名被错误地解析或显示。数据传输：在数据传输过程中，为了确保数据的完整性和正确性，可能需要将数据中的特殊字符进行转码。数据存储：在数据库或数据存储中，
  • 枚举使用笔记 万变不离其宗_8 项目笔记笔记
    1.java枚举怎么放在方法上面的注释里面/***保存*@paramuserId用户id*@paramtype见枚举{@linkcom.common.enums.TypeEnum}*@return*/voidsave(LonguserId,Stringtype);
  • Python | Redis工具类 -拟墨画扇- Pythonredis数据库缓存python
    一、需求自动连接Redis数据库，通过连接池处理数据对输出结果进行Log打印并保存到文件二、代码Utils.redisUtils.py#!/usr/bin/envpython#-*-coding:utf-8-*-importredisfromUtils.loggerimportlog"""Redis数据格式(1)字符串|存储形式:key-value:str-存储二进制数据:可以存储任意类型的数据，
  • 数据管理知识体系指南（第二版）-第五章——数据建模和设计-学习笔记 键盘上的五花肉 数据治理数据库数据仓库数据治理
    目录5.1引言5.1.1业务驱动因素5.1.2目标和原则5.1.3基本概念5.2活动5.2.1规划数据建模5.2.2建立数据模型5.2.3审核数据模型5.2.4维护数据模型5.3工具5.3.1数据建模工具5.3.2数据血缘工具5.3.3数据分析工具5.3.4元数据资料库5.3.5数据模型模式5.3.6行业数据模型5.4方法5.4.1命名约定的最佳实践5.4.2数据库设计中的最佳实践5.5数据建模和
  • Python dict字符串转json对象，小数精度丢失问题 朝如青丝 暮成雪 jsonpython
    一前言JSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式，dict是Python的一种数据格式。本篇介绍一个float数据转换时精度丢失的案例。二问题描述importjsontest_str1='{"π":3.1415926535897932384626433832795028841971}'test_str2='{"value":10.00000}'print
  • 项目管理工具最佳实践 水岩
    各个公司的最佳实践去哪儿jira自定义使用1.jira编号对应git分支命名，后台增加监控程序，新增一个分支，自动解析分支中的jira编号，自动落地到数据库，完成映射2.各个发布系统间信息同步，消息中心（IC）+数据中心（DC）,广播消息加一站式查询，持续集成，推进代码检查质量，分钟级反馈质量检查反思：1.项目管好：针对一线研发人员，简单易用，而不是满足管理层的“统计度量”（...）简化分类字段，
  • java实体中返回前端的double类型四舍五入（格式化） 婲落ヽ紅顏誶 java
    根据业务，需要通过后端给前端返回部分double类型的数值，一般需要保留两位小数，使用jackson转换对象packagecom.ruoyi.common.core.config;importcom.fasterxml.jackson.core.JsonGenerator;importcom.fasterxml.jackson.databind.JsonSerializer;importcom.f
  • Java中HashMap底层数据结构及主要参数? 山间漫步人生路 java数据结构开发语言
    在Java中，HashMap的底层数据结构主要基于数组和链表，同时在Java8及以后的版本中，当链表长度超过一定阈值时，链表会转换为红黑树来优化性能。这种结构结合了数组和链表的优点，既提供了快速的随机访问，又允许动态地扩展存储桶的大小。HashMap的主要参数包括：初始容量（InitialCapacity）：这是HashMap在创建时设定的桶数组的大小。默认值为16。这个值可以根据预计存储的键值对
  • Java学习笔记01 .wsy. 日常java学习笔记
    1.1Java简介Java的前身是Oak，詹姆斯·高斯林是java之父。1.2Java体系Java是一种与平台无关的语言，其源代码可以被编译成一种结构中立的中间文件（.class，字节码文件）于Java虚拟机上运行。1.2.3专有名词JDK提供编译、运行Java程序所需要的种种工具及资源。JRE是运行Java所依赖的环境的集合。JVM是一个虚构出来的计算机，通过在实际的计算机上仿真模拟各种计算机功
  • Java回溯知识点（含面试大厂题和源码） 一成码农 java面试开发语言
    回溯算法是一种通过遍历所有可能的候选解来寻找所有解的算法，如果候选解被确认不是一个解（或至少不是最后一个解），回溯算法会通过在上一步进行一些变化来丢弃这个解，即“回溯”并尝试另一个候选解。回溯法通常用递归方法来实现，在解决排列、组合、选择问题时非常有效。回溯算法的核心要点：路径：也就是已经做出的选择。选择列表：也就是你当前可以做的选择。结束条件：也就是到达决策树底层，无法再做出选择的条件。回溯算法
  • Azkaban各种类型的Job编写 __元昊__
    一、概述原生的Azkaban支持的plugin类型有以下这些：command：Linuxshell命令行任务gobblin：通用数据采集工具hadoopJava：运行hadoopMR任务java：原生java任务hive：支持执行hiveSQLpig：pig脚本任务spark：spark任务hdfsToTeradata：把数据从hdfs导入TeradatateradataToHdfs：把数据从Te
  • 遍历dom 并且存储（将每一层的DOM元素存在数组中） 换个号韩国红果果 JavaScripthtml
    数组从0开始！！ var a=[],i=0; for(var j=0;j<30;j++){ a[j]=[];//数组里套数组，且第i层存储在第a[i]中 } function walkDOM(n){ do{ if(n.nodeType!==3)//筛选去除#text类型 a[i].push(n); //con
  • Android+Jquery Mobile学习系列(9)-总结和代码分享 白糖_ JQuery Mobile
    目录导航   经过一个多月的边学习边练手，学会了Android基于Web开发的毛皮，其实开发过程中用Android原生API不是很多，更多的是HTML/Javascript/Css。   个人觉得基于WebView的Jquery Mobile开发有以下优点： 1、对于刚从Java Web转型过来的同学非常适合，只要懂得HTML开发就可以上手做事。 2、jquerym
  • impala参考资料 dayutianfei impala
    记录一些有用的Impala资料   1. 入门资料 >>官网翻译：     http://my.oschina.net/weiqingbin/blog?catalog=423691   2. 实用进阶 >>代码&架构分析：     Impala/Hive现状分析与前景展望：http
  • JAVA 静态变量与非静态变量初始化顺序之新解 周凡杨 java静态非静态顺序
    今天和同事争论一问题，关于静态变量与非静态变量的初始化顺序，谁先谁后，最终想整理出来！测试代码： import java.util.Map; public class T { public static T t = new T(); private Map map = new HashMap(); public T(){ System.out.println(&quo
  • 跳出iframe返回外层页面 g21121 iframe
    在web开发过程中难免要用到iframe，但当连接超时或跳转到公共页面时就会出现超时页面显示在iframe中，这时我们就需要跳出这个iframe到达一个公共页面去。 首先跳转到一个中间页，这个页面用于判断是否在iframe中，在页面加载的过程中调用如下代码： <script type="text/javascript"> //<!-- function
  • JAVA多线程监听JMS、MQ队列 510888780 java多线程
    背景：消息队列中有非常多的消息需要处理，并且监听器onMessage（）方法中的业务逻辑也相对比较复杂，为了加快队列消息的读取、处理速度。可以通过加快读取速度和加快处理速度来考虑。因此从这两个方面都使用多线程来处理。对于消息处理的业务处理逻辑用线程池来做。对于加快消息监听读取速度可以使用1.使用多个监听器监听一个队列；2.使用一个监听器开启多线程监听。 对于上面提到的方法2使用一个监听器开启多线
  • 第一个SpringMvc例子 布衣凌宇 spring mvc
    第一步：导入需要的包； 第二步：配置web.xml文件 <?xml version="1.0" encoding="UTF-8"?> <web-app version="2.5" xmlns="http://java.sun.com/xml/ns/javaee" xmlns:xsi=
  • 我的spring学习笔记15-容器扩展点之PropertyOverrideConfigurer aijuans Spring3
    PropertyOverrideConfigurer类似于PropertyPlaceholderConfigurer，但是与后者相比，前者对于bean属性可以有缺省值或者根本没有值。也就是说如果properties文件中没有某个bean属性的内容，那么将使用上下文（配置的xml文件）中相应定义的值。如果properties文件中有bean属性的内容，那么就用properties文件中的值来代替上下
  • 通过XSD验证XML antlove xmlschemaxsdvalidationSchemaFactory
    1. XmlValidation.java package xml.validation; import java.io.InputStream; import javax.xml.XMLConstants; import javax.xml.transform.stream.StreamSource; import javax.xml.validation.Schem
  • 文本流与字符集 百合不是茶 PrintWrite()的使用字符集名字 别名获取
    文本数据的输入输出;           输入;数据流,缓冲流         输出;介绍向文本打印格式化的输出PrintWrite();   package 文本流; import java.io.FileNotFound
  • ibatis模糊查询sqlmap-mapping-**.xml配置 bijian1013 ibatis
            正常我们写ibatis的sqlmap-mapping-*.xml文件时，传入的参数都用##标识，如下所示： <resultMap id="personInfo" class="com.bijian.study.dto.PersonDTO"> <res
  • java jvm常用命令工具——jdb命令(The Java Debugger) bijian1013 javajvmjdb
            用来对core文件和正在运行的Java进程进行实时地调试，里面包含了丰富的命令帮助您进行调试，它的功能和Sun studio里面所带的dbx非常相似，但 jdb是专门用来针对Java应用程序的。         现在应该说日常的开发中很少用到JDB了，因为现在的IDE已经帮我们封装好了，如使用ECLI
  • 【Spring框架二】Spring常用注解之Component、Repository、Service和Controller注解 bit1129 controller
    在Spring常用注解第一步部分【Spring框架一】Spring常用注解之Autowired和Resource注解（http://bit1129.iteye.com/blog/2114084）中介绍了Autowired和Resource两个注解的功能，它们用于将依赖根据名称或者类型进行自动的注入，这简化了在XML中，依赖注入部分的XML的编写，但是UserDao和UserService两个bea
  • cxf wsdl2java生成代码super出错,构造函数不匹配 bitray super
        由于过去对于soap协议的cxf接触的不是很多,所以遇到了也是迷糊了一会.后来经过查找资料才得以解决. 初始原因一般是由于jaxws2.2规范和jdk6及以上不兼容导致的.所以要强制降为jaxws2.1进行编译生成.我们需要少量的修改: 我们原来的代码 wsdl2java com.test.xxx -client http://..... 修改后的代
  • 动态页面正文部分中文乱码排障一例 ronin47
    公司网站一部分动态页面，早先使用apache+resin的架构运行，考虑到高并发访问下的响应性能问题，在前不久逐步开始用nginx替换掉了apache。 不过随后发现了一个问题，随意进入某一有分页的网页，第一页是正常的（因为静态化过了）；点“下一页”，出来的页面两边正常，中间部分的标题、关键字等也正常，唯独每个标题下的正文无法正常显示。 因为有做过系统调整，所以第一反应就是新上
  • java-54- 调整数组顺序使奇数位于偶数前面 bylijinnan java
    import java.util.Arrays; import java.util.Random; import ljn.help.Helper; public class OddBeforeEven { /** * Q 54 调整数组顺序使奇数位于偶数前面 * 输入一个整数数组，调整数组中数字的顺序，使得所有奇数位于数组的前半部分，所有偶数位于数组的后半
  • 从100PV到1亿级PV网站架构演变 cfyme 网站架构
    一个网站就像一个人，存在一个从小到大的过程。养一个网站和养一个人一样，不同时期需要不同的方法，不同的方法下有共同的原则。本文结合我自已14年网站人的经历记录一些架构演变中的体会。 1：积累是必不可少的 架构师不是一天练成的。 1999年，我作了一个个人主页，在学校内的虚拟空间，参加了一次主页大赛，几个DREAMWEAVER的页面，几个TABLE作布局，一个DB连接，几行PHP的代码嵌入在HTM
  • [宇宙时代]宇宙时代的GIS是什么？ comsci Gis
           我们都知道一个事实，在行星内部的时候，因为地理信息的坐标都是相对固定的，所以我们获取一组GIS数据之后，就可以存储到硬盘中，长久使用。。。但是，请注意，这种经验在宇宙时代是不能够被继续使用的          宇宙是一个高维时空
  • 详解create database命令 czmmiao database
    完整命令 CREATE DATABASE mynewdb   USER SYS IDENTIFIED BY sys_password   USER SYSTEM IDENTIFIED BY system_password   LOGFILE GROUP 1 ('/u01/logs/my/redo01a.log','/u02/logs/m
  • 几句不中听却不得不认可的话 datageek
    1、人丑就该多读书。 2、你不快乐是因为：你可以像猪一样懒，却无法像只猪一样懒得心安理得。 3、如果你太在意别人的看法，那么你的生活将变成一件裤衩，别人放什么屁，你都得接着。 4、你的问题主要在于：读书不多而买书太多，读书太少又特爱思考，还他妈话痨。 5、与禽兽搏斗的三种结局：(1)、赢了，比禽兽还禽兽。(2)、输了，禽兽不如。(3)、平了，跟禽兽没两样。结论：选择正确的对手很重要。 6
  • 1 14:00 PHP中的“syntax error, unexpected T_PAAMAYIM_NEKUDOTAYIM”错误 dcj3sjt126com PHP
    原文地址：http://www.kafka0102.com/2010/08/281.html   因为需要，今天晚些在本机使用PHP做些测试，PHP脚本依赖了一堆我也不清楚做什么用的库。结果一跑起来，就报出类似下面的错误：“Parse error: syntax error, unexpected T_PAAMAYIM_NEKUDOTAYIM in /home/kafka/test/
  • xcode6 Auto layout and size classes dcj3sjt126com ios
    官方GUI   https://developer.apple.com/library/ios/documentation/UserExperience/Conceptual/AutolayoutPG/Introduction/Introduction.html   iOS中使用自动布局（一）   http://www.cocoachina.com/ind
  • 通过PreparedStatement批量执行sql语句【sql语句相同，值不同】 梦见x光 sql事务批量执行
    比如说：我有一个List需要添加到数据库中，那么我该如何通过PreparedStatement来操作呢？ public void addCustomerByCommit(Connection conn , List<Customer> customerList) {    String sql = "inseret into customer(id
  • 程序员必知必会----linux常用命令之十【系统相关】 hanqunfeng Linux常用命令
    一.linux快捷键 Ctrl+C : 终止当前命令 Ctrl+S : 暂停屏幕输出 Ctrl+Q : 恢复屏幕输出 Ctrl+U : 删除当前行光标前的所有字符 Ctrl+Z : 挂起当前正在执行的进程 Ctrl+L : 清除终端屏幕，相当于clear   二.终端命令 clear : 清除终端屏幕 reset : 重置视窗，当屏幕编码混乱时使用 time com
  • NGINX IXHONG nginx
    pcre 编译安装 nginx conf/vhost/test.conf   upstream admin { server 127.0.0.1:8080; }   server {                 listen       80; &
  • 设计模式--工厂模式 kerryg 设计模式
    工厂方式模式分为三种：   1、普通工厂模式：建立一个工厂类，对实现了同一个接口的一些类进行实例的创建。   2、多个工厂方法的模式：就是对普通工厂方法模式的改进，在普通工厂方法模式中，如果传递的字符串出错，则不能正确创建对象，而多个工厂方法模式就是提供多个工厂方法，分别创建对象。   3、静态工厂方法模式：就是将上面的多个工厂方法模式里的方法置为静态，
  • Spring InitializingBean/init-method和DisposableBean/destroy-method mx_xiehd javaspringbeanxml
    1.initializingBean/init-method 实现org.springframework.beans.factory.InitializingBean接口允许一个bean在它的所有必须属性被BeanFactory设置后，来执行初始化的工作，InitialzingBean仅仅指定了一个方法。 通常InitializingBean接口的使用是能够被避免的，（不鼓励使用，因为没有必要
  • 解决Centos下vim粘贴内容格式混乱问题 qindongliang1922 centosvim
    有时候，我们在向vim打开的一个xml，或者任意文件中，拷贝粘贴的代码时，格式莫名其毛的就混乱了，然后自己一个个再重新，把格式排列好，非常耗时，而且很不爽，那么有没有办法避免呢？ 答案是肯定的，设置下缩进格式就可以了，非常简单： 在用户的根目录下 直接vi  ~/.vimrc文件 然后将set pastetoggle=<F9> 写入这个文件中，保存退出，重新登录，
  • netty大并发请求问题 tianzhihehe netty
    多线程并发使用同一个channel java.nio.BufferOverflowException: null at java.nio.HeapByteBuffer.put(HeapByteBuffer.java:183) ~[na:1.7.0_60-ea] at java.nio.ByteBuffer.put(ByteBuffer.java:832) ~[na:1.7.0_60-ea]
  • Hadoop NameNode单点问题解决方案之一 AvatarNode wyz2009107220 NameNode
    我们遇到的情况 Hadoop NameNode存在单点问题。这个问题会影响分布式平台24*7运行。先说说我们的情况吧。 我们的团队负责管理一个1200节点的集群(总大小12PB)，目前是运行版本为Hadoop 0.20，transaction logs写入一个共享的NFS filer(注：NetApp NFS Filer)。 经常遇到需要中断服务的问题是给hadoop打补丁。 DataNod
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他