- Azkaban各种类型的Job编写
__元昊__
一、概述原生的Azkaban支持的plugin类型有以下这些：command：Linuxshell命令行任务gobblin：通用数据采集工具hadoopJava：运行hadoopMR任务java：原生java任务hive：支持执行hiveSQLpig：pig脚本任务spark：spark任务hdfsToTeradata：把数据从hdfs导入TeradatateradataToHdfs：把数据从Te
- Linux初学（十）shell脚本
王依硕
Linuxlinux运维服务器
一、for循环1.1循环的格式for变量in列表do代码代码....done循环的逻辑：将列表中的每个元素逐一赋值给变量每赋值一次，do和done之间的代码就会执行一次1.2列表的生成方式方法1：直接给出列表元素【用空格分隔多个元素】133129hahabaidu方法2：用通配符来生成元素/home/a*方法3：用命令来生成元素ls/etc/方法4：用{}展开的形式生成元素{3..7}{a..e}
- 计算机常用端口号
王依硕
linux服务器ssh
ftp：（20端口）用于ftp服务，用于数据传输。ftp：（21端口）用于文件上传和下载。ssh：（22端口）用于安全Shell访问和文件传输。telnet：（23端口）用于远程命令行计算机管理。smtp：（25端口）用于发送电子邮件。dns：（53端口）用于域名解析。dhcp：（67和68端口）用于动态分配IP地址和配置网络参数。tftp：（69端口）使用udp连接。finger：（79端口）是
- Websocket服务监听收发消息
beiback
Java服务器问题websocket网络协议网络
目录1.pom依赖坐标2.项目配置端口和项目包名2.创建处理器3.注册处理器4.前端页面1.pom依赖坐标org.springframework.bootspring-boot-starter-websocket2.项目配置端口和项目包名application.propertiesserver.port=8088//路径规范：为应用的所有servlet提供一个统一的前缀，使URL结构更加清晰和一致
- Linux系统定时备份mysql数据库
er_得一
数据库mysqloracle
1、创建shell脚本mysql_db_backup并赋予执行权限#!/bin/bash#备份目录BACKUP=/data/backup/db#当前时间DATETIME=$(date+%Y-%m-%d_%H%M%S)echo$DATETIME#数据库地址HOST=localhost#数据库用户名DB_USER=root#数据库密码DB_PW=pwd@123#备份的数据库名DATABASE=Apol
- 用shell脚本连接远程虚拟机判断远程虚拟机上的应用服务在不在返回状态
qq_33192454
linux
为了编写一个Shell脚本，用于连接远程虚拟机并检查其上的应用服务状态，你可以使用SSH连接到远程虚拟机并执行相关的命令。以下是一个简单的Shell脚本示例：#!/bin/bash#远程虚拟机信息REMOTE_USER="your_username"REMOTE_IP="remote_ip_address"REMOTE_COMMAND="systemctlstatusyour_service_na
- jmeter获取返回json参数个数
海纳百川_9dc7
我们在用jmeter做测试的时候，返回很多json数据，然后呢想要从中取出某个参数的数量，人工取数的情况下，会很繁琐。因此必须借助正则提取器。操作如下：配置线程组：然后配置正则表达式提取器：2转载：正则表达式提取器说明再用jmeter后置BeanShellPostProcessor3importcom.eclipsesource.json.*;importjava.util.regex.Match
- 排序方法总结
wx20041102
排序算法算法数据结构
下列具体实现了希尔排序插入排序快速排序归并排序（包括递归和非递归）如若有任何不懂之处，欢迎评论，我会尽我之力解答希尔排序：总结：对gap的运用voidShellSort(int*nums,intnumsSize){inti=0;intend=0;inttemp=0;intgap=numsSize;while(gap>1){gap=gap/3+1;//+1是为了保证最后gap为1，进行插入排序，从而
- html5 websocket 手机,websocket在h5上正常，编译到手机上就连不上
猫研所
html5websocket手机
对接的网易云信微信IMSDK，在h5上能建立起连接，在手机端不行，截图是h5的链接，下面是app的日志：20:10:34.247连接websocket参数"wss://wlnimsc0.netease.im/socket.io/1/websocket/378166b5-af18-4372-a0a5-05aee5a1d882"atuni-app:///sdk/yunxin-wx/vendors/NI
- uniapp 使用mqtt后真机调试白屏？或者 WebSocket || WS is not a constructor
xiaoli_qidian
uni-app前端
1.都说高版本mqtt不稳定，所有安装3.0的吧npmimqtt@32.把连接替换成功这个代码//#ifdefH5console.log('h5')client=mqtt.connect(`ws://120.25.155.46:8083/mqtt`,options)//#endif//#ifdefAPP-PLUSconsole.log('app')client=mqtt.connect(`wx:/
- 关于uniapp上使用websocket在H5能用，在真机不能用的问题
木公176
uni-appwebsocket网络协议
不要用本地电脑开的websocket来连接，真机（手机端）连不到本地websocket。uni.connectSocket({url:'ws://localhost:3000/chat'});解决办法：部署到服务器上面，用一个公网的websocket地址，真机上面可以正常使用。部署到服务器的时候记得开放3000端口，不然也不行。uni.connectSocket({url:'ws://8.13X.
- 关闭蓝牙hci日志
开心呆哥
数据库
@echooff::1.获取最开始的文件夹路径set"Start_BT=%~dp0"for/f%%Ain('powershell-Command"Get-Date-Formatyyyy_MMdd_HHmmss"')doset"timestamp=%%A"echoTimestamp:%timestamp%titleSet_Debug_Set_HCI_LOG%timestamp%::打开工程模式adb
- Linux .bashrc .bash_profile 和 .profile之间的区别
zoutao98
Linuxbashlinux开发语言
1概述bashshell使用一些启动文件去设置环境变量，这些启动文件为shell本身和系统用户确定某些bashshell配置，在本文中，我们将了解.bashrc.bash-profile和.profile之间的区别。2交互式和非交互式shellBash在交互式shell中提供了两种模式选项，登录和非登录(loginandnon-login)。当我们使用ssh登录到系统时，我们得到一个交互式登录的s
- Websocket + Vue使用
人间观察师
websocketvue.js前端
这里有一篇文档可以参考一下>闪现POM文件org.springframework.bootspring-boot-starter-websocket2.7.0WebSocketConfig配置importorg.springframework.context.annotation.Bean;importorg.springframework.context.annotation.Configura
- 【shell常用指令整理】
半夏知半秋
linuxlinux开发语言
shell常用指令整理greplessmorecatawknetstattailfheadpstopdudffindsedgrep用于在文件中搜索指定模式的内容greptrace-ctest.log:查看test.log中匹配到trace的个数greptrace-c*-l:查看所有文件中匹配到trace的文件名greptrace-C5test.log:查看test.lua中所有匹配到trace所在
- Linux shell脚本切换为root用户执行命令
红色石榴
linux
首先安装expect。sudoaptinstallexpect创建shell脚本文件，示例内容如下：#!/usr/bin/expectspawnsurootexpect{"密码："{send"00000\r"}"Password:"{send"000000\r"}}send"./user_app\r"expecteofexit其中，"000000\r"是root用户密码。send语句用于向终端传递
- cmake 报错: could not open ‘kernel32.lib‘: no such file or directory
meluobote
环境配置c++
首次用helloworld想配置cmake。powershell下执行cmake..-G"MinGWMakefiles"报的这个错。因为查到这个库是windows下的，于是想着换成Unix试下。执行：cmake..-G"UnixMakefiles"成功cmake版本：cmakeversion3.29.0-rc2CMakesuitemaintainedandsupportedbyKitware(ki
- 【笔记】HDFS基础笔记
哇咔咔哇咔
Hadoophdfs笔记hadoop大数据ubuntu
启动hadoop命令（未配环境变量）：进入hadoop安装目录输入./sbin/start-dfs.sh已配环境变量：start-dfs.sh关闭hadoop命令：stop-dfs.sh启动完成后，可以通过命令jps来判断是否成功启动，若成功启动则会列出如下进程:"NameNode"、"DataNode"和"SecondaryNameNode"三种Shell命令方式：1.hadoopfs2.had
- 【Linux】linux的常用命令
五敷有你
linuxlinux运维服务器
个人主页：五敷有你系列专栏：MQ⛺️稳中求进，晒太阳(Linux常用命令)finalShell1.ls命令作用：显示当前目录下的文件及文件夹举例：在用户目录（root)使用ls可以查看用户目录里的文件及文件夹参数：-l详细列出文件和文件夹ll2.cd命令作用：切换目录举例：cd../返回上一级目录cdroot进入用户目录（相对路径）cd子目录名直接进去当前目录下下的子目录cd~进去用户目录（绝对目
- Spark Q&A
耐心的农夫2020
Q:在读取文件的时候，如何忽略空gzip文件?A:从Spark2.1开始，你可以通过启用spark.sql.files.ignoreCorruptFiles选项来忽略损毁的文件。可以将下面的选项添加到你的spark-submit或者pyspark命令中。--confspark.sql.files.ignoreCorruptFiles=true另外spark支持的选项可以通过在spark-shell
- HBase常用命令
叶域
大数据HBasehbase数据库大数据
简介：HBaseShell是一种操作HBase的交互模式，支持完整的HBase命令集。hbaseshell#打开HbaseShell目录:命令类别常用命令Generalversion，status，whoami，helpDDLalter，creater，describe，disable，drop，enable，exists，is_disabled，is_enabled，list，DMLcount，
- Bluesky数据采集框架-7
EPICS Technical
Blueskybluesky
内建预处理程序每个名为_wrapper的以下函数对一个生成器实例进行操作。名为的对应函数对一个生成器函数进行操作。1、bluesky.preprocessors.baseline_decorator#在open_run后，积累一个所有设备的baseline的预处理程序bluesky.preprocessors.baseline_decorator(plan,devices,name='baseli
- powershell 递归拷贝文件夹下的jpg并复制到指定目录
isyoungboy
java前端javascript
使用-Recurse参数控制是否递归文件夹$index=1Get-ChildItem-PathE:\project\0315\315-Recurse|Where-Object{$_.Extension-eq".jpg"}|ForEach-Object{$fileName=$_.Name$filePath=$_.FullName$newFileName="E:\\project\\0315\ng\\
- 22.4 docker
与海boy
Java工程师(后端开发)docker容器运维
22.4docker1.docker简介2.docker架构3.容器和仓库4.Docker安装:基于Linux5.docker容器生成与运行5.1docker换源5.2启动容器5.3dockersearch6.docker基于redis演示6.1run-i-t:终端运行redis容器(不推荐)6.2访问docker正在运行容器6.3-d:后台运行redis容器6.4停止容器
- 第3章 基本的bash shell命令
coder_guoxd
bashlinux开发语言
大多数Linux发行版的默认shell都是GNUbashshell。本章将介绍bashshell的一些基本特性，例如:bash手册、tab键自动补全、显示文件内容，带你逐步了解怎样用bashshell提供的基本命令来操作Linux文件和目录。3.1启动shellGNUbashshell能提供对Linux系统的交互式访问。它是作为普通程序运行的，通常是在用户登录终端时启动的。登录时系统启动的shel
- 15、Linux-Shell04：分支和循环
TRXCX
Linuxlinux运维服务器
一、分支逻辑1、ififcondition1thencommand1elifcondition2thencommand2elsecommandNfiechopleaseinputfirstnumberreadaechopleaseinputsecondnumberreadbif[$a-eq$b]thenecho"equal"elif[$a-gt$b]thenecho"thefirstisgreat
- Docker镜像构建(docker build命令、Dockerfile)
云川之下
dockerk8spaasdockerjava分布式
文章目录1.简介2.Dockerfile介绍2.1语法规则2.2环境变量引用2.3dockerbuild命令2.4快速开始3.指令详解FROMLABELMAINTAINER(deprecated)COPYWORKDIRENVRUNEXPOSEVOLUMECMDENTRYPOINTUSERSTOPSIGNALHEALTHCHECKSHELLARGONBULD4使用multi-stage命名stage
- Kafka-SSL笔记整理
yicj
kafkassl笔记
创建密钥仓库以及CA创建密匙仓库,用户存储证书文件keytool-keystoreserver.keystore.jks-aliashello_kafka-validity100000-genkey创建CAopensslreq-new-x509-keyoutca-key-outca-cert-days100000将生成的CA添加到客户端信任库keytool-keystoreclient.trust
- python-0009-django对数据的增删改
天地人-神君
pythonpythondjangosqlite
shell在虚拟环境中，可以使用pythonmanage.pyshell，打开命令行。在命令行中，所见即所得，相当于执行代码片段对象fromdjango.dbimportmodels#Createyourmodelshere.classBookInfo(models.Model):name=models.CharField(max_length=10,unique=True)pub_date=mo
- Navigating the Console
Jacaranda2016
Theconcept"Project"isimportantforGCP.ProjectinformationincludesProjectname,ProjectIDandProjectNumber.ProjectIDcanbechangedlaterviashell.ProjectNumberisautomaticallycreatedandyoucannotchange.Howtoshutd
- jvm调优总结（从基本概念 到 深度优化）
oloz
javajvmjdk虚拟机应用服务器
JVM参数详解：http://www.cnblogs.com/redcreen/archive/2011/05/04/2037057.html
Java虚拟机中，数据类型可以分为两类：基本类型和引用类型。基本类型的变量保存原始值，即：他代表的值就是数值本身；而引用类型的变量保存引用值。“引用值”代表了某个对象的引用，而不是对象本身，对象本身存放在这个引用值所表示的地址的位置。
- 【Scala十六】Scala核心十：柯里化函数
bit1129
scala
本篇文章重点说明什么是函数柯里化，这个语法现象的背后动机是什么，有什么样的应用场景，以及与部分应用函数(Partial Applied Function)之间的联系 1. 什么是柯里化函数
A way to write functions with multiple parameter lists. For instance
def f(x: Int)(y: Int) is a
- HashMap
dalan_123
java
HashMap在java中对很多人来说都是熟的；基于hash表的map接口的非同步实现。允许使用null和null键；同时不能保证元素的顺序；也就是从来都不保证其中的元素的顺序恒久不变。
1、数据结构
在java中，最基本的数据结构无外乎：数组 和 引用（指针），所有的数据结构都可以用这两个来构造，HashMap也不例外，归根到底HashMap就是一个链表散列的数据
- Java Swing如何实时刷新JTextArea，以显示刚才加append的内容
周凡杨
java更新swingJTextArea
在代码中执行完textArea.append("message")后，如果你想让这个更新立刻显示在界面上而不是等swing的主线程返回后刷新，我们一般会在该语句后调用textArea.invalidate()和textArea.repaint()。
问题是这个方法并不能有任何效果，textArea的内容没有任何变化，这或许是swing的一个bug，有一个笨拙的办法可以实现
- servlet或struts的Action处理ajax请求
g21121
servlet
其实处理ajax的请求非常简单，直接看代码就行了：
//如果用的是struts
//HttpServletResponse response = ServletActionContext.getResponse();
// 设置输出为文字流
response.setContentType("text/plain");
// 设置字符集
res
- FineReport的公式编辑框的语法简介
老A不折腾
finereport公式总结
FINEREPORT用到公式的地方非常多，单元格（以=开头的便被解析为公式），条件显示，数据字典，报表填报属性值定义，图表标题，轴定义，页眉页脚，甚至单元格的其他属性中的鼠标悬浮提示内容都可以写公式。
简单的说下自己感觉的公式要注意的几个地方：
1.if语句语法刚接触感觉比较奇怪，if(条件式子,值1,值2)，if可以嵌套，if(条件式子1，值1，if(条件式子2，值2，值3)
- linux mysql 数据库乱码的解决办法
墙头上一根草
linuxmysql数据库乱码
linux 上mysql数据库区分大小写的配置
lower_case_table_names=1 1-不区分大小写 0-区分大小写
修改/etc/my.cnf 具体的修改内容如下:
[client]
default-character-set=utf8
[mysqld]
datadir=/var/lib/mysql
socket=/va
- 我的spring学习笔记6-ApplicationContext实例化的参数兼容思想
aijuans
Spring 3
ApplicationContext能读取多个Bean定义文件，方法是：
ApplicationContext appContext = new ClassPathXmlApplicationContext（
new String[]｛“bean-config1.xml”，“bean-config2.xml”，“bean-config3.xml”，“bean-config4.xml
- mysql 基准测试之sysbench
annan211
基准测试mysql基准测试MySQL测试sysbench
1 执行如下命令，安装sysbench-0.5：
tar xzvf sysbench-0.5.tar.gz
cd sysbench-0.5
chmod +x autogen.sh
./autogen.sh
./configure --with-mysql --with-mysql-includes=/usr/local/mysql
- sql的复杂查询使用案列与技巧
百合不是茶
oraclesql函数数据分页合并查询
本片博客使用的数据库表是oracle中的scott用户表;
------------------- 自然连接查询
查询 smith 的上司(两种方法)
&
- 深入学习Thread类
bijian1013
javathread多线程java多线程
一． 线程的名字
下面来看一下Thread类的name属性，它的类型是String。它其实就是线程的名字。在Thread类中，有String getName()和void setName(String)两个方法用来设置和获取这个属性的值。
同时，Thr
- JSON串转换成Map以及如何转换到对应的数据类型
bijian1013
javafastjsonnet.sf.json
在实际开发中，难免会碰到JSON串转换成Map的情况，下面来看看这方面的实例。另外，由于fastjson只支持JDK1.5及以上版本，因此在JDK1.4的项目中可以采用net.sf.json来处理。
一.fastjson实例
JsonUtil.java
package com.study;
impor
- 【RPC框架HttpInvoker一】HttpInvoker：Spring自带RPC框架
bit1129
spring
HttpInvoker是Spring原生的RPC调用框架，HttpInvoker同Burlap和Hessian一样，提供了一致的服务Exporter以及客户端的服务代理工厂Bean，这篇文章主要是复制粘贴了Hessian与Spring集成一文，【RPC框架Hessian四】Hessian与Spring集成
在
【RPC框架Hessian二】Hessian 对象序列化和反序列化一文中
- 【Mahout二】基于Mahout CBayes算法的20newsgroup的脚本分析
bit1129
Mahout
#!/bin/bash
#
# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements. See the NOTICE file distributed with
# this work for additional information re
- nginx三种获取用户真实ip的方法
ronin47
随着nginx的迅速崛起，越来越多公司将apache更换成nginx. 同时也越来越多人使用nginx作为负载均衡, 并且代理前面可能还加上了CDN加速，但是随之也遇到一个问题：nginx如何获取用户的真实IP地址,如果后端是apache,请跳转到<apache获取用户真实IP地址>，如果是后端真实服务器是nginx，那么继续往下看。
实例环境： 用户IP 120.22.11.11
- java-判断二叉树是不是平衡
bylijinnan
java
参考了
http://zhedahht.blog.163.com/blog/static/25411174201142733927831/
但是用java来实现有一个问题。
由于Java无法像C那样“传递参数的地址，函数返回时能得到参数的值”，唯有新建一个辅助类：AuxClass
import ljn.help.*;
public class BalancedBTree {
- BeanUtils.copyProperties VS PropertyUtils.copyProperties
诸葛不亮
PropertyUtilsBeanUtils
BeanUtils.copyProperties VS PropertyUtils.copyProperties
作为两个bean属性copy的工具类，他们被广泛使用，同时也很容易误用，给人造成困然；比如：昨天发现同事在使用BeanUtils.copyProperties copy有integer类型属性的bean时，没有考虑到会将null转换为0，而后面的业
- [金融与信息安全]最简单的数据结构最安全
comsci
数据结构
现在最流行的数据库的数据存储文件都具有复杂的文件头格式，用操作系统的记事本软件是无法正常浏览的，这样的情况会有什么问题呢？
从信息安全的角度来看，如果我们数据库系统仅仅把这种格式的数据文件做异地备份，如果相同版本的所有数据库管理系统都同时被攻击，那么
- vi区段删除
Cwind
linuxvi区段删除
区段删除是编辑和分析一些冗长的配置文件或日志文件时比较常用的操作。简记下vi区段删除要点备忘。
vi概述
引文中并未将末行模式单独列为一种模式。单不单列并不重要，能区分命令模式与末行模式即可。
vi区段删除步骤：
1. 在末行模式下使用:set nu显示行号
非必须，随光标移动vi右下角也会显示行号，能够正确找到并记录删除开始行
- 清除tomcat缓存的方法总结
dashuaifu
tomcat缓存
用tomcat容器，大家可能会发现这样的问题，修改jsp文件后，但用IE打开 依然是以前的Jsp的页面。
出现这种现象的原因主要是tomcat缓存的原因。
解决办法如下:
在jsp文件头加上
<meta http-equiv="Expires" content="0"> <meta http-equiv="kiben&qu
- 不要盲目的在项目中使用LESS CSS
dcj3sjt126com
Webless
如果你还不知道LESS CSS是什么东西，可以看一下这篇文章，是我一朋友写给新人看的《CSS——LESS》
不可否认，LESS CSS是个强大的工具，它弥补了css没有变量、无法运算等一些“先天缺陷”，但它似乎给我一种错觉，就是为了功能而实现功能。
比如它的引用功能
?
.rounded_corners{
- [入门]更上一层楼
dcj3sjt126com
PHPyii2
更上一层楼
通篇阅读完整个“入门”部分，你就完成了一个完整 Yii 应用的创建。在此过程中你学到了如何实现一些常用功能，例如通过 HTML 表单从用户那获取数据，从数据库中获取数据并以分页形式显示。你还学到了如何通过 Gii 去自动生成代码。使用 Gii 生成代码把 Web 开发中多数繁杂的过程转化为仅仅填写几个表单就行。
本章将介绍一些有助于更好使用 Yii 的资源：
- Apache HttpClient使用详解
eksliang
httpclienthttp协议
Http协议的重要性相信不用我多说了，HttpClient相比传统JDK自带的URLConnection，增加了易用性和灵活性（具体区别，日后我们再讨论），它不仅是客户端发送Http请求变得容易，而且也方便了开发人员测试接口（基于Http协议的），即提高了开发的效率，也方便提高代码的健壮性。因此熟练掌握HttpClient是很重要的必修内容，掌握HttpClient后，相信对于Http协议的了解会
- zxing二维码扫描功能
gundumw100
androidzxing
经常要用到二维码扫描功能
现给出示例代码
import com.google.zxing.WriterException;
import com.zxing.activity.CaptureActivity;
import com.zxing.encoding.EncodingHandler;
import android.app.Activity;
import an
- 纯HTML+CSS带说明的黄色导航菜单
ini
htmlWebhtml5csshovertree
HoverTree带说明的CSS菜单:纯HTML+CSS结构链接带说明的黄色导航
在线体验效果：http://hovertree.com/texiao/css/1.htm代码如下,保存到HTML文件可以看到效果：
<!DOCTYPE html >
<html >
<head>
<title>HoverTree
- fastjson初始化对性能的影响
kane_xie
fastjson序列化
之前在项目中序列化是用thrift，性能一般，而且需要用编译器生成新的类，在序列化和反序列化的时候感觉很繁琐，因此想转到json阵营。对比了jackson，gson等框架之后，决定用fastjson，为什么呢，因为看名字感觉很快。。。
网上的说法：
fastjson 是一个性能很好的 Java 语言实现的 JSON 解析器和生成器，来自阿里巴巴的工程师开发。
- 基于Mybatis封装的增删改查实现通用自动化sql
mengqingyu
DAO
1.基于map或javaBean的增删改查可实现不写dao接口和实现类以及xml，有效的提高开发速度。
2.支持自定义注解包括主键生成、列重复验证、列名、表名等
3.支持批量插入、批量更新、批量删除
<bean id="dynamicSqlSessionTemplate" class="com.mqy.mybatis.support.Dynamic
- js控制input输入框的方法封装(数字，中文，字母，浮点数等)
qifeifei
javascript js
在项目开发的时候，经常有一些输入框，控制输入的格式，而不是等输入好了再去检查格式，格式错了就报错，体验不好。 /** 数字，中文，字母,浮点数(+/-/.) 类型输入限制，只要在input标签上加上 jInput="number,chinese,alphabet,floating" 备注：floating属性只能单独用*/
funct
- java 计时器应用
tangqi609567707
javatimer
mport java.util.TimerTask; import java.util.Calendar; public class MyTask extends TimerTask { private static final int
- erlang输出调用栈信息
wudixiaotie
erlang
在erlang otp的开发中，如果调用第三方的应用，会有有些错误会不打印栈信息，因为有可能第三方应用会catch然后输出自己的错误信息，所以对排查bug有很大的阻碍，这样就要求我们自己打印调用的栈信息。用这个函数：erlang:process_display (self (), backtrace).需要注意这个函数只会输出到标准错误输出。
也可以用这个函数：erlang:get_s
