- `计算机知识` 租云服务器, Docker
supimo
计算机知识服务器运维docker
catalog云服务器Docker阿里云重载系统创建用户配置免密登录安装tmux安装DockerDocker命令配置统一镜像docker容器配置云服务器云平台的作用存放docket容器,让运算操作运行在云端获得一个公网IP,让别人可以访问云服务器的分类1,毛坯,即这个服务器是NULL的,然后我们自定义的去配置.比如一些项目框架django,thrift,是使用这种2,现成,比如数据库db,不用我们
- thrift RPC调用性能对比
飞稀饭你的微笑
1.测试环境CPU：IntelE5-26402.50GHz(8cores)内存：16GBCentOS6.5，Go1.4、Gcc4.4.6，开启tcpreuse,tcprecycle；2.测试数据对比如下一、单进程下，长短连接，两个RPC框架和两大语言对比二二.多进程（线程，协程）下，两大RPC框架和两大语言对比总结：1)Thrift框架性能比gRPC框架快两倍以上；2)高并发场景下，使用Thrif
- python利用pyhive 连接hive
Leonban
《Python基础知识》pythonhive大数据
1.下载需求包pipinstallsaslpipinstallthriftpipinstallthrift-saslpipinstallPyHive2.连接hive注意端口默认为10000frompyhiveimporthiveconn=hive.Connection(host='192.168.100.100',port=10000,username='root',database='defau
- python连接hive--Pyhive
Elvis_hui
hivehivepythonsql
Pyhive安装包pipinstallsaslpipinstallthriftpipinstallthrift-saslpipinstallPyHive#安装对应的包sasl可能会报错#下载sasl文件sasl下载执行语句第一种frompyhiveimporthivedefselect_pyhive(sql):#创建hive连接conn=hive.Connection(host='##',port
- Spark-第六周
fightingD&W
Sparkspark大数据分布式
1.sparksql运行流程【Spark精讲】一文讲透SparkSQL执行过程_sparksql执行过程-CSDN博客摸鱼大数据——SparkSQL——SparkSQL的运行机制-CSDN博客2.熟练使用thriftserver服务thriftserver和beeline的使用，代码连接server（连接hive）_thrift连接hive-CSDN博客【八】thriftserver和beelin
- 从零开始基于go-thrift创建一个RPC服务
weixin_30371875
golangphpjson
Thrift是一种被广泛使用的rpc框架，可以比较灵活的定义数据结构和函数输入输出参数，并且可以跨语言调用。为了保证服务接口的统一性和可维护性，我们需要在最开始就制定一系列规范并严格遵守，降低后续维护成本。Thrift开发流程是：先定义IDL，使用thrift工具生成目标语言接口(interface)代码，然后进行开发。官网：http://thrift.apache.org/github：http
- 大规模时序数据存储（三）| 核心功能设计
AIOPstack
作者简介运小尧百度高级研发工程师一、简介基本功能方面，我们的TSDB在数据的收集上提供了HTTP、Thrift等API；对查询，除了提供API之外还提供了命令行工具（CLITool），这些基本功能的设计在不同的TSDB中大同小异，因此本文不再赘述。由于数据规模庞大且出于业务数据隔离和定期清理的需要，我们设计了分库分表功能；为了提升历史数据存储和查询效率，同时节省存储成本，我们又设计了多级降采样功能
- spark CTAS nuion all （union all的个数很多）导致超过spark.driver.maxResultSize配置（2G）
鸿乃江边鸟
背景该sql运行在spark版本3.1.2下的thriftserver下现象在运行包含多个union的sparksql的时候报错（该sql包含了50多个uinon，且每个union字查询中会包含join操作），其中union中子查询sql类似如下：SELECTa1.order_no,a1.need_column,a1.join_idFROMtemp.actul_aa1jointemp.actul_
- 微服务（四）
Jiandong
服务发现这是第四章，这本书是关于用微服务构建应用。第一章介绍了微服务架构模式和讨论了采用微服务的优缺点。第二章和第三章描述了微服务之间通讯的各个方面。本章，我们探索服务发现相关的问题。为什么要用服务发现？让我们想象一下你正在写一些代码通过RESTAPI或ThriftAPI调用一个服务。为了发起一个请求，你的代码需要知道这个服务实例的网络地址（IP地址和端口号）。运行在物理机上的传统应用，服务实例的
- Java原生序列化和Kryo序列化性能比较
编码前线
1.背景最近几年，各种新的高效序列化方式层出不穷，不断刷新序列化性能的上限，最典型的包括：专门针对Java语言的：Kryo，FST等等跨语言的：Protostuff，ProtoBuf，Thrift，Avro，MsgPack等等这些序列化方式的性能多数都显著优于hessian2（。有鉴于此，我们为dubbo引入Kryo和FST这两种高效Java序列化实现，来逐步取代hessian2。其中，Kryo是
- 接口自动化测试，完整入门篇
.咖啡加剁椒
软件测试功能测试软件测试自动化测试程序人生职场和发展
目录1.什么是接口测试2.基本流程3.需求分析4.用例设计5.脚本开发6.结果分析7.完整脚本8.参考资料1.什么是接口测试顾名思义，接口测试是对系统或组件之间的接口进行测试，主要是校验数据的交换，传递和控制管理过程，以及相互逻辑依赖关系。其中接口协议分为HTTP,WebService,Dubbo,Thrift,Socket等类型，测试类型又主要分为功能测试，性能测试，稳定性测试，安全性测试等。在
- Spark 使用之操作Hudi表
AlienPaul
HudiSpark使用本篇为大家带来通过Sparkshell和SparkSQL操作Hudi表的方式。Hudi表还可以通过SparkThriftServer操作，参见通过Sparkthriftserver操作Hudi表。Hudi编译我们使用如下软件环境：Scala2.12Flink1.15Spark3.3Hudi0.13.1Hudi编译的时候会遇到依赖下载缓慢的情况。需要换用国内源。修改settin
- rpc协议中，字段值类型改变的思考
赤子心_d709
背景今天遇到了一个场景，下游强行把某个字段的类型给改了(字段顺序没有变)，上线的过程中上下游都没有出错，和我预想的不一样，我认为上游反序列化解析的时候会出错python语言，thrift协议当然这样的做法不推荐，这里只说明一下上游没有报错的原因代码框架上：用的是thrift，当然是公司封装了一层，对于我rpcclient，也就是上游，影响的代码如下eliffid==11:ifftype==TTyp
- c# 访问hbase_【C#】透过Thrift操作HBase系列
weixin_39946500
c#访问hbase
题外话：C#调用Java的几种方法1.将Java端的接口通过WebService方式发布，C#可以方便的调用2.先使用C++通过JNI调用Java，C#调用C++的接口3.使用开源的库直接使用C#调用Java，详细信息请点击4.使用IKVM实现C#调用Java，参考：http://www.ikvm.net/之所以说这些，是因为自己这边客户端要调用HBase接口(Java实现)，刚开始我是使用WS方
- thrift协议抓包解析（tcpdump+wireshark or thrift-tool)
struggle6688
常用技术
目前thrift使用较多，所以我们可能会遇到线上查case或者想拉取一些具体请求的场景，这种需求下如果没有提前打日志就只能通过抓包来分析了。一、tcpdump+wireshark抓包第一反应就是通过tcpdump命令来抓取，其中比较常用的命令就是sudotcpdump-iany-Xvvdstport11311andtcp这种情况下的包通常都是二进制的格式，通过-Xvv也就能展现成这个样子：当然我们
- Wireshark不显示Thrift协议
cuijiecheng2018
网络/服务器wireshark网络
使用Wireshark对thrift协议进行抓包，但是只显示了传输层的tcp协议："右键"->"DecodeAs"选择thrift的tcp端口将“当前”修改为Thrift，然后点击“确定”设置后，可以发现Wireshark里面显示的协议从Tcp变为Thrift了参考：《thrift协议抓包解析（tcpdump+wiresharkorthrift-tool)》《pinterest/thrift-to
- springboot hikari jooq mongodb thrift 相关配置
Helen_Cat
image.png之前使用的数据库连接池是ali的Druid，不过springboot默认是使用Hikari作为数据库连接池的，听说要比Druid更优秀一些。正常我们使用Druid和spring的jdbcTemplate一起操作，不过JDBCTemplate好像不是纯面向对象的数据库操作，拼写sql，总是感觉弱弱的，也容易出错还有就是mybatis，这个吧，要为每个sqltemplate都要配置一
- 5年经验之谈：2年功能测试、3年自动化测试，从入门到不可自拔...
豆子熊
毕业3年了，学的是环境工程专业，毕业后零基础转行做软件测试。已近从事测试行业8年了，自己也从事过2年的手工测试，从事期间越来越觉得如果一直在手工测试的道路上前进，并不会有很大的发展，所以通过自己的努力，早几年已经成功的转入自动化测试的方向，又过去了这么久，现在就职于美团测试开发框架组，搭建过美团platuo测试框架，thrift测试框架，自动化测试平台，熟悉python3，java，vue，在多家
- 数据格式--二进制格式
MontyOak
Thrift与ProtocolBuffers在大量调用或者需要传输大量数据的时候，数据编码之后的体积大小就是一个尤为关键的因素。ApacheThrift和ProtocolBuffers(protobuf)就是业界最为知名的两种二进制编码格式。其中前者由Facebook发起并贡献给了Apache作为开源项目，后者则有Google发起并开源。两者格式有很多相似之处，一般都是作为接口定义语言(IDL)配
- Kuberntes DNS
zhixingheyi_tian
DNSkubernetes
查找服务端点#kubectlgetendpointsNAMEENDPOINTSAGEdocker-registry172.17.0.10:500019dkubernetes10.0.2.41:844319drouter10.0.2.41:1936,10.0.2.41:80,10.0.2.41:44319dsparkthrift-headless172.17.0.12:18887dWhenyouar
- 使用Dubbo实现微服务之间的高效通信
程序吟游
分布式微服务dubbo
目录一、RPC与Dubbo二、Springboot整合Dubbo服务端实现消费端实现一、RPC与DubboRPC（RemoteProcedureCall）是指远程过程调用。常见的RPC框架有Dubbo（Alibaba）、gRPC（Google）、Thrift（Facebook）。其中Dubbo是一款JavaRPC框架，致力于提供高性能的RPC远程服务调用方案。以帮助开发人员快速构建高效的分布式系统
- 使用haproxy做impala的负载均衡
要树立远大的理想
Impala负载均衡impalahaproxy
1.IMPALA组件概述Impala组件包含3个子模块（ImpalaCatalogServer、ImpalaStateStore、ImpalaDaemon），如图所示：其中ImpalaCatalogServer与ImpalaStateStore是无数据、无状态的模块，没有高可用的需求更不需要做负载均衡；ImpalaDaemon模块的每一个节点都可以提供jdbc和thrift服务（作为coordin
- HBase实践篇 _ 为HBase的ThriftAPI设计连接池
大猿小猿向前冲
[toc]1.摘要客户端连接HBase，常用的方式主要有两种，直连Zookeeper和连接HBaseThriftServer。第一种是Java中常用的方式，官方在hbase-client包里提供了丰富的API，另一种是HBase的thriftapi，主要在跨语言环境中使用。我们线上大部分的业务是由happybase封装的PythonAPI来提供数据的读写服务，小部分业务则是用Java语言，例如：F
- （四）hive的搭建2
调试大师
大数据Hadoophivehadoop数据仓库
在（三）hive的搭建1中我们搭建好了hive环境，但是只能本地访问，在本节中配置Hive的访问方式。1.元数据服务的方式1.1编辑hive-site.xmlsudovihive-site.xml在文件最后增加以下内容hive.metastore.uristhrift://hadoop-master:90831.2启动metastore执行命令hive–servicemetastore（此命令启动
- DNS 代理？Pipy：这我也可以
dotNET跨平台
Pipy是个可编程代理，曾经我们做过TCP/HTTP代理、MQTT代理、Dubbo代理、Redis代理、Thrift代理。前几天有人问DNS[1]的代理能不能做？当然可以，而且DNS代理已经应用在跨集群流量调度中，文末经对此进行简单地介绍。阅读本文将了解到：•DNS的基本介绍以及DNS的处理流程•使用编码实现一个DNS代理•在代理中增加智能线路解析功能DNS介绍DNS（DomainNameSyst
- Java在网络通信中应该如何选择合适的序列化框架?
coffee_babe
Netty网络IOjava开发语言序列化
前言说到网络通信就会牵涉到数据的序列化与反序列化，现如今序列化框架也是层出不穷，比如FST、Kryo、ProtoBuffer、Thrift、Hessian、Avro、MsgPack等等，有的人可能会有疑问，为什么市面上有这么多框架，JDK不是已经有自带的Serializable序列化接口吗?很遗憾地说出这个事实，作为JDK自带地序列化机制，无论是在时间还是空间上的性能不尽人意，但凡时间或者空间上性
- dubbo--03--- dubbo 支持的9种协议
知行合一。。。
dubbo
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录Dubbo框架特性Dubbo和SpringCloud区别dubbo支持的9种协议协议类型1、dubbo协议(==默认==)特性配置常见问题2、rmi协议3、hessian协议4、http协议特性5、webservice协议6、thrift协议
调用ArrayList的toArray方法。
toArray
public T[] toArray(T[] a)返回一个按照正确的顺序包含此列表中所有元素的数组；返回数组的运行时类型就是指定数组的运行时类型。如果列表能放入指定的数组，则返回放入此列表元素的数组。否则，将根据指定数组的运行时类型和此列表的大小分
- Shell 流程控制
daizj
流程控制if elsewhilecaseshell
Shell 流程控制
和Java、PHP等语言不一样，sh的流程控制不可为空，如(以下为PHP流程控制写法)：
<?php
if(isset($_GET["q"])){
search(q);}else{// 不做任何事情}
在sh/bash里可不能这么写，如果else分支没有语句执行，就不要写这个else，就像这样 if else if
if 语句语
- Linux服务器新手操作之二
周凡杨
Linux 简单 操作
1.利用关键字搜寻Man Pages man -k keyword 其中-k 是选项，keyword是要搜寻的关键字 如果现在想使用whoami命令，但是只记住了前3个字符who，就可以使用 man -k who来搜寻关键字who的man命令 [haself@HA5-DZ26 ~]$ man -k
- socket聊天室之服务器搭建
朱辉辉33
socket
因为我们做的是聊天室，所以会有多个客户端，每个客户端我们用一个线程去实现，通过搭建一个服务器来实现从每个客户端来读取信息和发送信息。
我们先写客户端的线程。
public class ChatSocket extends Thread{
Socket socket;
public ChatSocket(Socket socket){
this.sock
- 利用finereport建设保险公司决策分析系统的思路和方法
老A不折腾
finereport金融保险分析系统报表系统项目开发
决策分析系统呈现的是数据页面，也就是俗称的报表，报表与报表间、数据与数据间都按照一定的逻辑设定，是业务人员查看、分析数据的平台，更是辅助领导们运营决策的平台。底层数据决定上层分析，所以建设决策分析系统一般包括数据层处理（数据仓库建设）。
项目背景介绍
通常，保险公司信息化程度很高，基本上都有业务处理系统（像集团业务处理系统、老业务处理系统、个人代理人系统等）、数据服务系统（通过
- 始终要页面在ifream的最顶层
林鹤霄
index.jsp中有ifream，但是session消失后要让login.jsp始终显示到ifream的最顶层。。。始终没搞定，后来反复琢磨之后，得到了解决办法，在这儿给大家分享下。。
index.jsp--->主要是加了颜色的那一句
<html>
<iframe name="top" ></iframe>
<ifram
- MySQL binlog恢复数据
aigo
mysql
1，先确保my.ini已经配置了binlog：
# binlog
log_bin = D:/mysql-5.6.21-winx64/log/binlog/mysql-bin.log
log_bin_index = D:/mysql-5.6.21-winx64/log/binlog/mysql-bin.index
log_error = D:/mysql-5.6.21-win
- OCX打成CBA包并实现自动安装与自动升级
alxw4616
ocxcab
近来手上有个项目,需要使用ocx控件
(ocx是什么?
http://baike.baidu.com/view/393671.htm)
在生产过程中我遇到了如下问题.
1. 如何让 ocx 自动安装?
a) 如何签名?
b) 如何打包?
c) 如何安装到指定目录?
2.
- Hashmap队列和PriorityQueue队列的应用
百合不是茶
Hashmap队列PriorityQueue队列
HashMap队列已经是学过了的,但是最近在用的时候不是很熟悉,刚刚重新看以一次,
HashMap是K,v键 ,值
put()添加元素
//下面试HashMap去掉重复的
package com.hashMapandPriorityQueue;
import java.util.H
- JDK1.5 returnvalue实例
bijian1013
javathreadjava多线程returnvalue
Callable接口：
返回结果并且可能抛出异常的任务。实现者定义了一个不带任何参数的叫做 call 的方法。
Callable 接口类似于 Runnable，两者都是为那些其实例可能被另一个线程执行的类设计的。但是 Runnable 不会返回结果，并且无法抛出经过检查的异常。
ExecutorService接口方
- angularjs指令中动态编译的方法(适用于有异步请求的情况) 内嵌指令无效
bijian1013
JavaScriptAngularJS
在directive的link中有一个$http请求，当请求完成后根据返回的值动态做element.append('......');这个操作，能显示没问题，可问题是我动态组的HTML里面有ng-click，发现显示出来的内容根本不执行ng-click绑定的方法！
- 【Java范型二】Java范型详解之extend限定范型参数的类型
bit1129
extend
在第一篇中，定义范型类时，使用如下的方式：
public class Generics<M, S, N> {
//M,S,N是范型参数
}
这种方式定义的范型类有两个基本的问题：
1. 范型参数定义的实例字段，如private M m = null;由于M的类型在运行时才能确定，那么我们在类的方法中，无法使用m，这跟定义pri
- 【HBase十三】HBase知识点总结
bit1129
hbase
1. 数据从MemStore flush到磁盘的触发条件有哪些？
a.显式调用flush，比如flush 'mytable'
b.MemStore中的数据容量超过flush的指定容量，hbase.hregion.memstore.flush.size,默认值是64M 2. Region的构成是怎么样？
1个Region由若干个Store组成
- 服务器被DDOS攻击防御的SHELL脚本
ronin47
mkdir /root/bin
vi /root/bin/dropip.sh
#!/bin/bash/bin/netstat -na|grep ESTABLISHED|awk ‘{print $5}’|awk -F:‘{print $1}’|sort|uniq -c|sort -rn|head -10|grep -v -E ’192.168|127.0′|awk ‘{if($2!=null&a
- java程序员生存手册-craps 游戏-一个简单的游戏
bylijinnan
java
import java.util.Random;
public class CrapsGame {
/**
*
*一个简单的赌*博游戏，游戏规则如下：
*玩家掷两个骰子，点数为1到6，如果第一次点数和为7或11，则玩家胜，
*如果点数和为2、3或12，则玩家输，
*如果和为其它点数，则记录第一次的点数和，然后继续掷骰，直至点数和等于第一次掷出的点
- TOMCAT启动提示NB: JAVA_HOME should point to a JDK not a JRE解决
开窍的石头
JAVA_HOME
当tomcat是解压的时候，用eclipse启动正常，点击startup.bat的时候启动报错;
报错如下：
The JAVA_HOME environment variable is not defined correctly
This environment variable is needed to run this program
NB: JAVA_HOME shou
- [操作系统内核]操作系统与互联网
comsci
操作系统
我首先申明：我这里所说的问题并不是针对哪个厂商的，仅仅是描述我对操作系统技术的一些看法
操作系统是一种与硬件层关系非常密切的系统软件，按理说，这种系统软件应该是由设计CPU和硬件板卡的厂商开发的，和软件公司没有直接的关系，也就是说，操作系统应该由做硬件的厂商来设计和开发
- 富文本框ckeditor_4.4.7 文本框的简单使用 支持IE11
cuityang
富文本框
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
<title>知识库内容编辑</tit
- Property null not found
darrenzhu
datagridFlexAdvancedpropery null
When you got error message like "Property null not found ***", try to fix it by the following way:
1)if you are using AdvancedDatagrid, make sure you only update the data in the data prov
- MySQl数据库字符串替换函数使用
dcj3sjt126com
mysql函数替换
需求：需要将数据表中一个字段的值里面的所有的 . 替换成 _
原来的数据是 site.title site.keywords ....
替换后要为 site_title site_keywords
使用的SQL语句如下：
updat
- mac上终端起动MySQL的方法
dcj3sjt126com
mysqlmac
首先去官网下载: http://www.mysql.com/downloads/
我下载了5.6.11的dmg然后安装,安装完成之后..如果要用终端去玩SQL.那么一开始要输入很长的:/usr/local/mysql/bin/mysql
这不方便啊,好想像windows下的cmd里面一样输入mysql -uroot -p1这样...上网查了下..可以实现滴.
打开终端,输入:
1
- Gson使用一（Gson）
eksliang
jsongson
转载请出自出处：http://eksliang.iteye.com/blog/2175401 一.概述
从结构上看Json，所有的数据（data）最终都可以分解成三种类型：
第一种类型是标量（scalar），也就是一个单独的字符串（string）或数字（numbers），比如"ickes"这个字符串。
第二种类型是序列（sequence），又叫做数组（array）
- android点滴4
gundumw100
android
Android 47个小知识
http://www.open-open.com/lib/view/open1422676091314.html
Android实用代码七段（一）
http://www.cnblogs.com/over140/archive/2012/09/26/2611999.html
http://www.cnblogs.com/over140/arch
- JavaWeb之JSP基本语法
ihuning
javaweb
目录
JSP模版元素
JSP表达式
JSP脚本片断
EL表达式
JSP注释
特殊字符序列的转义处理
如何查找JSP页面中的错误
JSP模版元素
JSP页面中的静态HTML内容称之为JSP模版元素，在静态的HTML内容之中可以嵌套JSP
- App Extension编程指南（iOS8/OS X v10.10）中文版
啸笑天
ext
当iOS 8.0和OS X v10.10发布后，一个全新的概念出现在我们眼前，那就是应用扩展。顾名思义，应用扩展允许开发者扩展应用的自定义功能和内容，能够让用户在使用其他app时使用该项功能。你可以开发一个应用扩展来执行某些特定的任务，用户使用该扩展后就可以在多个上下文环境中执行该任务。比如说，你提供了一个能让用户把内容分
- SQLServer实现无限级树结构
macroli
oraclesqlSQL Server
表结构如下：
数据库id path titlesort 排序 1 0 首页 0 2 0,1 新闻 1 3 0,2 JAVA 2 4 0,3 JSP 3 5 0,2,3 业界动态 2 6 0,2,3 国内新闻 1
创建一个存储过程来实现，如果要在页面上使用可以设置一个返回变量将至传过去
create procedure test
as
begin
decla
- Css居中div，Css居中img，Css居中文本，Css垂直居中div
qiaolevip
众观千象学习永无止境每天进步一点点css
/**********Css居中Div**********/
div.center {
width: 100px;
margin: 0 auto;
}
/**********Css居中img**********/
img.center {
display: block;
margin-left: auto;
margin-right: auto;
}
- Oracle 常用操作(实用)
吃猫的鱼
oracle
SQL>select text from all_source where owner=user and name=upper('&plsql_name');
SQL>select * from user_ind_columns where index_name=upper('&index_name'); 将表记录恢复到指定时间段以前
- iOS中使用RSA对数据进行加密解密
witcheryne
iosrsaiPhoneobjective c
RSA算法是一种非对称加密算法,常被用于加密数据传输.如果配合上数字摘要算法, 也可以用于文件签名.
本文将讨论如何在iOS中使用RSA传输加密数据. 本文环境
mac os
openssl-1.0.1j, openssl需要使用1.x版本, 推荐使用[homebrew](http://brew.sh/)安装.
Java 8
RSA基本原理
RS
