QBit

qbit 的 vim 基本配置（vimrc）

本文内容在Ubuntu18.04/20.04上有效在用户home目录下创建.vimrcvim~/.vimrc在.vimrc中写入以下内容"避免兼容模式不能充分利用vim新功能"设置不兼容visetnocompatible"设置leader，后面的就是逗号letmapleader=','"设置编辑vimrc的快捷方式（,ev）nnoremapev:vsplit~/.vimrc"不退出编辑器重新载入.
qbit·2020-08-20 23:50

qbit 的 vim 基本配置（vimrc）

本文内容在Ubuntu18.04/20.04上有效在用户home目录下创建.vimrcvim~/.vimrc在.vimrc中写入以下内容"避免兼容模式不能充分利用vim新功能"设置不兼容visetnocompatible"设置leader，后面的就是逗号letmapleader=','"设置编辑vimrc的快捷方式（,ev）nnoremapev:vsplit~/.vimrc"不退出编辑器重新载入.
qbit·2020-08-20 23:50

Elasticsearch Analyzer

前言qbit使用的Elasticsearch版本为7.x推荐学习阮一鸣《Elasticsearch核心技术与实战》Analyzer组成部分分析器（analyzer）由三部分组成：字符过滤器（CharacterFilters
qbit·2020-08-20 23:03

Python3 map/reduce/filter 示例（qbit）

运行环境Windows10Python3.8.2PyFunctional1.3.0示例原料lst=[-2,-1,0,1,2]筛正数（filter）#方式一list(filter(lambdax:x>0,lst))#方式二[xforxinlstifx>0]output[1,2]翻倍（map）#方式一list(map(lambdax:x*2,lst))#方式二[x*2forxinlst]output[
qbit·2020-08-20 22:22

cefpython3 调用浏览器示例（qbit）

引子ChromiumEmbeddedFramework（CEF）是个基于GoogleChromium项目的开源Webbrowser控件，支持Windows，Linux，Mac平台。CEFPython为CEF提供Python绑定。cefpython3并未全部实现CEF所有接口，CefSharp紧跟CEF实现，如果对Python和C#都熟悉，CefSharp是更好的选择。示例访问并保存网页本节代码主要
qbit·2020-08-20 22:48

cefpython3 调用浏览器示例（qbit）

引子ChromiumEmbeddedFramework（CEF）是个基于GoogleChromium项目的开源Webbrowser控件，支持Windows，Linux，Mac平台。CEFPython为CEF提供Python绑定。cefpython3并未全部实现CEF所有接口，CefSharp紧跟CEF实现，如果对Python和C#都熟悉，CefSharp是更好的选择。示例访问并保存网页本节代码主要
qbit·2020-08-20 22:48

数据库相关概念梳理（qbit）

Normalization/Denormalization本节内容是阮一鸣《Elasticsearch核心技术与实战》的学习笔记，第49课·对象及Nested对象范式化设计Normalization概念设计关系数据库时，遵从不同的规范要求，设计出合理的关系型数据库，这些不同的规范要求被称为不同的范式，各种范式呈递次规范，越高的范式数据库冗余越小。Normalization优点节省存储空间，并减少不
qbit·2020-08-20 22:30

数据库相关概念梳理（qbit）

Normalization/Denormalization本节内容是阮一鸣《Elasticsearch核心技术与实战》的学习笔记，第49课·对象及Nested对象范式化设计Normalization概念设计关系数据库时，遵从不同的规范要求，设计出合理的关系型数据库，这些不同的规范要求被称为不同的范式，各种范式呈递次规范，越高的范式数据库冗余越小。Normalization优点节省存储空间，并减少不
qbit·2020-08-20 22:30

极简 Python 打包指南

本文由qbit整理自《pytest测试实战·附录D打包和发布Python项目》·BrianOkken著·华中科技大学出版社qbit的实验环境Windows10x64Python3.6.7x64项目的打包和发布很重要
qbit·2020-08-20 22:33

极简 Python 打包指南

本文由qbit整理自《pytest测试实战·附录D打包和发布Python项目》·BrianOkken著·华中科技大学出版社qbit的实验环境Windows10x64Python3.6.7x64项目的打包和发布很重要
qbit·2020-08-20 22:33

Python 虚拟环境简介（qbit）

管理Python版本pyenvSimplePythonVersionManagement与第三方包管理工具pyenv-virtualenv属于同一个项目Windows下建议使用pyenv-win分支GitHuburl：https://github.com/pyenv/pyenvalternativesLinux下可以用alternatives切换软件默认版本（不止是切换Python）Ubuntu-
qbit·2020-08-20 22:33

Python3 格式化时间

qbit经常用到当前时间和相对时间，用来统计程序执行的效率，简单记一下，便于copy。
qbit·2020-08-20 21:36

Python3 格式化时间

qbit经常用到当前时间和相对时间，用来统计程序执行的效率，简单记一下，便于copy。
qbit·2020-08-20 21:36

配置 Hue 访问 AWS S3 中国区（qbit）

Hue:HadoopUserExperience环境AWSemr-5.30.1Hue4.6.0qbit参照这两篇Hue官方文档搞了很久都没配好：文档一，文档二文档编写者估计没考虑到独立运营的AWS中国区用户的痛搞明白了也简单
qbit·2020-08-20 17:19

配置 Hue 访问 AWS S3 中国区（qbit）

Hue:HadoopUserExperience环境AWSemr-5.30.1Hue4.6.0qbit参照这两篇Hue官方文档搞了很久都没配好：文档一，文档二文档编写者估计没考虑到独立运营的AWS中国区用户的痛搞明白了也简单
qbit·2020-08-20 17:19

Windows 下运行 Hadoop 并部署到 AWS（qbit）

本文环境Windows10JDK8IntelliJIDEA2019.3.4(CommunityEdition)Hadoop2.8.5AWSEMR5.3.0单机程序新建Maven工程修改pom.xml配置4.0.0mapreducedemomapreducedemo1.0-SNAPSHOT2.8.5org.apache.hadoophadoop-client${hadoop.version}新建Pa
qbit·2020-08-20 17:09

Windows 下运行 Hadoop 并部署到 AWS（qbit）

本文环境Windows10JDK8IntelliJIDEA2019.3.4(CommunityEdition)Hadoop2.8.5AWSEMR5.3.0单机程序新建Maven工程修改pom.xml配置4.0.0mapreducedemomapreducedemo1.0-SNAPSHOT2.8.5org.apache.hadoophadoop-client${hadoop.version}新建Pa
qbit·2020-08-20 17:08

Java Maven 打包相关（qbit）

跳过测试跳过测试代码运行，不跳过测试代码编译mvn package -DskipTests跳过测试代码编译和运行mvnpackage-Dmaven.test.skip=truewarWebArchivefileJava之Maven打包本地jar到war中导出pom.xml依赖mvndependency:copy-dependencies-DoutputDirectory=lib中央仓库Apache
qbit·2020-08-20 16:54

Java Maven 打包相关（qbit）

跳过测试跳过测试代码运行，不跳过测试代码编译mvn package -DskipTests跳过测试代码编译和运行mvnpackage-Dmaven.test.skip=truewarWebArchivefileJava之Maven打包本地jar到war中导出pom.xml依赖mvndependency:copy-dependencies-DoutputDirectory=lib中央仓库Apache
qbit·2020-08-20 16:54

Python3 map/reduce/filter 示例（qbit）

运行环境Windows10Python3.8.2PyFunctional1.3.0示例原料lst=[-2,-1,0,1,2]筛正数（filter）#方式一list(filter(lambdax:x>0,lst))#方式二[xforxinlstifx>0]output[1,2]翻倍（map）#方式一list(map(lambdax:x*2,lst))#方式二[x*2forxinlst]output[
qbit·2020-08-20 16:15

Python3 map/reduce/filter 示例（qbit）

运行环境Windows10Python3.8.2PyFunctional1.3.0示例原料lst=[-2,-1,0,1,2]筛正数（filter）#方式一list(filter(lambdax:x>0,lst))#方式二[xforxinlstifx>0]output[1,2]翻倍（map）#方式一list(map(lambdax:x*2,lst))#方式二[x*2forxinlst]output[
qbit·2020-08-20 16:15

Elasticsearch Analyzer

前言qbit使用的Elasticsearch版本为7.x推荐学习阮一鸣《Elasticsearch核心技术与实战》Analyzer组成部分分析器（analyzer）由三部分组成：字符过滤器（CharacterFilters
qbit·2020-08-20 16:51

Elasticsearch Analyzer

前言qbit使用的Elasticsearch版本为7.x推荐学习阮一鸣《Elasticsearch核心技术与实战》Analyzer组成部分分析器（analyzer）由三部分组成：字符过滤器（CharacterFilters
qbit·2020-08-20 16:51

Python 虚拟环境简介（qbit）

管理Python版本pyenvSimplePythonVersionManagement与第三方包管理工具pyenv-virtualenv属于同一个项目Windows下建议使用pyenv-win分支GitHuburl：https://github.com/pyenv/pyenvalternativesLinux下可以用alternatives切换软件默认版本（不止是切换Python）Ubuntu-
qbit·2020-08-20 16:13

Python 虚拟环境简介（qbit）

管理Python版本pyenvSimplePythonVersionManagement与第三方包管理工具pyenv-virtualenv属于同一个项目Windows下建议使用pyenv-win分支GitHuburl：https://github.com/pyenv/pyenvalternativesLinux下可以用alternatives切换软件默认版本（不止是切换Python）Ubuntu-
qbit·2020-08-20 16:13

QBit开发微服务

QBit开发微服务作者：chszs，版权所有，未经同意，不得转载。
chszs·2020-07-27 20:31

配置 Hue 访问 AWS S3 中国区（qbit）

Hue:HadoopUserExperience环境AWSemr-5.30.1Hue4.6.0qbit参照这两篇Hue官方文档搞了很久都没配好：文档一，文档二文档编写者估计没考虑到独立运营的AWS中国区用户的痛搞明白了也简单
qbit·2020-07-27 17:21

Ubuntu 20.04 LTS 挂载硬盘（qbit）

背景机器上有两块硬盘：一块256GB的SSD，一块4TB的机械硬盘原来装的Windows系统，改为装Ubuntu20.04LTS，SSD作为系统盘已装好查看磁盘信息#磁盘容量及分区状况（不能查看未挂载分区）df-Th#磁盘容量及分区状况（可以查看未挂载分区）sudofdisk-lsudolsblk-f#/lib目录大小du-sh/lib#/lib子目录大小du-sh/lib/*删除机械硬盘的Win
qbit·2020-07-08 19:08

Windows 下运行 Hadoop 并部署到 AWS（qbit）

本文环境Windows10JDK8IntelliJIDEA2019.3.4(CommunityEdition)Hadoop2.8.5AWSEMR5.3.0详细步骤新建Maven工程修改pom.xml配置4.0.0mapreducedemomapreducedemo1.0-SNAPSHOT2.8.5org.apache.hadoophadoop-client${hadoop.version}新建Pa
qbit·2020-07-08 13:40

Python 去除图片纯色边框（qbit）

前言本文主要参照TrimwhitespaceusingPIL试验环境Windows102004Python3.8.3Pillow7.1.2ImageMagick7.0.10除了Pillow以外，qbit
qbit·2020-06-23 13:45

Windows 原生 SSH 配置（qbit）

前言操作系统版本#客户端Windows102004#服务器Ubuntu18.04LTSssh目录#cmdC:\Users\qbit\.ssh>wheresshC:\Windows\System32\OpenSSH
qbit·2020-06-21 02:58

Windows Terminal 配置（qbit）

前言本文的试验环境Windows102004WindowsTerminal1.0本文的配置文件为C:\Users\qbit\AppData\Local\Packages\Microsoft.WindowsTerminal
qbit·2020-06-21 02:21

ip route 命令（qbit）

前言iproute2的iproute命令对标net-tools的route命令，可参考iproute2tips路由表（iprule）查看路由表#第一列是优先级，数值越小优先级越高#local：路由表local包含本机路由及广播信息。#main：使用传统命令route-n所看到的路由表就是main的内容。#default：default路由表在默认情况下内容为空；除非有特别的要求，否则保持其内容为空
qbit·2020-05-28 00:51

Ubuntu 20.04 LTS 安装 docker（qbit）

卸载旧版本docker在发展中产生了很多的名字（docker/docker.io/docker-engine），当前（2020/5/26）软件包名为docker-ce（DockerEngine-Community）。可以尝试清理旧版软件：$sudoaptremovedockerdocker-enginedocker.iocontainerdrunc安装依赖包#更新索引sudoaptupdate#安
qbit·2020-05-28 00:25

Elasticsearch 查询权重（qbit）

提升字段的权重multi_match默认type为best_fieldsGET/_search{"query":{"multi_match":{"query":"thisisatest","fields":["subject^3","message"]}}}most_fieldsGET/_search{"query":{"multi_match":{"query":"thisisatest","t
qbit·2020-05-27 23:09

jvisualvm 监控 tomcat 实例（qbit）

192.168.21.12）OS:Windows10JDK:1.8.0_162步骤服务端目录结构D:\solr\apache-tomcat-6.0.35D:\solr\jdk17VisualGC打开jvisualvm，qbit
qbit·2020-05-27 23:00

用 MongoDB 存放图片（qbit）

Windows10MongoDB4.2Python3.8pymongo3.10.1bson（小图片）bson用来存放小于16MB的小文件Python示例代码#encoding:utf-8#author:qbit
qbit·2020-05-27 23:28

MongoDB 语句备忘（qbit）

查询一个字段有哪几种取值#MySQLSELECTDISTINCT(fieldname)FROMtblname;//MQLdb.tblname.distinct("fieldname");取字段的前2位并去重#MySQLSELECTDISTINCT(SUBSTR(fieldname,1,2))FROMtblname;//MQLdb.collname.aggregate([{$project:{tmp
qbit·2020-05-27 23:12

Java Maven 打包相关（qbit）

跳过测试跳过测试代码运行，不跳过测试代码编译mvn package -DskipTests跳过测试代码编译和运行mvnpackage-Dmaven.test.skip=truewarWebArchivefileJava之Maven打包本地jar到war中中央仓库Apachecentral-reposCentralRepositoryhttps://repo.maven.apache.org/mav
qbit·2020-05-27 23:57

Elasticsearch 7.x 的 JVM 内存配置（qbit）

官方文档摘要jvm.options一般情况下并不需要更改JVM的配置项。最可能更改的JVM配置是堆大小（heapsize）可以使用jvm.options配置文件或ES_JAVA_OPTS环境变量更改JVM配置首选通过jvm.options更改配置heapsizeElasticsearch通过jvm.options中的Xms和Xmx设置堆的大小应该讲Xms和Xmx设为相同的值-Xms8g-Xmx8g
qbit·2020-05-27 23:31

图书馆相关知识（qbit）

专家视频索传军索传军:人民大学教师由数字馆藏到数据馆藏—大数据时代我们的价值zyz评价：重点讲解了图书馆“数据馆藏”这一核心概念。智能图书馆的资源组织模式—基于情景和语义的知识组织zyz评价：重点讲解了“知识组织”发展历程和形式知识图谱在图书馆的应用—智能图书馆的基础zyz评价：重点讲解了“知识图谱”的概念和实现邵波邵波:南京大学图书馆新一代服务平台环境下的数据管理和服务研究zyz评价：超星的智慧
qbit·2020-05-27 23:49

（qbit）

前言本文是《Spark权威指南》的学习笔记#英文原著《Spark:TheDefinitiveGuide》Bill Chambers/Matei Zaharia著2018年2月第一版#中文译著《Spark权威指南》张岩峰/王方京/陈晶晶译2020年4月第一版《Spark权威指南》大部分内容使用Spark2.2编写目录第I部分大数据与Spark概述第1章Spark是什么？（本文）第2章Spark浅析第
qbit·2020-05-27 23:42

MARC 数据解析（qbit）

前言MARC是MachineReadableCatalog(ue)的缩写，意即“机器可读目录”，即以代码形式和特定结构记录在计算机存储载体上的、用计算机识别与阅读的目录。MARC可一次输入，多次使用，是信息技术发展和资源共享要求的产物。MARC格式最早由美国国会图书馆设计。流行的MARC格式有US-MARC、MARC21、UNI-MARC、CN-MARC主流MARC格式US-MARC1998年年底
qbit·2020-05-27 23:28

rsync tips（qbit）

简介rsync是一款高效远程数据同步工具。rsync能同步更新两处计算机的文件与目录，并适当利用差分编码以减少数据传输量。（增量同步）rsync中的一项同类软件不常见的重要特性是每个目标的镜像只需发送一次。rsync可以拷贝/显示目录内容，以及拷贝文件，并可选压缩以及递归拷贝。命令概览本地:rsync[OPTION]SRCDEST通过ssh访问远程机器:pull:rsync[OPTION]USER
qbit·2020-05-27 22:45

Ubuntu APT（qbit）

apt与apt-getAPT:AdvancedPackagingToolapt命令不是apt-get的简写apt整合了apt-get、apt-cache和apt-config中的常用命令可以将apt看作apt-get的升级版常用命令对比apt命令示例取代的命令命令的功能aptinstallaptinstallunzipapt-getinstall安装软件包aptremoveaptremoveunz
qbit·2020-05-27 22:41

Spark GraphX 三大算法（qbit）

前言本文是qbit对“SparkGraphX三大算法”的信息收录。三大算法指：PageRank、连通分量和三角计数qbit对原理认识有限（为什么？）qbit对应用很感兴趣（怎么用？）
qbit·2020-05-27 22:06

JVM 参数调优（qbit）

前言JVM的参数有好几百个，听着有点吓人，好在最常用的参数只有两个，其他绝大多数参数都无需调整。可以参考廖雪峰的文章：JVM调优的正确姿势-Xms8g-Xmx8gOracle对JVM参数的说明文档Client/ServerJVM有两种运行模式Server与Client。Client模式启动速度较快，Server模式启动较慢。启动进入稳定期长期运行之后Server模式的程序运行速度比Client要快
qbit·2020-05-27 17:47

正向代理相关（qbit）

前言正向代理正向代理（ForwardProxy）是指是一个位于客户端和原始服务器之间的服务器，为了从原始服务器取得内容，客户端向代理发送一个请求并指定目标(原始服务器)，然后代理向原始服务器转交请求并将获得的内容返回给客户端。客户端才能使用正向代理。反向代理反向代理（ReverseProxy）是指以代理服务器来接受Internet上的连接请求，然后将请求转发给内部网络上的服务器，并将从服务器上得到
qbit·2020-04-13 07:29

ip rule/route 配置策略路由实例（qbit）

环境操作系统版本发行版:Ubuntu18.04.4LTS内核版本:Linuxversion4.15.0-88-genericiproute2版本$ip-Viputility,iproute2-ss180129iptables版本$iptables-Viptablesv1.6.1需求针对192.168.0.36主机配置HTTP协议（80端口）流量走192.168.0.3路由其余流量走192.168.
qbit·2020-04-11 16:19

Linux 版本查看（qbit）

以Ubuntu18.04LTS为例发行版本$cat/etc/issueUbuntu18.04.4LTS\n\l$lsb_release-aNoLSBmodulesareavailable.DistributorID:UbuntuDescription:Ubuntu18.04.4LTSRelease:18.04Codename:bionic内核版本$cat/proc/versionLinuxvers
qbit·2020-04-11 16:12
上一页 1 2 3 4 5 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他