QBit

Spark 内存相关（qbit）

前言本文对spark2.1.x适用executor内存模型堆内内存与堆外内存堆内内存堆外内存动态资源分配基本参数设置#配置externalshuffleservice服务（一定要配置启用）spark.shuffle.service.enabled=truespark.shuffle.service.por=7337#启用动态资源调度spark.dynamicAllocation.enabled=t
qbit·2020-08-21 00:55

Spark 内存相关（qbit）

前言本文对spark2.1.x适用executor内存模型堆内内存与堆外内存堆内内存堆外内存动态资源分配基本参数设置#配置externalshuffleservice服务（一定要配置启用）spark.shuffle.service.enabled=truespark.shuffle.service.por=7337#启用动态资源调度spark.dynamicAllocation.enabled=t
qbit·2020-08-21 00:54

airflow 分布式部署实战（qbit）

前言airflow是DAG(有向无环图)的任务管理系统，简单的理解就是一个高级版的crontab。airflow解决了crontab无法解决的任务依赖问题。环境与组件Ubuntu18.04MySQL5.7Python3.6.9airflow1.10.10celery4.4.2RabbitMQ3.6.10实战步骤基本步骤安装Python3的pipsudoaptinstallpython3-pip安装
qbit·2020-08-21 00:18

airflow 分布式部署实战（qbit）

前言airflow是DAG(有向无环图)的任务管理系统，简单的理解就是一个高级版的crontab。airflow解决了crontab无法解决的任务依赖问题。环境与组件Ubuntu18.04MySQL5.7Python3.6.9airflow1.10.10celery4.4.2RabbitMQ3.6.10实战步骤基本步骤安装Python3的pipsudoaptinstallpython3-pip安装
qbit·2020-08-21 00:18

JupyterLab 桌面版快速配置（qbit）

前言qbit对JupyterNotebook并不满意qbit不喜欢编辑器是浏览器的一个标签页qbit以前用Python3JupyterQtConsoleJupyterLab的Chrome应用模式让qbit
qbit·2020-08-21 00:19

JupyterLab 桌面版快速配置（qbit）

前言qbit对JupyterNotebook并不满意qbit不喜欢编辑器是浏览器的一个标签页qbit以前用Python3JupyterQtConsoleJupyterLab的Chrome应用模式让qbit
qbit·2020-08-21 00:19

关于 Python3 的编码（qbit）

Python3中str与bytes的转换Thebytes/strdichotomyinPython3字符与Unicode编号之间的转换字符转Unicode编号>>>ord('A')65>>>hex(ord('A'))'0x41'>>>ord('你')20320>>>hex(ord('你'))'0x4f60'>>>'你好'.encode('unicode_escape')b'\\u4f60\\u59
qbit·2020-08-20 23:45

关于 Python3 的编码（qbit）

Python3中str与bytes的转换Thebytes/strdichotomyinPython3字符与Unicode编号之间的转换字符转Unicode编号>>>ord('A')65>>>hex(ord('A'))'0x41'>>>ord('你')20320>>>hex(ord('你'))'0x4f60'>>>'你好'.encode('unicode_escape')b'\\u4f60\\u59
qbit·2020-08-20 23:45

qbit 的 vim 基本配置（vimrc）

本文内容在Ubuntu18.04/20.04上有效在用户home目录下创建.vimrcvim~/.vimrc在.vimrc中写入以下内容"避免兼容模式不能充分利用vim新功能"设置不兼容visetnocompatible"设置leader，后面的就是逗号letmapleader=','"设置编辑vimrc的快捷方式（,ev）nnoremapev:vsplit~/.vimrc"不退出编辑器重新载入.
qbit·2020-08-20 23:50

qbit 的 vim 基本配置（vimrc）

本文内容在Ubuntu18.04/20.04上有效在用户home目录下创建.vimrcvim~/.vimrc在.vimrc中写入以下内容"避免兼容模式不能充分利用vim新功能"设置不兼容visetnocompatible"设置leader，后面的就是逗号letmapleader=','"设置编辑vimrc的快捷方式（,ev）nnoremapev:vsplit~/.vimrc"不退出编辑器重新载入.
qbit·2020-08-20 23:50

Elasticsearch Analyzer

前言qbit使用的Elasticsearch版本为7.x推荐学习阮一鸣《Elasticsearch核心技术与实战》Analyzer组成部分分析器（analyzer）由三部分组成：字符过滤器（CharacterFilters
qbit·2020-08-20 23:03

Python3 map/reduce/filter 示例（qbit）

运行环境Windows10Python3.8.2PyFunctional1.3.0示例原料lst=[-2,-1,0,1,2]筛正数（filter）#方式一list(filter(lambdax:x>0,lst))#方式二[xforxinlstifx>0]output[1,2]翻倍（map）#方式一list(map(lambdax:x*2,lst))#方式二[x*2forxinlst]output[
qbit·2020-08-20 22:22

cefpython3 调用浏览器示例（qbit）

引子ChromiumEmbeddedFramework（CEF）是个基于GoogleChromium项目的开源Webbrowser控件，支持Windows，Linux，Mac平台。CEFPython为CEF提供Python绑定。cefpython3并未全部实现CEF所有接口，CefSharp紧跟CEF实现，如果对Python和C#都熟悉，CefSharp是更好的选择。示例访问并保存网页本节代码主要
qbit·2020-08-20 22:48

cefpython3 调用浏览器示例（qbit）

引子ChromiumEmbeddedFramework（CEF）是个基于GoogleChromium项目的开源Webbrowser控件，支持Windows，Linux，Mac平台。CEFPython为CEF提供Python绑定。cefpython3并未全部实现CEF所有接口，CefSharp紧跟CEF实现，如果对Python和C#都熟悉，CefSharp是更好的选择。示例访问并保存网页本节代码主要
qbit·2020-08-20 22:48

数据库相关概念梳理（qbit）

Normalization/Denormalization本节内容是阮一鸣《Elasticsearch核心技术与实战》的学习笔记，第49课·对象及Nested对象范式化设计Normalization概念设计关系数据库时，遵从不同的规范要求，设计出合理的关系型数据库，这些不同的规范要求被称为不同的范式，各种范式呈递次规范，越高的范式数据库冗余越小。Normalization优点节省存储空间，并减少不
qbit·2020-08-20 22:30

数据库相关概念梳理（qbit）

Normalization/Denormalization本节内容是阮一鸣《Elasticsearch核心技术与实战》的学习笔记，第49课·对象及Nested对象范式化设计Normalization概念设计关系数据库时，遵从不同的规范要求，设计出合理的关系型数据库，这些不同的规范要求被称为不同的范式，各种范式呈递次规范，越高的范式数据库冗余越小。Normalization优点节省存储空间，并减少不
qbit·2020-08-20 22:30

极简 Python 打包指南

本文由qbit整理自《pytest测试实战·附录D打包和发布Python项目》·BrianOkken著·华中科技大学出版社qbit的实验环境Windows10x64Python3.6.7x64项目的打包和发布很重要
qbit·2020-08-20 22:33

极简 Python 打包指南

本文由qbit整理自《pytest测试实战·附录D打包和发布Python项目》·BrianOkken著·华中科技大学出版社qbit的实验环境Windows10x64Python3.6.7x64项目的打包和发布很重要
qbit·2020-08-20 22:33

Python 虚拟环境简介（qbit）

管理Python版本pyenvSimplePythonVersionManagement与第三方包管理工具pyenv-virtualenv属于同一个项目Windows下建议使用pyenv-win分支GitHuburl：https://github.com/pyenv/pyenvalternativesLinux下可以用alternatives切换软件默认版本（不止是切换Python）Ubuntu-
qbit·2020-08-20 22:33

Python3 格式化时间

qbit经常用到当前时间和相对时间，用来统计程序执行的效率，简单记一下，便于copy。
qbit·2020-08-20 21:36

Python3 格式化时间

qbit经常用到当前时间和相对时间，用来统计程序执行的效率，简单记一下，便于copy。
qbit·2020-08-20 21:36

配置 Hue 访问 AWS S3 中国区（qbit）

Hue:HadoopUserExperience环境AWSemr-5.30.1Hue4.6.0qbit参照这两篇Hue官方文档搞了很久都没配好：文档一，文档二文档编写者估计没考虑到独立运营的AWS中国区用户的痛搞明白了也简单
qbit·2020-08-20 17:19

配置 Hue 访问 AWS S3 中国区（qbit）

Hue:HadoopUserExperience环境AWSemr-5.30.1Hue4.6.0qbit参照这两篇Hue官方文档搞了很久都没配好：文档一，文档二文档编写者估计没考虑到独立运营的AWS中国区用户的痛搞明白了也简单
qbit·2020-08-20 17:19

Windows 下运行 Hadoop 并部署到 AWS（qbit）

本文环境Windows10JDK8IntelliJIDEA2019.3.4(CommunityEdition)Hadoop2.8.5AWSEMR5.3.0单机程序新建Maven工程修改pom.xml配置4.0.0mapreducedemomapreducedemo1.0-SNAPSHOT2.8.5org.apache.hadoophadoop-client${hadoop.version}新建Pa
qbit·2020-08-20 17:09

Windows 下运行 Hadoop 并部署到 AWS（qbit）

本文环境Windows10JDK8IntelliJIDEA2019.3.4(CommunityEdition)Hadoop2.8.5AWSEMR5.3.0单机程序新建Maven工程修改pom.xml配置4.0.0mapreducedemomapreducedemo1.0-SNAPSHOT2.8.5org.apache.hadoophadoop-client${hadoop.version}新建Pa
qbit·2020-08-20 17:08

Java Maven 打包相关（qbit）

跳过测试跳过测试代码运行，不跳过测试代码编译mvn package -DskipTests跳过测试代码编译和运行mvnpackage-Dmaven.test.skip=truewarWebArchivefileJava之Maven打包本地jar到war中导出pom.xml依赖mvndependency:copy-dependencies-DoutputDirectory=lib中央仓库Apache
qbit·2020-08-20 16:54

Java Maven 打包相关（qbit）

跳过测试跳过测试代码运行，不跳过测试代码编译mvn package -DskipTests跳过测试代码编译和运行mvnpackage-Dmaven.test.skip=truewarWebArchivefileJava之Maven打包本地jar到war中导出pom.xml依赖mvndependency:copy-dependencies-DoutputDirectory=lib中央仓库Apache
qbit·2020-08-20 16:54

Python3 map/reduce/filter 示例（qbit）

运行环境Windows10Python3.8.2PyFunctional1.3.0示例原料lst=[-2,-1,0,1,2]筛正数（filter）#方式一list(filter(lambdax:x>0,lst))#方式二[xforxinlstifx>0]output[1,2]翻倍（map）#方式一list(map(lambdax:x*2,lst))#方式二[x*2forxinlst]output[
qbit·2020-08-20 16:15

Python3 map/reduce/filter 示例（qbit）

运行环境Windows10Python3.8.2PyFunctional1.3.0示例原料lst=[-2,-1,0,1,2]筛正数（filter）#方式一list(filter(lambdax:x>0,lst))#方式二[xforxinlstifx>0]output[1,2]翻倍（map）#方式一list(map(lambdax:x*2,lst))#方式二[x*2forxinlst]output[
qbit·2020-08-20 16:15

Elasticsearch Analyzer

前言qbit使用的Elasticsearch版本为7.x推荐学习阮一鸣《Elasticsearch核心技术与实战》Analyzer组成部分分析器（analyzer）由三部分组成：字符过滤器（CharacterFilters
qbit·2020-08-20 16:51

Elasticsearch Analyzer

前言qbit使用的Elasticsearch版本为7.x推荐学习阮一鸣《Elasticsearch核心技术与实战》Analyzer组成部分分析器（analyzer）由三部分组成：字符过滤器（CharacterFilters
qbit·2020-08-20 16:51

Python 虚拟环境简介（qbit）

管理Python版本pyenvSimplePythonVersionManagement与第三方包管理工具pyenv-virtualenv属于同一个项目Windows下建议使用pyenv-win分支GitHuburl：https://github.com/pyenv/pyenvalternativesLinux下可以用alternatives切换软件默认版本（不止是切换Python）Ubuntu-
qbit·2020-08-20 16:13

Python 虚拟环境简介（qbit）

管理Python版本pyenvSimplePythonVersionManagement与第三方包管理工具pyenv-virtualenv属于同一个项目Windows下建议使用pyenv-win分支GitHuburl：https://github.com/pyenv/pyenvalternativesLinux下可以用alternatives切换软件默认版本（不止是切换Python）Ubuntu-
qbit·2020-08-20 16:13

QBit开发微服务

QBit开发微服务作者：chszs，版权所有，未经同意，不得转载。
chszs·2020-07-27 20:31

配置 Hue 访问 AWS S3 中国区（qbit）

Hue:HadoopUserExperience环境AWSemr-5.30.1Hue4.6.0qbit参照这两篇Hue官方文档搞了很久都没配好：文档一，文档二文档编写者估计没考虑到独立运营的AWS中国区用户的痛搞明白了也简单
qbit·2020-07-27 17:21

Ubuntu 20.04 LTS 挂载硬盘（qbit）

背景机器上有两块硬盘：一块256GB的SSD，一块4TB的机械硬盘原来装的Windows系统，改为装Ubuntu20.04LTS，SSD作为系统盘已装好查看磁盘信息#磁盘容量及分区状况（不能查看未挂载分区）df-Th#磁盘容量及分区状况（可以查看未挂载分区）sudofdisk-lsudolsblk-f#/lib目录大小du-sh/lib#/lib子目录大小du-sh/lib/*删除机械硬盘的Win
qbit·2020-07-08 19:08

Windows 下运行 Hadoop 并部署到 AWS（qbit）

本文环境Windows10JDK8IntelliJIDEA2019.3.4(CommunityEdition)Hadoop2.8.5AWSEMR5.3.0详细步骤新建Maven工程修改pom.xml配置4.0.0mapreducedemomapreducedemo1.0-SNAPSHOT2.8.5org.apache.hadoophadoop-client${hadoop.version}新建Pa
qbit·2020-07-08 13:40

Python 去除图片纯色边框（qbit）

前言本文主要参照TrimwhitespaceusingPIL试验环境Windows102004Python3.8.3Pillow7.1.2ImageMagick7.0.10除了Pillow以外，qbit
qbit·2020-06-23 13:45

Windows 原生 SSH 配置（qbit）

前言操作系统版本#客户端Windows102004#服务器Ubuntu18.04LTSssh目录#cmdC:\Users\qbit\.ssh>wheresshC:\Windows\System32\OpenSSH
qbit·2020-06-21 02:58

Windows Terminal 配置（qbit）

前言本文的试验环境Windows102004WindowsTerminal1.0本文的配置文件为C:\Users\qbit\AppData\Local\Packages\Microsoft.WindowsTerminal
qbit·2020-06-21 02:21

ip route 命令（qbit）

前言iproute2的iproute命令对标net-tools的route命令，可参考iproute2tips路由表（iprule）查看路由表#第一列是优先级，数值越小优先级越高#local：路由表local包含本机路由及广播信息。#main：使用传统命令route-n所看到的路由表就是main的内容。#default：default路由表在默认情况下内容为空；除非有特别的要求，否则保持其内容为空
qbit·2020-05-28 00:51

Ubuntu 20.04 LTS 安装 docker（qbit）

卸载旧版本docker在发展中产生了很多的名字（docker/docker.io/docker-engine），当前（2020/5/26）软件包名为docker-ce（DockerEngine-Community）。可以尝试清理旧版软件：$sudoaptremovedockerdocker-enginedocker.iocontainerdrunc安装依赖包#更新索引sudoaptupdate#安
qbit·2020-05-28 00:25

Elasticsearch 查询权重（qbit）

提升字段的权重multi_match默认type为best_fieldsGET/_search{"query":{"multi_match":{"query":"thisisatest","fields":["subject^3","message"]}}}most_fieldsGET/_search{"query":{"multi_match":{"query":"thisisatest","t
qbit·2020-05-27 23:09

jvisualvm 监控 tomcat 实例（qbit）

192.168.21.12）OS:Windows10JDK:1.8.0_162步骤服务端目录结构D:\solr\apache-tomcat-6.0.35D:\solr\jdk17VisualGC打开jvisualvm，qbit
qbit·2020-05-27 23:00

用 MongoDB 存放图片（qbit）

Windows10MongoDB4.2Python3.8pymongo3.10.1bson（小图片）bson用来存放小于16MB的小文件Python示例代码#encoding:utf-8#author:qbit
qbit·2020-05-27 23:28

MongoDB 语句备忘（qbit）

查询一个字段有哪几种取值#MySQLSELECTDISTINCT(fieldname)FROMtblname;//MQLdb.tblname.distinct("fieldname");取字段的前2位并去重#MySQLSELECTDISTINCT(SUBSTR(fieldname,1,2))FROMtblname;//MQLdb.collname.aggregate([{$project:{tmp
qbit·2020-05-27 23:12

Java Maven 打包相关（qbit）

跳过测试跳过测试代码运行，不跳过测试代码编译mvn package -DskipTests跳过测试代码编译和运行mvnpackage-Dmaven.test.skip=truewarWebArchivefileJava之Maven打包本地jar到war中中央仓库Apachecentral-reposCentralRepositoryhttps://repo.maven.apache.org/mav
qbit·2020-05-27 23:57

Elasticsearch 7.x 的 JVM 内存配置（qbit）

官方文档摘要jvm.options一般情况下并不需要更改JVM的配置项。最可能更改的JVM配置是堆大小（heapsize）可以使用jvm.options配置文件或ES_JAVA_OPTS环境变量更改JVM配置首选通过jvm.options更改配置heapsizeElasticsearch通过jvm.options中的Xms和Xmx设置堆的大小应该讲Xms和Xmx设为相同的值-Xms8g-Xmx8g
qbit·2020-05-27 23:31

图书馆相关知识（qbit）

专家视频索传军索传军:人民大学教师由数字馆藏到数据馆藏—大数据时代我们的价值zyz评价：重点讲解了图书馆“数据馆藏”这一核心概念。智能图书馆的资源组织模式—基于情景和语义的知识组织zyz评价：重点讲解了“知识组织”发展历程和形式知识图谱在图书馆的应用—智能图书馆的基础zyz评价：重点讲解了“知识图谱”的概念和实现邵波邵波:南京大学图书馆新一代服务平台环境下的数据管理和服务研究zyz评价：超星的智慧
qbit·2020-05-27 23:49

（qbit）

前言本文是《Spark权威指南》的学习笔记#英文原著《Spark:TheDefinitiveGuide》Bill Chambers/Matei Zaharia著2018年2月第一版#中文译著《Spark权威指南》张岩峰/王方京/陈晶晶译2020年4月第一版《Spark权威指南》大部分内容使用Spark2.2编写目录第I部分大数据与Spark概述第1章Spark是什么？（本文）第2章Spark浅析第
qbit·2020-05-27 23:42
上一页 1 2 3 4 5 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他