QBit

AWS Serverless PySpark 指定 Python 版本（qbit）

·2024-02-19 16:05

ES 快照到 S3 并从 Windows 共享目录恢复（qbit）

前言业务需要将Elasticsearch快照到AWSS3，再将快照拷贝到Windows系统，并恢复到Elasticsearch。如下图所示：环境Elasticsearch7.10.1WindowsServer2019Ubuntu20.04（ES宿主）ES集群1安装S3插件官方文档：https://www.elastic.co/guide/...应在ES集群的所有节点上安装插件下载S3插件和SHAh

大叶子不小·2023-12-05 08:17

fastapi/uvicorn 压测并发与TCP队列（qbit）

前言技术栈操作系统Ubuntu20.04内核版本Linuxversion5.4.0-155-genericPython3.11fastapi0.99.1uvicorn0.23.2uvicorn监听端口8003用jmeter压测fastapi/uvicorn接口程序，大量报错：java.net.SocketException:Connectionresetorg.apache.http.NoHttp

·2023-09-05 16:57

Python 下 AWS IAM EC2 对 S3 的访问（qbit）

前言AWSIdentityandAccessManagement(IAM)是一种Web服务，可以帮助您安全地控制对AWS资源的访问。当EC2有S3的IAM访问权限时，Python代码没有AK/SK，需要有参数来获取权限访问S3boto3https://pypi.org/project/boto3/代码示例（未测试）importboto3#创建IAM客户端iam=boto3.client('iam'

·2023-09-04 16:41

Windows Terminal + MSYS2 配置（qbit）

Windows10/11适用MSYS2官网：https://www.msys2.org/MSYS2官方新闻：2022.10.29，将默认环境由MINGW64更换为UCRT64安装到官方仓库下载MSYS2安装包，qbit

·2023-08-21 01:32

【2020-12-02】黑群晖安装80x86（荒野无灯）的qBittorrent排坑笔记

安装前的准备docker设置镜像源开始安装1.打开docker套件-注册表-搜索qbit注意选择80x86开头的，那就是荒野无灯做的的固件双击下载然后群晖就会让我们选择镜像版本，4.3.0最新版本不要选

humangear·2023-07-25 06:54

Ubuntu APT（qbit）

apt与apt-getAPT:AdvancedPackagingToolapt命令不是apt-get的简写apt整合了apt-get、apt-cache和apt-config中的常用命令可以将apt看作apt-get的升级版常用命令对比apt命令示例取代的命令命令的功能aptinstallaptinstallunzipapt-getinstall安装软件包aptremoveaptremoveunz

·2023-06-15 13:11

简单处理 Elasticsearch terms 聚合不精确问题（qbit）

问题描述Elasticsearch聚合数据结果不精确，怎么破？解决方案调大shard_size临时调大search.max_bucketsPUT_cluster/settings{"transient":{"search.max_buckets":1000000}}永久调大PUT_cluster/settings{"persistent":{"search.max_buckets":1000000

·2023-06-14 16:25

Elasticsearch 实现 sql count distinct 的功能（qbit）

前言本文对Elasticsearch7.17适用countdistinct单字段"aggs":{"card":{"cardinality":{"field":"type"}}}多字段"aggs":{"multi_field_cardinality":{"cardinality":{"script":"doc['type'].value+'#'+doc['color'].value"}}}OR//这

·2023-06-14 16:46

Postman 发送 RSA 签名请求（qbit）

前言Postman版本10.13.6qbit将RSAForPostman压缩拷贝到了码云便于国内访问Postman脚本示例Pre-requestScriptif(!

·2023-06-13 16:09

排除 spaCy 的部分组件（qbit）

Industrial-strengthNaturalLanguageProcessing(NLP)inPython工业级NLP前言官方文档：https://spacy.io/usage/spacy-101spaCyGitHub：https://github.com/explosion/spaCy本文环境Windows10Python3.8.10spaCy3.4.2spcCy的组件很多，有时我们并不

·2023-06-10 10:35

DBeaver 下用 DuckDB 读取 parquet 文件（qbit）

parquetDuckDBGitHub地址：https://github.com/duckdb/duckdbDBeaver变量读取示例，注意变量功能是DBeaver的，不是DuckDB自带的@setpath='C:/Users/qbit

·2023-06-08 16:37

shell 命令提示符中显示时间（qbit）

前言本文对Ubuntu20.04适用bashbash版本5.0.17配置exportPS1="\u@\h:\$PWD/\D{%Y-%m-%d}\t\n$"结果qbit@qhost:/home/qbit/

·2023-02-16 20:57

Qbit行业关键词：用微光点亮微光

Qbit为用户提供全球视野平台的跨境类科技、金融、电商、品牌营销等方面的趣闻轶事；收录行业重点事件，包括但不局限于跨境电商行业动态，金融科技行业政策、发展趋势，互联网商业模式分析等。

Qbit趣比汇·2023-01-31 16:49

Java 与 Python 国密算法 SM2 交互使用（qbit）

前言Java库https://github.com/dromara/hu...Python库https://github.com/duanhongyi...背景：Javahutool库生成的密钥，Pythongmssl签名校验不通过，折腾了很久才找到原因原因开始hutool这样生成的密钥，gmssl死活通不过签名校验SM2sm2=newSM2();sm2.setMode(SM2Engine.Mod

·2023-01-10 17:53

poetry 下运行 dbt（qbit）

T（transform）dbt主要分为两部分dbtCore:cli命令行工具dbtCloud:云服务dbtCore的github地址是：https://github.com/dbt-labs/d...qbit

·2023-01-05 18:30

MongoDB 查看索引与存储大小（qbit）

前言本文试验环境为3台机器的MongoDB副本集UsingMongoDB:5.0.5UsingMongosh:1.1.8官方文档：https://www.mongodb.com/docs/...推荐学习唐建法《MongoDB高手课》一般建议单个副本集容量2TB左右，不应超过3TB；内存应大于索引体积大小之和正文列出所有数据库>db.getMongo().getDBs()查看单个库的统计信息以下统计

·2023-01-05 10:08

机器学习实战步骤（qbit）

前言本文是黄佳《零基础实战机器学习》的学习笔记什么是机器学习？传统程序是程序员来定义函数，而在机器学习中是机器训练出函数。机器学习的厉害之处就在于，它能利用计算机的运算能力，从大量的数据中发现一个“函数”或“模型”，并通过它来模拟现实世界事物间的关系，从而实现预测、判断等目的。实战步骤机器学习实战有五大步:1定义问题第一步是定义问题在定义问题这个环节中，我们要剖析业务场景，设定清晰的目标，同时还要

·2023-01-04 11:18

poetry 下运行 dbt（qbit）

T（transform）dbt主要分为两部分dbtCore:cli命令行工具dbtCloud:云服务dbtCore的github地址是：https://github.com/dbt-labs/d...qbit

·2022-12-28 16:00

PostgreSQL 插入时间与更新时间（qbit）

前言PostgreSQL在数据库层面不能像MySQL一样设置自动创建create_time/update_time，自动更新update_time下文中create_at等价于create_time，update_at等价于update_time需要自己创建触发器实现类似效果本文测试环境#服务端UbuntuLTS20.04PostgreSQL15.1#客户端Windows10pgAdmin46.1

·2022-12-26 10:52

Elasticsearch 7.x 配置同义词（qbit）

·2022-12-23 14:36

pandas 将函数应用到列（qbit）

前言环境Python3.8Pandas1.4.4正文初始化数据>>>importpandasaspd>>>df0=pd.DataFrame(data=[{'name':'张三','tag':'跑步','title':'MAN'},{'name':'王二','tag':'足球;电影','title':'舅舅;舅舅'}])>>>df0nametagtitle0张三跑步MAN1王二足球;电影舅舅;舅舅定

·2022-12-23 10:48

pandas 分组合并字段（qbit）

前言环境Python3.8Pandas1.4.4正文初始化数据>>>df0=pd.DataFrame(data={'name':['王二','王二','张三'],'tag':['足球','电影','跑步'],'title':['舅舅','uncle','man']})>>>df0nametagtitle0王二足球舅舅1王二电影uncle2张三跑步man单字段合并>>>df=df0.groupby(

·2022-12-22 16:14

Ubuntu 20.04 搭建 Elasticsearch 7.x 小集群（qbit）

环境ES节点硬件：3台AWSm5.4xlarge（16vCPU/64GB内存）Kibana硬件：1台AWSm5.large（2vCPU/8GB内存）操作系统：Ubuntu20.04LTSElasticsearch7.9.3Kibana7.9.3机器示意图操作系统这里主要讲EBS的挂载和XFS格式化可参考官方文档：https://docs.amazonaws.cn/AWS...用lsblk命令查看磁

·2022-12-20 12:55

Elasticsearch 查询权重（qbit）

前言本文对Elasticsearch7.17适用提升字段的权重multi_match默认type为best_fieldsGET/_search{"query":{"multi_match":{"query":"thisisatest","fields":["subject^3","message"]}}}most_fieldsGET/_search{"query":{"multi_match":{

·2022-12-20 12:24

配置 Hue 访问 AWS S3 中国区（qbit）

Hue:HadoopUserExperience环境AWSemr-5.30.1Hue4.6.0qbit参照这两篇Hue官方文档搞了很久都没配好：文档一，文档二文档编写者估计没考虑到独立运营的AWS中国区用户的痛搞明白了也简单

·2022-12-19 18:54

Elasticsearch 7.x 保留字符（qbit）

前言本文对Elasticsearch7.x有效query_string保留字符官方文档：https://www.elastic.co/guide/...+-=&&||>~query_string与regex保留字符并集+-=&|><!(){}[]^"~*?:\/.#@本文出自qbitsnap

·2022-12-19 17:42

python 打包太大精简_极简 Python 打包指南

本文由qbit整理自《pytest测试实战·附录D打包和发布Python项目》·BrianOkken著·华中科技大学出版社qbit的实验环境Windows10x64Python3.6.7x64项目的打包和发布很重要

weixin_39782752·2022-12-18 02:56

拒绝裸奔，为 Elasticsearch 设置账号密码（qbit）

前言2019年5月21日，Elastic官方博客发文称，ES6.8和7.1免费开放基本的安全功能。包括：TLS功能，可对通信进行加密文件和原生Realm，可用于创建和管理用户基于角色的访问控制，可用于控制用户对集群API和索引的访问权限；通过针对KibanaSpaces的安全功能，还可允许在Kibana中实现多租户铭毅天下解读：Elasticsearch7.1免费安全功能全景认知阮一鸣《Elast

·2022-12-16 10:14

Ubuntu 20.04 LTS 安装 docker（qbit）

卸载旧版本docker在发展中产生了很多的名字（docker/docker.io/docker-engine），当前（2020/5/26）软件包名为docker-ce（DockerEngine-Community）。可以尝试清理旧版软件：sudoaptremovedockerdocker-enginedocker.iocontainerdrunc安装依赖包#更新索引sudoaptupdate#安装

·2022-12-15 18:36

Unicode 正则表达式（qbit）

前言本文根据《精通正则表达式》和UnicodeRegularExpressions整理。本文的示例默认以Python3为实现语言，用到Python3的re模块或regex库。基本的Unicode属性分类\p{L}|\p{Letter}字母\p{M}|\p{Mark}不能单独出现，必须与其他基本字符一起出现（重音符号、包围框，等等）的字符\p{Z}|\p{Separator}用于表示分割，但本身不可

·2022-12-15 16:16

Python 可打印字符、UTF8相关（qbit）

Unicode字符表：https://en.wikibooks.org/wiki...\xa0是NO-BreakSpace，不连续空格\xad是SoftHyphen，软连接符，常被显示为短横或者空格可打印字符>>>'你好'.isprintable()True>>>'\x41'.isprintable()True>>>'\xa0'.isprintable()False>>>'\xad'.isprin

·2022-12-15 16:14

PostgreSQL 插入时间与更新时间（qbit）

前言PostgreSQL在数据库层面不能像MySQL一样设置自动创建create_time/update_time，自动更新update_time下文中create_at等价于create_time需要自己创建触发器实现类似效果本文测试环境#服务端UbuntuLTS20.04PostgreSQL15.1#客户端Windows10pgAdmin46.16PostgreSQL的数据类型：https:/

·2022-12-01 13:19

yarl 对比 python3 标准库 urllib（qbit）

前言测试环境Python3.8yarl1.8.1本文主要是对比易用性，无关性能yarl官方文档：https://yarl.aio-libs.org/en/...url组成部分yarlVS.urllib获取url参数urllib>>>fromurllibimportparse>>>url=r'https://docs.python.org/3.8/search.html?q=parse&check_

·2022-10-31 02:50

MongoDB 查看索引与存储大小（qbit）

前言本文试验环境为3台机器的MongoDB副本集UsingMongoDB:5.0.5UsingMongosh:1.1.8官方文档：https://www.mongodb.com/docs/...推荐学习唐建法《MongoDB高手课》一般建议单个副本集容量2TB左右，不应超过3TB；内存应大于索引体积大小之和正文列出所有数据库>db.getMongo().getDBs()查看单个库的统计信息以下统计

·2022-10-30 22:06

机器学习实战步骤（qbit）

前言本文是黄佳《零基础实战机器学习》的学习笔记实战步骤机器学习实战有五大步:1定义问题第一步是定义问题在定义问题这个环节中，我们要剖析业务场景，设定清晰的目标，同时还要明确当前问题属于哪一种机器学习类型。机器学习分为四大类监督学习supervisedlearning:训练数据集全部有标签无监督学习unsupervisedlearning:训练数据集没有标签半监督学习semi-supervisedl

·2022-10-09 15:22

Ubuntu 22.04 LTS 以 rootless 模式安装 docker （qbit）

官方文档Ubuntu下安装docker：https://docs.docker.com/engin...切换rootless：post-installationstepsforLinuxrootless从头安装：RuntheDockerdaemonasanon-rootuser(Rootlessmode)rootless从头安装准备创建普通用户useraddqbit-m-s/bin/bash设置密

·2022-09-29 18:39

（qbit）

Linux下产生日志的进程未关闭时，删除日志文件，空间并不会被释放虽然重启进程即可，但可能引起服务中断可用以下方法清空文件echo''>foo.log#或echo>foo.log查找打开的已删除文件sudolsof|grepdeleted本文出自qbitsnap

·2022-09-16 16:42

MySQL 8 远程 root 访问（qbit）

环境OS:Ubuntu20.04MySQL:8.0.30步骤mysql-urootmysql>usemysql;#查看账号信息mysql>selectuser,host,authentication_stringfromuser;#设置任意ip可使用root连接mysql>updateusersethost='%'whereuser='root';#设置密码为xxxxgrantallprivile

·2022-09-14 10:27

DBeaver 下用 DuckDB 读取 parquet 文件（qbit）

官方文档：https://duckdb.org/docs/data/...DBeaver变量读取示例@setpath='C:/Users/qbit/Desktop/simple.parquet'SELECT

·2022-09-09 11:15

检查 Linux 更新后是否需要重启（qbit）

Ubuntu检查/var/run/reboot-required文件是否存在即可ll/var/run/reboot-requiredCentOS利用needs-restarting命令判断#needs-restarting命令在软件包yum-utils中yuminstallyum-utils#判断needs-restarting-r官方文档：Identifypackagesthatwillrequ

·2022-09-08 20:59

解决fastapi 中 APScheduler 与 uvicorn 冲突问题（qbit）

问题描述环境Ubuntu20.04Python3.8.5APScheduler3.8.x/3.9.xuvicorn0.15.0-0.17.6在上述环境下，APScheduler的定时任务不能运行uvicorn0.14.0与APScheduler搭配无此问题在Windows下uvicorn与APScheduler任意版本搭配也无此问题解决办法在app的startup事件中启动定时器即可@app.on

·2022-09-06 18:38

使用 route 命令避免 EasyConnect 干扰内网连接（qbit）

qbit的主机所在网络192.168.1.0/24，在开启EasyConnect后无法访问同网络的192.168.1.222可以使用以下路由命令设置直连同网段主机routeadd192.168.1.222

·2022-08-11 19:41

举例说明三种类型的ssh隧道（qbit）

本地端口转发机器与网络状况qbit的开发机为Q（192.168.1.Q），想要访问主机D（192.168.2.D）上的MongoDB（27017）Q不能直连MongoDB192.168.2.D:27017Q

·2022-08-11 18:09

CentOS 6.9 升级 glibc 2.12 到 2.17（qbit）

前言当前日期是2022.7.6，CentOS6停止维护更新日期是2020.11.30，CentOS6已停止维护近两年由于种种原因，qbit需要在CentOS6.9上通过Miniconda安装Python3.8

·2022-07-06 14:52

遍历 ES 节点校验分词（qbit）

前言技术栈Elasticsearch7.17.2python3.8httpx0.22.0loguru0.6.0hao分词器：https://github.com/tenlee2012...有时更新ES分词器或远程词典后，不确定每个节点是否都已更新到位，没找到直接的命令来校验，故写了一份Python脚本来做校验原理是利用index.routing.allocation.include._ip将索引分

·2022-06-22 14:03

ClickHouse 之 SummingMergeTree/AggregatingMergeTree 实现准实时看板（qbit）

前言本文测试环境ClickHouse版本为22.3LTSSummingMergeTree官方文档：https://clickhouse.com/docs/e...AggregatingMergeTree官方文档：https://clickhouse.com/docs/e...原理就是预聚合，可以把统计时扫表条数减少几个数量级。有点flink流式计算的味道。初始化测试数据生成创建库CREATEDAT

·2022-06-20 21:45

ClickHouse 分布式架构（qbit）

前言本文主要摘录自《ClickHouse原理解析与应用实践》ClickHouse原理解析与应用实践朱凯著北京：机械工业出版社，2020.5（2021.10重印）书中使用ClickHouse版本为19.17.4.11摘录2.1.7多主架构HDFS、Spark、HBase和Elasticsearch这类分布式系统，都采用了Master-Slave主从架构，有一个管控节点作为Leader统筹全局。而Cl

·2022-06-20 01:17

检查 http url 下载文件的大小（qbit）

前言有些时候下载服务器不响应head请求（403）例如AWSS3预签名的下载文件这时候可以尝试用getsteam获取文件大小示例环境Python3.8.10requests2.27.1示例代码>>>importrequests>>>url="https://releases.ubuntu.com/22.04/ubuntu-22.04-live-server-amd64.iso">>>request

·2022-05-18 10:58

用 Python 批量检查 sqlite/db3 文件是否损坏（qbit）

对Python3.8适用check_db3.py#encoding:utf-8#author:qbit#date:2022-05-10#summary:遍历检查db3文件是否正确，统计记录条数importosimportsysimporttimeimportpprintimportsqlite3importtracebackfrommultiprocessingimportPool

·2022-05-10 17:32

推荐频道

QBit

AWS Serverless PySpark 指定 Python 版本（qbit）

ES 快照到 S3 并从 Windows 共享目录恢复（qbit）

fastapi/uvicorn 压测并发与TCP队列（qbit）

Python 下 AWS IAM EC2 对 S3 的访问（qbit）

Windows Terminal + MSYS2 配置（qbit）

【2020-12-02】黑群晖安装80x86（荒野无灯）的qBittorrent排坑笔记

Ubuntu APT（qbit）

简单处理 Elasticsearch terms 聚合不精确问题（qbit）

Elasticsearch 实现 sql count distinct 的功能（qbit）

Postman 发送 RSA 签名请求（qbit）

排除 spaCy 的部分组件（qbit）

DBeaver 下用 DuckDB 读取 parquet 文件（qbit）

shell 命令提示符中显示时间（qbit）

Qbit行业关键词：用微光点亮微光

Java 与 Python 国密算法 SM2 交互使用（qbit）

poetry 下运行 dbt（qbit）

MongoDB 查看索引与存储大小（qbit）

机器学习实战步骤（qbit）

poetry 下运行 dbt（qbit）

PostgreSQL 插入时间与更新时间（qbit）

Elasticsearch 7.x 配置同义词（qbit）

pandas 将函数应用到列（qbit）

pandas 分组合并字段（qbit）

Ubuntu 20.04 搭建 Elasticsearch 7.x 小集群（qbit）

Elasticsearch 查询权重（qbit）

配置 Hue 访问 AWS S3 中国区（qbit）

Elasticsearch 7.x 保留字符（qbit）

python 打包 太大 精简_极简 Python 打包指南

拒绝裸奔，为 Elasticsearch 设置账号密码（qbit）

Ubuntu 20.04 LTS 安装 docker（qbit）

Unicode 正则表达式（qbit）

Python 可打印字符、UTF8相关（qbit）

PostgreSQL 插入时间与更新时间（qbit）

yarl 对比 python3 标准库 urllib（qbit）

MongoDB 查看索引与存储大小（qbit）

机器学习实战步骤（qbit）

Ubuntu 22.04 LTS 以 rootless 模式安装 docker （qbit）

（qbit）

MySQL 8 远程 root 访问（qbit）

DBeaver 下用 DuckDB 读取 parquet 文件（qbit）

检查 Linux 更新后是否需要重启（qbit）

解决fastapi 中 APScheduler 与 uvicorn 冲突问题（qbit）

使用 route 命令避免 EasyConnect 干扰内网连接（qbit）

举例说明三种类型的ssh隧道（qbit）

CentOS 6.9 升级 glibc 2.12 到 2.17（qbit）

遍历 ES 节点校验分词（qbit）

ClickHouse 之 SummingMergeTree/AggregatingMergeTree 实现准实时看板（qbit）

ClickHouse 分布式架构（qbit）

检查 http url 下载文件的大小（qbit）

用 Python 批量检查 sqlite/db3 文件是否损坏（qbit）

python 打包太大精简_极简 Python 打包指南