QBit

Elasticsearch preload数据到缓存（qbit）

本文对Elasticsearch7.17适用官方文档：https://www.elastic.co/guide/...官方文档里面讲index.store.preload是静态配置，可以在elasticsearch.yml或简历索引前配置。实际上索引建立后也可以修改这个配置项，把索引close后更改配置再open即可。关于索引文件的格式和大小可以参见：关于ES的文件格式查看索引磁盘占用：Analy
·2022-04-21 11:20

Ubuntu 下使用 pyenv 管理 Python 版本（qbit）

前言软件环境UbuntuServer20.04LTSpyenv2.2.5本文出自qbitsnap
·2022-03-28 10:17

workflow 之 Prefect 基本用法（qbit）

前言软件版本Python3.8.10poetry1.1.12prefect1.0.0poetrygithub：https://github.com/python-poe...prefectgithub：https://github.com/PrefectHQ/...安装用poetry初始化项目后在pyproject.toml添加以下依赖，然后运行poetryupdate-vvv#国内镜像源（可选）
·2022-02-24 18:37

VS Code 配置 Java 开发环境（qbit）

技术栈插件安装Java插件配置MavenforJava配置本文出自qbitsnap
·2022-02-09 19:55

Windows 10 修改远程桌面端口（qbit）

操作系统版本Windoow10专业版21H2用PowerShell查看端口号(Get-ItemProperty-Path"hklm:SYSTEM\CurrentControlSet\Control\TerminalServer\Wds\rdpwd\Tds\tcp").PortNumber(Get-ItemProperty-Path"hklm:SYSTEM\CurrentControlSet\Con
·2022-02-08 11:46

用 logstash 从 kafka 读取数据写入 Elasticsearch（qbit）

技术栈OS:Ubuntu20.04LTSdocker:20.10.12docker-compose:1.25.0Elasticsearch:7.16.3Logstash:7.16.3kafka:2.13-2.8.1Python:3.8.2kafka-python:2.0.2用docker搭建logstash官方文档docker镜像拉取：https://www.elastic.co/guide/..
·2022-01-28 10:50

现代化命令行工具之Ubuntu 20.04（qbit）

批量配置简易的shell脚本：https://github.com/qbit-git/m...bashmodern_cli_ubuntu2004.sh本脚本适用于与有root/sudo权限使用本脚本适用于初始化
·2021-08-16 17:29

Ubuntu 20.04 下使用 fzf（qbit）

fzfgithub:https://github.com/junegunn/fzf安装sudoaptinstallfzf配置source/usr/share/doc/fzf/examples/completion.bashsource/usr/share/doc/fzf/examples/key-bindings.bash测试#进入目录cd**#历史搜索ctrl+r本文出自qbitsnap
·2021-08-12 15:22

Python 遍历中国区 s3 目录（qbit）

https://s3fs.readthedocs.io/client_kwargs参见：https://botocore.amazonaws.co...示例代码#coding:utf-8#author:qbit
·2021-08-08 19:03

pandas 直接读取中国区 s3 文件（qbit）

cn-northwest-1"},#中国宁夏区"key":"aws_access_key_id","secret":"aws_secret_access_key",}df=pd.read_csv("s3://qbit-cn
·2021-08-08 16:24

拒绝裸奔，为 Elasticsearch 设置账号密码（qbit）

前言2019年5月21日，Elastic官方博客发文称，ES6.8和7.1免费开放基本的安全功能。包括：TLS功能，可对通信进行加密文件和原生Realm，可用于创建和管理用户基于角色的访问控制，可用于控制用户对集群API和索引的访问权限；通过针对KibanaSpaces的安全功能，还可允许在Kibana中实现多租户官方博文：Elasticsearch安全功能现免费提供铭毅天下解读：Elastics
·2021-08-04 12:40

xonsh tips（qbit）

配置文件：~/.xonshrc命令提示符格式$PROMPT='\n{env_name}{BOLD_GREEN}{user}@{hostname}{BOLD_BLUE}{cwd}\n{BOLD_YELLOW}{curr_branch:{}}{RESET}{BOLD_BLUE}{prompt_end}{RESET}'ll别名aliases['ll']='ls-al'Windowscmd下避免中文路径乱
·2021-08-04 00:15

为 Elasticsearch 设置 update_time（qbit）

前言本文对Elasticsearch7.13有效创建时间（create_time）没找到好的实现方式如果入库的数据不会更新，文中的create_time可等同于update_timeupdate_time示例创建Ingestpipelines（script、date）PUT_ingest/pipeline/add_update_time{"processors":[{"script":{"lang
·2021-07-28 18:49

Elasticsearch 7.x 保留字符（qbit）

前言本文对Elasticsearch7.12有效query_string保留字符官方文档：https://www.elastic.co/guide/...+-=&&||>~query_string与regex保留字符并集+-=&|><!(){}[]^"~*?:\/.#@本文出自qbitsnap
·2021-07-27 19:52

Python3 内存文件（qbit）

io.StringIO/io.BytesIO官方文档：https://docs.python.org/3/lib...tempfile.TemporaryFile/tempfile.TemporaryDirectory官方文档：https://docs.python.org/3/lib...pyfilesystem官方文档：https://docs.pyfilesystem.org/本文出自qbi
·2021-06-20 19:02

Elasticsearch 7.x 保留字符（qbit）

前言本文对Elasticsearch7.12有效query_string保留字符官方文档：https://www.elastic.co/guide/...+-=&&||>~query_string与regex保留字符并集+-=&|><!(){}[]^"~*?:\/.#@本文出自qbitsnap
·2021-06-18 22:32

Ubuntu 系统缓存的查看与清空（qbit）

前言本文在Ubuntu20.04下测试查看缓存fincore查看单个文件有多大在缓存中fincorefilename查看目录下所有文件有多大在缓存中ls./|xargsfincorevmtouch查看单个文件有多大在缓存中vmtouchfilename查看目录下所有文件有多大在缓存中vmtouch./pcstat未尝试，https://github.com/tobert/pcstathcache未
·2021-06-18 21:03

airflow 2.x 分布式部署实战（qbit）

前言试验开始使用的MySQL8作为数据库，截至2021.5.13，airflow2.0.2的这个问题未解决，所以转为使用PostgreSQL12airflow是DAG(有向无环图)的任务管理系统，简单的理解就是一个高级版的crontab。airflow解决了crontab无法解决的任务依赖问题。airflow基本架构airflow+celery架构环境与组件Ubuntu20.04Python-3.
·2021-06-18 21:33

Elasticsearch 段合并（qbit）

前言本文对Elasticsearch7.10适用节点角度查看节点segment情况（官方文档）GET_cat/nodes?v&s=name&h=name,sc,sm索引角度查看索引indexsegment情况（官方文档）GETmy_index/_segments查看索引catsegment情况（官方文档）GET_cat/segments/my_index?v&h=index,shard,prire
·2021-04-13 14:29

Python 函数缓存（qbit）

前言本文的Python3.8适用LRU:leastrecentlyused，最近最少使用functools.lru_cache官方标准库：functools.lru_cache给lru_cache增加生命周期管理：https://stackoverflow.com/que...cachetoolspypi:https://pypi.org/project/cach...github:https:/
·2021-04-12 10:26

关于 MongoDB 副本集同步（qbit）

本文对MongoDB4.4试用大量数据同步:ResyncaMemberofaReplicaSet修改oplog大小:replSetResizeOplog//查看oplog阈值>uselocal>db.oplog.rs.stats().maxSizeNumberLong("53687091200")//字节//设置>db.adminCommand({replSetResizeOplog:1,size
·2021-04-12 10:14

Filebeat 收集 Elasticsearch 日志（qbit）

试验环境CentOS7.9Elasticsearch7.10.0Kibana7.10.0Filebeat7.10.0试验步骤ELK安装EFK的安装不赘述，Filebeat安装配置官方文档：https://www.elastic.co/guide/...Filebeat配置启用elasticsearch模块（elasticsearch.yml.disabled->elasticsearch.yml）
·2021-04-12 10:13

MongoDB group count 慢（qbit）

前言本文对MongoDB4.4适用过程记录使用MongoDB做分组统计查询很慢，语句如下db.my_coll.aggregate([{"$group":{_id:"$year",count:{$sum:1}}}])使用explain函数查看，发现year字段并没有走索引db.my_coll.aggregate([{"$group":{_id:"$year",count:{$sum:1}}}]).e
·2021-04-12 10:42

MongoDB 最佳实践（qbit）

前言本文根据TJ《MongoDB高手课》整理，配上了官方文档链接。本文对MongoDB4.2/4.4适用。MongoDB最佳实践关于连接到MongoDB官方驱动程序列表：https://docs.mongodb.com/driv...关于连接对象MongoClient：使用MongoClient对象连接到MongoDB实例时总是应该保证它单例，并且在整个生命周期中都从它获取其他操作对象。关于连接字
·2021-04-12 10:11

Python 函数缓存（qbit）

前言本文的Python3.8适用LRU:leastrecentlyused，最近最少使用functools.lru_cache官方标准库：functools.lru_cache给lru_cache增加生命周期管理：https://stackoverflow.com/que...cachetoolspypi:https://pypi.org/project/cach...github:https:/
·2021-04-12 10:06

MongoDB 最佳实践（qbit）

前言本文根据TJ《MongoDB高手课》整理，配上了官方文档链接。本文对MongoDB4.2/4.4适用。MongoDB最佳实践关于连接到MongoDB官方驱动程序列表：https://docs.mongodb.com/driv...关于连接对象MongoClient：使用MongoClient对象连接到MongoDB实例时总是应该保证它单例，并且在整个生命周期中都从它获取其他操作对象。关于连接字
·2021-03-15 13:43

ES 快照到 S3 并从 Windows 共享目录恢复（qbit）

前言业务需要将Elasticsearch快照到AWSS3，再将快照拷贝到Windows系统，并恢复到Elasticsearch。如下图所示：环境Elasticsearch7.10.1WindowsServer2019Ubuntu20.04（ES宿主）ES集群1安装S3插件官方文档：https://www.elastic.co/guide/...应在ES集群的所有节点上安装插件下载S3插件和SHAh
·2021-03-13 04:48

将 ES 的快照备份到 Windows 共享目录（qbit）

前言环境Elasticsearch7.10.1ES所在服务器操作系统为Ubuntu20.04Windows服务器版本为WindowsServer2019已将Windows的//172.31.19.143/es_snapshot共享目录挂载到ES服务器的/mnt/winshare目录Linux挂载Windows共享目录参见：Ubuntu20.04读写Windows10共享目录修改ES服务配置在ela
·2021-03-13 04:48

JupyterLab3 桌面版快速配置（qbit）

Windows10Python3.8JupyterLab3.0.9Chrome88步骤安装JupyterLabpip3installjupyterlab--user生成配置文件jupyterlab--generate-config编辑配置文件C:\Users\qbit
·2021-03-13 04:45

Ubuntu 20.04 读写 Windows 10 共享目录（qbit）

前言本文是Linux挂载Windows共享目录的测试记录本文实验环境中，Windows操作系统版本为WindowsServer2016，应该对Windows10和WindowsServer2019同样适用本文实验环境中，Linux操作系统版本为Ubuntu20.04/CentOS7Windows共享目录设置在机器192.168.1.186上创建共享目录es_snapshot用户名为es，密码为sm
·2021-03-13 04:15

Elasticsearch7 分片/快照的速度/进度（qbit）

背景说明本文测试环境为Elasticsearch7.10.1分片的速度与进度分片的速度cluster.routing.allocation.node_concurrent_recoveries单节点分片恢复的并发数indices.recovery.max_bytes_per_sec单节点分片恢复的速率，适用于peerrecoveries和snapshotrecoveriespeerrecoveri
·2021-03-13 04:14

Ubuntu 20.04 配置 LVM（qbit）

前言在Ubuntu20.04上把新增的两块SSD硬盘配置为一个逻辑卷操作步骤创建物理卷PV（PhysicalVolume）sudopvcreate/dev/nvme0n1/dev/nvme1n1查看PVsudopvdisplay创建卷组VG（VolumeGroup）sudovgcreatevg0/dev/nvme0n1/dev/nvme1n1查看VGsudovgdisplay-v将整个VG分配到一
·2021-03-13 04:36

ES 快照到 S3 并从 Windows 共享目录恢复（qbit）

前言业务需要将Elasticsearch快照到AWSS3，再将快照拷贝到Windows系统，并恢复到Elasticsearch。如下图所示：环境Elasticsearch7.10.1WindowsServer2019Ubuntu20.04（ES宿主）ES集群1安装S3插件官方文档：https://www.elastic.co/guide/...应在ES集群的所有节点上安装插件下载S3插件和SHAh
·2021-03-09 22:34

将 ES 的快照备份到 Windows 共享目录（qbit）

前言环境Elasticsearch7.10.1ES所在服务器操作系统为Ubuntu20.04Windows服务器版本为WindowsServer2019已将Windows的//172.31.19.143/es_snapshot共享目录挂载到ES服务器的/mnt/winshare目录Linux挂载Windows共享目录参见：Ubuntu20.04读写Windows10共享目录修改ES服务配置在ela
·2021-03-09 22:14

Ubuntu 20.04 读写 Windows 10 共享目录（qbit）

前言本文是Linux挂载Windows共享目录的测试记录本文实验环境中，Windows操作系统版本为WindowsServer2016，应该对Windows10和WindowsServer2019同样适用本文实验环境中，Linux操作系统版本为Ubuntu20.04/CentOS7Windows共享目录设置在机器192.168.1.186上创建共享目录es_snapshot用户名为es，密码为sm
·2021-03-09 22:27

Elasticsearch7 分片/快照的速度/进度（qbit）

背景说明本文测试环境为Elasticsearch7.10.1分片的速度与进度分片的速度cluster.routing.allocation.node_concurrent_recoveries单节点分片恢复的并发数indices.recovery.max_bytes_per_sec单节点分片恢复的速率，适用于peerrecoveries和snapshotrecoveriespeerrecoveri
·2021-03-09 22:15

关于 ES 的文件格式（qbit）

前言本文对Elasticsearch7.10适用Elasticsearch7.10对应Lucene8.7Lucene8.7关于扩展名的官方文档https://lucene.apache.org/cor...相关阅读：elasticsearch百亿级数据检索案例与原理逐个解释segments_NName:SegmentsFileBriefDescription:Storesinformationab
·2021-02-04 14:14

Python3 的进程池与锁（qbit）

loguru0.5.3不是多进程安全的，正好可以用来做多进程与锁的测试参考文章：Pythonsharingalockbetweenprocesses代码与说明无锁多进程代码#encoding:utf-8#author:qbit
·2021-02-04 14:23

Elasticsearch 7.10 集群重启恢复慢（qbit）

背景简介本文针对集群重启分片长期分配不出去的问题（CLUSTER_RECOVERED）本文ES版本为7.10.1本文集群有3个主节点，3个协调节点，20个数据节点解决方案官方文档：https://www.elastic.co/guide/...在每个master节点的elasticsearch.yml中增加或修改集群配置#有20个数据节点加入集群就开始恢复分片gateway.expected_da
·2021-02-04 14:21

Linux 设置默认编辑器（qbit）

Ubuntu/CentOS通用这种方式对Ubuntu20.04/CentOS7有效在~/.bashrc中追加如下内容exportEDITOR=$(whichvim)exportSYSTEMD_EDITOR=$(whichvim)Ubuntu专用对Ubuntu20.04适用update-alternatives--configeditor#ORselect-editor本文出自qbitsnap
·2021-02-04 14:20

cmder tips（qbit）

Releases：https://github.com/cmderdev/cmder/releases/某个目录右键打开cmdercdmer /register user或cmder /register all如果cmder提示缺少api-ms-win-crt-runtime-l1-1-0.dll，安装vc2015运行时即可。汉字重叠：settings->Main，取消“Monospace”。添加
·2021-02-04 14:20

Ansible Tips（qbit）

相关网址Ansiblegithub:https://github.com/ansible/an...Ansible官方文档:https://docs.ansible.com/配置ssh免密登录将公钥传送到ssh被控服务器主控端配置（配好后用sshnode01测试）vim~/.ssh/config#将ip本身也作为别名之一Hostnode01172.31.10.157HostName172.31.1
·2021-02-04 14:20

关于 ES 的文件格式（qbit）

前言本文对Elasticsearch7.10适用Elasticsearch7.10对应Lucene8.7Lucene8.7关于扩展名的官方文档https://lucene.apache.org/cor...相关阅读：elasticsearch百亿级数据检索案例与原理逐个解释segments_NName:SegmentsFileBriefDescription:Storesinformationab
·2021-02-04 13:44

Elasticsearch 集群的正确重启方式（qbit）

引子本文对Elasticsearch7.10适用正确关机是为了防止数据丢失或集群混乱，也可避免无意义的重新分片官方文档：https://www.elastic.co/guide/...方式一所有master机器配置recover策略，示例如下#有20个数据节点加入集群就开始恢复分片gateway.expected_data_nodes:20#如果等待5分钟后加入的数据节点还没有达到20个gatew
qbit·2021-01-07 06:01

Elasticsearch 集群的正确关机方式（qbit）

引子本文对Elasticsearch7.10适用正确关机是为了防止数据丢失或集群混乱官方文档：https://www.elastic.co/guide/...步骤1、临时禁用shard分配（重启后自动失效）PUT_cluster/settings{"transient":{"cluster.routing.allocation.enable":"none"}}2、将所有数据落盘POST_flush
qbit·2021-01-06 19:56

Elasticsearch 7.10 集群重启恢复慢（qbit）

背景简介本文针对集群重启分片长期分配不出去的问题（CLUSTER_RECOVERED）本文ES版本为7.10.1本文集群有3个主节点，3个协调节点，20个数据节点解决方案官方文档：https://www.elastic.co/guide/...在每个master节点的elasticsearch.yml中增加或修改集群配置#有20个数据节点加入集群就开始恢复分片gateway.expected_da
qbit·2021-01-04 21:50

Linux 设置默认编辑器（qbit）

Ubuntu/CentOS通用这种方式对Ubuntu20.04/CentOS7有效在~/.bashrc中追加如下内容exportEDITOR=$(whichvim)exportSYSTEMD_EDITOR=$(whichvim)Ubuntu专用对Ubuntu20.04适用update-alternatives--configeditor本文出自qbitsnap
qbit·2020-12-30 21:46

Elasticsearch 7.x 在 Kibana 中看不到监控信息（qbit）

现象（Wecouldn'tactivatemonitoring）排查#查看模板GET_cat/templates/.monitoring*?v#查看是否有.monitoring-es-*的索引GET_cat/indices/.monitoring-*#查看集群配置GET/_cluster/settings修改集群配置PUT_cluster/settings{"persistent":{"xpack
qbit·2020-12-21 11:29

Elasticsearch 7.x 在 Kibana 中看不到监控信息（qbit）

现象（Wecouldn'tactivatemonitoring）排查#查看模板GET_cat/templates/.monitoring*?v#查看是否有.monitoring-es-*的索引GET_cat/indices/.monitoring-*#查看集群配置GET/_cluster/settings修改集群配置PUT_cluster/settings{"persistent":{"xpack
qbit·2020-12-21 10:16

ISSN/ISBN 校验（qbit）

python-stdnum可校验issn/isbn等多种号码校验issnfromstdnumimportissn>>>issn.is_valid('0024-9319')True>>>issn.is_valid('0024-9318')False校验isbnfromstdnumimportisbn>>>isbn.is_valid('9789024538270')True>>>isbn.is_val
qbit·2020-12-13 22:25
上一页 1 2 3 4 5 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他