ClickHouse从0到1

从0到1实现一个前端监控系统（附源码）

目录一、从0开始二、上报数据方法三、上报时机四、性能数据收集上报收集上报FP收集上报FCP收集上报LCP收集上报DOMContentLoaded收集上报onload数据收集上报资源加载时间收集上报接口请求时间五、错误数据收集上报收集上报资源加载错误收集上报js错误收集上报promise错误六、行为数据收集上报收集上报pv、uv页面上报停留时长用户点击上报七、改造完善四维监控类总结可参考文章参考资料
chengbo_eva·2023-11-12 23:57

EFK升级到ClickHouse的日志存储实战

0、背景唯品会日志系统dragonfly1.0是基于EFK构建，于2014年服务至今已长达7年，支持物理机日志采集，容器日志采集，特殊分类日志综合采集等，大大方便了全公司日志的存储和查询。随着公司的业务发展，日志应用场景逐渐遇到了一些瓶颈，主要表现在应用数量和打印的日志越来越多，开发需要打印更多日志，定位业务问题，做出运营数据分析；另外外部攻击问题和审计要求，需要更多安全相关的日志数据要上报并且能
Impl_Sunny·2023-11-12 21:50

三大赛题指南发布！2023 冬季波卡黑客松本周末开启 Workshop

或许答案在于——作为开发者极度友好的技术生态，波卡能够从参赛者的立场出发，为大家提供从0到1实现项目孵化成长的机会。
OneBlock Community·2023-11-12 15:49

ClickHouse-尚硅谷（4. 入门-表引擎）学习笔记

上一篇：（3.入门-数据类型）学习笔记下一篇：（5.入门-SQL操作）学习笔记文章目录1表引擎的使用2TinyLog3Memory4MergeTree*4.1partitionby分区(可选)4.2primarykey主键(可选)4.3orderby（必选）4.4二级索引(跳数索引)4.5数据TTL（数据存活时间）5ReplacingMergeTree6SummingMergeTree1表引擎的使
yuan_404·2023-11-12 14:22

ClickHouse-尚硅谷（11. 高级-查询优化）学习笔记

上一篇：（10.高级-语法优化规则）学习笔记下一篇：（12.高级-数据一致性）学习笔记文章目录1单表查询1.1Prewhere替代where1.2数据采样1.3列裁剪与分区裁剪1.4orderby结合where、limit1.5避免构建虚拟列1.6uniqCombined替代distinct1.7使用物化视图1.8其他注意事项2多表关联2.1准备表和数据2.2用IN代替JOIN2.3大小表JOIN
yuan_404·2023-11-12 14:22

Clickhouse学习笔记（11）—— 数据一致性

使用合并树引擎时，无论是ReplacingMergeTree还是SummingMergeTree，都只能保证数据的最终一致性，因为数据的去重、聚合等操作会在数据合并的期间进行，而合并会在后台以一个不确定的时间进行，因此无法预先计划；数据准备建表：CREATETABLEtest_consistence(user_idUInt64,scoreString,deletedUInt8DEFAULT0,cr
THE WHY·2023-11-12 14:18

Clickhouse学习笔记（12）—— 物化视图

ClickHouse的物化视图是一种查询结果的持久化，与普通视图对比，其不仅保存了查询的逻辑，还保存了查询结果；物化视图与普通视图的区别普通视图不保存数据，保存的仅仅是查询语句，查询的时候还是从原表读取数据
THE WHY·2023-11-12 14:18

Clickhouse 学习笔记（7）—— 查看执行计划

在clickhouse20.6版本之前要查看SQL语句的执行计划需要设置日志级别为trace才能可以看到，并且只能真正执行sql，在执行日志里面查看在20.6版本之后可以通过explain语句查看执行计划基本语法
THE WHY·2023-11-12 14:47

Clickhouse学习笔记（8）—— 建表优化

数据类型时间字段建表时能用数值型或日期时间类型（DateTime）表示的字段就不要用字符串因为clickhouse进行分区时一般使用时间字段来进行分区，而将时间字段使用DateTime表示，不需要经过函数转换处理
THE WHY·2023-11-12 14:47

Clickhouse学习笔记（9）—— 语法优化

ClickHouse的SQL优化规则是基于RBO(RuleBasedOptimization）实现的官方数据集的使用为了方便测试CK的语法优化规则，尝试使用官方提供的数据集；需要使用的数据集是visits_v1
THE WHY·2023-11-12 14:47

《ClickHouse原理解析与应用实践》读书笔记（1）

开始学习《ClickHouse原理解析与应用实践》，写博客作读书笔记。本文全部内容都来自于书中内容，个人提炼。前言和推荐略过第1章ClickHouse的前世今生跟ck没多大关系，过一遍就行。
Aiky哇·2023-11-12 14:15

Clickhouse学习笔记01——入门及安装

文章目录一、Clickhouse入门1.使用场景2.Clickhouse的特点2.1列式存储2.2DBMS功能2.3多样化引擎2.4高吞吐写入能力2.5数据分区和线程并行2.6一些限制2.7哪些公司在使用
mp9105·2023-11-12 14:44

Clickhouse学习笔记（10）—— 查询优化

单表查询Prewhere替代whereprewhere与where相比，在过滤数据的时候会首先读取指定的列数据，来判断数据过滤，等待数据过滤之后再读取select声明的列字段来补全其余属性简单来说就是先过滤再查询，而where过滤是先查询出对应的列字段来，再根据过滤条件过滤数据；因此对比之下，使用prewhere过滤处理的数据量要更少，效率也就更高；但需注意，prewhere只可适用于merget
THE WHY·2023-11-12 14:10

CTFshow—爆破、命令执行

mt_rand()//生成随机数详细请参考：php伪随机数解题脚本：web28要求扫描目录扫描这两个目录，各从0到100但扫描时注意不能加上2.txt否则就是扫描文件了，而不是扫描目录一般目
D.MIND·2023-11-12 10:47

uniapp 从0到1 h5地图引入定位服务，获取两个经纬度之间的距离或多个经纬度之间的距离，跨域配置

作者觉得选择第二、第三个方案更好第一种，高德会限额问题，但是可以选择直线，驾车，骑行等第二种，你只要引入了高德服务，就可以用高德的计算距离的方法，但是app种，有可能会有问题第三种的话，只能做直线距离uniapph5地图必须选择腾讯地图，这是uniapp规定的这里的规定是指的是获取位置的时候需要腾讯，如果需要得到两个位置的距离可以用高德的服务1.引入定位服务首先来到腾讯地图开放平台，申请一个key
呲溜滑_·2023-11-12 02:19

Clickhouse学习笔记（3）—— Clickhouse表引擎

前言：有关Clickhouse的前置知识详见：1.ClickHouse的安装启动_clickhouse后台启动_THEWHY的博客-CSDN博客2.ClickHouse目录结构_clickhouse目录结构
THE WHY·2023-11-12 00:52

Clickhouse学习笔记（5）—— ClickHouse 副本

DataReplication|ClickHouseDocs副本的目的主要是保障数据的高可用性，即使一台ClickHouse节点宕机，那么也可以从其他服务器获得相同的数据注意：clickhouse副本机制的实现要基于
THE WHY·2023-11-12 00:52

Clickhouse 学习笔记（6）—— ClickHouse 分片集群

前置知识：Clickhouse学习笔记（5）——ClickHouse副本-CSDN博客与副本对比：副本虽然能够提高数据的可用性，降低丢失风险，但是每台服务器实际上必须容纳全量数据，对数据的横向扩容没有解决要解决数据水平切分的问题
THE WHY·2023-11-12 00:52

Clickhouse学习笔记（4）—— Clickhouse SQL

insertinto[table_name]values(…),(….)从表到表的插入：insertinto[table_name]selecta,b,cfrom[table_name_2]update和deleteClickHouse
THE WHY·2023-11-12 00:18

【从0到1设计一个网关】性能优化---使用Disruptor提供缓冲区

文章目录什么是缓冲区队列Disruptor高性能的原因Disruptor实战注：学习这篇文章之前推荐先对Disruptor的使用有了解，否则我的代码中即使有非常详细的注释你也并不能理解这些注释的作用，以及为什么我要需要这样子编写代码。同时，这将会是网关系列最后一篇文章，由于文章写的比较赶，所以很多细节并没有提到，我会在后续有空时对文章进行进一步的修改。确保大家都能理解项目的意义什么是缓冲区队列JD
ZhangBlossom·2023-11-11 22:21

【从0到1设计一个网关】上岸大厂的秘诀之一

文章目录前言【从0到1设计一个网关】什么是网关？以及为什么需要自研网关？
ZhangBlossom·2023-11-11 22:48

【 从0到1版本】移植RT-Thread到GD32 ——之 ＜添加以太网驱动＞RTT + GD32F4XX + DP83848 （超详细）

RTT+GD32F4XX+DP83848文章中，针对各种特殊情况：如menuconfig找不到相关驱动选项、驱动文件添加但不成功，以及IP非静态等问题做了一系列的解释解答和解决。并且指明了各种源码的位置，和移植位置。入门简单，容易上手！【教程前的叨叨叨】目前看到各位大佬的文章，基本STM32+LAN8700教程居多，因为最近手上新项目使用的是GD32F4XX+DP83848，摸索的过程记录并分享一
乐亦_Lee·2023-11-11 21:15

在Ubuntu主机上使用USB无线网卡

前言上个月冲动消费攒了一台华擎DeskMiniX300小主机，装了Ubuntu22.04，用来解决M1芯片MacBookPro上无法编译x86_64架构的StarRocks和ClickHouse的问题。
疯狂撸代码的奋青·2023-11-11 17:31

【从0到1设计一个网关】性能优化---Netty线程数配置与JVM参数配置

文章目录Netty线程介绍Netty实战配置JVM参数与ZGCJVM与ZGC调优Netty线程介绍在Netty中有两个比较重要的线程概念，一个是BOSS线程，一个是Woker线程。Boss线程组：Boss线程组通常负责处理接受客户端连接的工作，即处理ServerSocketChannel的连接事件。Boss线程会监听并接受客户端的连接请求，然后将连接注册到Worker线程池中的某个Worker线程
ZhangBlossom·2023-11-11 15:32

一文7000字从0到1教你基于Jmeter的性能压测平台实现

很早就想要一套属于自己的性能压测平台，原因是使用了阿里云的性能测试PTS，就挺羡慕能有一个这样的性能测试平台，但毕竟人家的东西我们高攀不起（要钱的），而且阿里云的性能测试平台是不支持多种协议的（比如我有一个项目要用websocket测试，结果人家就支持http压测）。说到开发自己的性能测试平台，肯定想到的是Jmeter，因为开源的性能测试工具没有比它更强大的了，所以第一个想到的是怎么把它变成性能测
小码哥说测试·2023-11-11 14:55

Vite项目的初体验 - 非Vite脚手架版本

本文的案例，从0到1的，一步一步的体会vite的作用。本文的阅读顺序，建议从上到下依次阅读，每个步骤之间都具有关联性。步骤一:先运行一个普通的项目开发环境简述本文中的案例使用VSCode工具。
NorthCastle·2023-11-11 13:00

最新ChatGPT GPT-4 文本生成技术详解（附ipynb与python源码及视频讲解）——开源DataWhale发布入门ChatGPT技术新手从0到1必备使用指南手册（三）

目录前言最新ChatGPTGPT-4文本生成技术详解1引言2文本摘要任务2.1什么是文本摘要？2.2常见的文本摘要技术2.3基于OpenAI接口的文本摘要实验2.3.1简单上手版：调用预训练模型2.3.2进阶优化版：基于自定义语料finetune3文本纠错任务3.1什么是文本纠错？3.2常见的文本纠错技术3.2.1基于规则的文本纠错技术3.2.2基于语言模型的文本纠错技术3.2.3基于MLM的文本
小胡说人工智能·2023-11-11 10:48

Apache Airflow (三) ：Airflow WebUI操作介绍

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。
IT贫道·2023-11-11 09:19

Apache Airflow (四) ：Airflow 调度shell命令

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。
IT贫道·2023-11-11 09:46

【从0到1设计一个网关】性能优化---缓存

文章目录为什么要用缓存？CaffeineCache使用Caffeine效果演示为什么要用缓存？首先先了解一下为什么在网关中我们需要用到缓存。我们可以从如下几点来入手这个问题：处理大规模流量：网关是系统的入口，需要处理大规模的请求流量。高性能的网关能够快速而有效地处理大量的请求，确保系统对外提供稳定和快速的服务。复杂的请求处理：网关可能需要执行复杂的请求处理逻辑，包括身份验证、授权、路由、转换等。高
ZhangBlossom·2023-11-11 08:35

最新ChatGPT GPT-4 自然语言理解NLU与句词分类技术详解（附ipynb与python源码及视频讲解）——开源DataWhale发布入门ChatGPT技术新手从0到1必备使用指南手册（四）

目录前言最新ChatGPTGPT-4自然语言理解NLU与句词分类技术详解1.NLU基础1.1句子级别的分类1.2Token级别的分类2.相关API2.1LMASGPTAPI2.2ChatGPTStyle相关NLU应用及实战相关文献参考资料其它资料下载前言自然语言理解（NLU）是人工智能（AI）领域中的一个关键技术，它旨在使计算机从文本或语音输入中推断出用户的意图和含义。随着大数据和深度学习技术的快
小胡说人工智能·2023-11-11 04:00

ClickHouse Keeper 源码解析

内容框架：1.背景2.架构图3.核心流程图梳理4.内部代码流程梳理5.Nuraft关键配置排坑6.结论7.关于我们8.Reference背景注：以下代码分析版本为开源版本ClickHousev21.8.10.19
阿里云技术·2023-11-11 00:03

clickhouse-keeper简介及使用

一、ClickHouse-Keeper是什么：ClickHouse社区在21.8版本中开始引入了ClickHouse-Keeper，直至ClickHouse21.12发布公告提到ClickHouseKeeper
老朱-yubing·2023-11-11 00:32

clickHouse版本升级以及切换clickhouse keeper

clickHouse版本升级以及切换clickhousekeeper文章目录clickHouse版本升级以及切换clickhousekeeper前言准备工作开始升级zookeeper切换clickhousekeeperzookeeper
一只搬砖人·2023-11-11 00:31

ClickHouse-Keeper

一、官网信息https://clickhouse.com/docs/en/operations/clickhouse-keeper/二、基本介绍1.简介ZooKeeper最早的非常著名的开源协调系统之一
樱桃小丸犊子_q·2023-11-11 00:00

ClickHouse-Keeper部署

切换clickhousekeeper1.单独部署（即clickhouse-server和clickhousekeeper起俩个进程运行）1.检测端口是否被占用netstat-anp|grep9181##
樱桃小丸犊子_q·2023-11-11 00:00

ClickHouse Keeper: Coordination without the drawbacks没有缺点的分布式协作系统

ClickHouseKeeper介绍现代分布式系统需要一个共享和可靠的信息存储库和共识系统来协调和同步分布式操作。对于ClickHouse来说，ZooKeeper最初是被选中的。
enjoy编程·2023-11-11 00:27

Clickhouse数据库七：配置高可用（复本）

Clickhouse数据库七：配置高可用（复本）副本的目的主要是保障数据的高可用性，即使一台clickhouse节点宕机，那么也可以从其他服务器获得相同的数据。
大数据面壁者·2023-11-10 21:03

ClickHouse部署全攻略——安全配置

暂不建议修改）Usersettings：用户配置以rsyslog形式写入系统日志直接发送到rsyslog接收服务端（不推荐）留存本地，是否发送由rsyslog统一制定（推荐）启用openSSL安全协议为clickhouse
家里有只小螃蟹·2023-11-10 21:31

浅谈ClickHouse安全性和权限管理

ClickHouse安全性和权限管理ClickHouse是一个高性能、列式存储的分布式数据库，广泛应用于实时数据分析、大数据处理等场景。
~奔跑的简默~·2023-11-10 21:00

深入理解ClickHouse跳数索引

一、跳数索引影响ClickHouse查询性能的因素很多。在大多数场景中，关键因素是ClickHouse在计算查询WHERE子句条件时是否可以使用主键。
Doker 多克 技术人的数码品牌·2023-11-10 21:29

如何修改已创建容器为开机自启动状态

一.检查容器的自启动状态1.命令dockerinspect|grepRestartPolicy-A42.例子dockerinspectclickhouse-server|grepRestartPolicy-A43
其樂无穷·2023-11-10 20:07

【clickhouse】一个性能问题，把一个中间件从头到位翻了个遍

现象团队在前期引入了clickhouse，业务上端口进行审计，每天的数据量很大，测试小伙伴在测试的时候，使用pcap回放，将千兆带宽几乎跑满，出现每天大概一亿的数据量，导致界面实时查询很慢，因为是一台物理机部署多个服务
yan0219n·2023-11-10 16:26

性能测试从0到1

性能测试概念我们经常看到的性能测试概念，有人或称之为性能策略，或称之为性能方法，或称之为性能场景分类，大概可以看到性能测试、负载测试、压力测试、强度测试等一堆专有名词的解释。针对这些概念，我不知道你看到的时候会不会像我的感觉一样：乱！一个小小的性能测试，就延伸出了这么多的概念，并且概念之间的界限又非常模糊。就拿“压力测试”、“容量测试”和“极限测试”这三个概念来说吧。网上针对这三个名词的解释是这样
测试老哥·2023-11-10 15:58

jQuery之淡入、淡出

2000,function(){alert('淡出了')})三、切换$('#div').fadeToggle(2000)四、淡入到多少$('#div').fadeTo(2000,0.5)总结：淡入是透明度从0
郑建零零发·2023-11-10 11:38

【I/O流】File类开启之旅：从0到1的全面解析

专栏【Java】每日一句:看不清楚未来时,就比别人坚持久一点⭐欢迎并且感谢大家指出我的问题目录1.File概述2.File构造方法(1).根据文件路径创建文件对象(2).根据父路径名字符串和子路径名字符串创建对象(3).根据父路径对应文件对象和子路径名字符串创建对象3.File成员方法(1).判断,获取(2).创建,删除1.createNewFile(创建文件)2.mkdir(创建文件夹)3.mk
Dawn黎明开始·2023-11-10 10:03

【MySQL】从0到1学会单表查询

专栏【MySQL】每日一句：后悔没用,你需要的是变的更好⭐欢迎并且感谢大家指出我的问题文章目录1.查询表中若干列查询全部列查询经过计算的值使用列别名改变查询结果的列标题(AS可以省略)2.查询表中若干元组消除取值重复的行比较大小确定范围确定集合字符匹配涉及空值的查询3.ORDERBY子句特点例1例24.聚焦函数(1)统计元组个数(2)统计一列中值的个数(3)计算一列值的总和(此列必须为数值型)(4
Dawn黎明开始·2023-11-10 10:33

C语言：__restrict关键字提升性能

据说Clickhouse用这个关键字提升了1.6倍的聚合函数性能。作者：疾风2018链接：https://www.jianshu.com/p/2f1d86dffb26
秦时明月之君临天下·2023-11-10 10:26

短视频矩阵系统源码look，抖音矩阵系统源码me

笔者结合了多个不同类型企业的实际案例，完整地介绍了企业抖音账号从0到1如何做。一、抖音的历史跟现状当下抖音有多火想必不用说大家都明了。
@@DWKJ16@@·2023-11-10 07:09

锦鱼课堂：从0到1布局微信搜一搜引流

大家好，我是锦鱼课堂，这几年，私域流量的概念可以说是炒得非常火热。而微信的生态可以说是私域流量最好的承载体，但私域流量很贵，如何在微信的生态里，获得宝贵的用户呢？那毫无疑问是具有公域属性的搜一搜。微信搜一搜现在虽然没有百度那么霸主地位，但日活上亿，也足够我们这些普通人在里面酣畅淋漓地玩耍了。那如何利用微信搜一搜赚钱呢？毫无疑问就需要提前布局微信搜一搜的生态。等有合适的机会的时候，你才能借此机会，一
锦鱼课堂·2023-11-10 07:24
上一页 27 28 29 30 31 32 33 34 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他