E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
sql解析
用
sql解析
通达信二进制day文件,得到历史股价数据
炒股软件通达信把日k线存放在vipdoc\sz\lday下面。sz表示深圳交易所的证券。sz000002.day表示万科的日k线数据,它是二进制的,不能直接阅读,需要一个解析的规则。网络上有一些用python的struct库解析的方法,这里尝试用sparksql来解析。先看一下二进制文件长啥样:valdf=spark.read.format("binaryFile").load("C:/zd_xd
littlehuangnan
·
2023-01-30 10:34
spark
大数据
分布式
(4)数据库架构
数据库架构图
SQL解析
器:把一个文本的SQL语句通过词法语法解析转化成一个符合内部C语言处理的结构体(一般称为解析树)。典型的词法分析工具如lexer(flex)、yacc(bison)。
sflovely1314
·
2023-01-29 19:22
5W 字详解分库分表之 Sharding-JDBC 中间件
本文大纲如下Sharding-JDBC的基本用法和基本原理前言1.我的出生和我的家族2.我统治的世界和我的职责3.召唤我的方式4.我的特性和我的工作方法4.3.1.
SQL解析
4.3.2.SQL路由4.3.3
公众号:Java后端
·
2023-01-29 08:53
数据库
scipy
crm
ipad
ggplot2
分库分表四:shardingjdbc内核解析和核心源码分析
SQL解析
和查询优化都是跟具体的数据库产品有关,在5.x新版本中,被统一进了SQL方言里。解析引擎相对于其他编程语言,SQL是
天黑请闭眼丶风
·
2023-01-29 08:21
分库分表
shardingjdbc
分库分表
MyBatis 四大组件之 Executor 执行器
数据库驱动连接管理和
SQL解析
的管理组件之Executor执行器MyBatis四大组件之Executor执行器每一个SqlSession都会拥有一个Executor对象,这个对象负责增删改查的具体操作,
SKang_b35a
·
2023-01-27 19:57
java齐雷
接口应用层:SqlSessionFactory,SqlSession,ExecutorSQL处理层:
SQL解析
,
小小学生儿
·
2023-01-27 13:10
Calcite SQL 解析、语法扩展、元数据验证原理与实战(上)
引言ApacheCalcite是一个动态数据管理框架,其中包含了许多组件,例如
SQL解析
器、SQL验证器、SQL优化器、SQL生成器等。
·
2023-01-18 12:40
sql
Hive配置Spark计算引擎,速度快!
SparkonHive:Hive只作为存储元数据,Spark负责
SQL解析
优化,语法是SparkSQL语法,Spark负责采用RDD执行。1.2HiveonSpark配置1)兼容性说明注
子清.
·
2022-12-29 13:39
#
Hive
大数据
spark
hive
MySQL执行一个查询的过程
3、服务器端进行
SQL解析
、预处理、再由优化器生成对应的执行计划。4、MySQL根据优化器生成的执行计划,调用存储引擎的API来执行查询
guyuweilove
·
2022-12-25 11:58
mysql
数据库
sql
如何实现一个
SQL解析
器
本篇文章主要介绍如何实现一个
SQL解析
器来应用的业务当中,同时结合具体的案例来介绍SQ
·
2022-12-22 11:26
sql数据库解析器
SparkSQL-----各种方式加载DataFrame
2.SparkonHive和HiveonSparkSparkonHive:Hive只作为储存角色,Spark负责
sql解析
优化,执行。HiveonSpark:Hive即作为存储又负责sql的解析优化
计算机界的小学生
·
2022-12-18 19:16
spark
spark
大数据
big
data
Flink操作json数据
1kafka中的json数据关键词:json、嵌套、复杂结构、Map、Array、Row1.Flink
SQL解析
嵌套的JSON数据_JasonLee_后厂村程序员-CSDN博客-2内置json函数1.官方文档
盛源_01
·
2022-12-15 11:02
flink
json
flink
kafka
一条 SQL 的查询优化之旅【下】
三、Calcite
SQL解析
和元数据验证关键原理解析3.1Calcite
SQL解析
关键原理当一条SQL语句到达引擎,首先通过的是
SQL解析
器,
SQL解析
器将用户输入的SQL语句转换为一棵抽象语法树,同时在这个过程里
·
2022-12-14 14:48
sql
通过SQL一键解析表字段血缘关系
可以根据sql文件中的sql快速解析出表字段到字段的血缘关系,支持mysql、oracle、hive、impala、greenplum等数据库sql语法解析,可以在sql文件中放如多段
sql解析
,也可以同时解析多份
乌云雨
·
2022-12-14 04:37
sql
java
hive
Flink内核源码(七)Flink SQL提交流程
1.CalciteApacheCalcite是一个动态数据管理框架,它具备很多典型数据库管理系统的功能,如
SQL解析
、SQL校验、SQL查询优化等,又省略了一些功能,如不存储相关数据,也不完全包含相关处理数据等
小朱小朱绝不服输
·
2022-11-29 21:01
大数据
sql
flink
源码
SQL提交
python解析sql字段血缘_##[开源]HIVE数仓数据血缘分析工具-
SQL解析
代码如下:Block类packagecom.xiaoju.products.parse;importjava.util.ArrayList;importjava.util.HashMap;importjava.util.HashSet;importjava.util.List;importjava.util.Map;importjava.util.Set;importjava.util.Stack
務酒者
·
2022-11-22 16:15
python解析sql字段血缘
python sqlparse_Python sqlparse包_程序模块 - PyPI - Python中文网
sqlparse是一个未验证的
sql解析
器模块。它提供了对sql语句的解析、拆分和格式化的支持。访问projectpage以获取其他信息和文件。
weixin_39781783
·
2022-11-22 16:43
python
sqlparse
基于Python-sqlparse的SQL字段血缘追踪解析实现
目录前言一、字段血缘1.区别字段2.区别标识符序列3.功能函数设定二、字段血缘可视化点关注,防走丢,如有纰漏之处,请留言指教,非常感谢前言
SQL解析
和血缘追踪的研究现在差不多可以告一段落了,从8月22日写
fanstuck
·
2022-11-22 16:49
sqlparse血缘解析
1024程序员节
数据库
mysql
python
sql
如何实现一个
SQL解析
器
本篇文章主要介绍如何实现一个
SQL解析
器来应用的业务当中,同时结合具体的案例来介绍SQ
·
2022-10-24 09:25
sql数据库解析器
【Hive---02】hive概述『 what | 优缺点 | 架构 | Hivevs MySQL』
hive包含了
SQL解析
引擎,它会将HQL转换为MapReduceJob,然后在Hadoop
别闹'
·
2022-10-22 14:39
#
Hive
hive
hadoop
架构
Oracle SQL语句解析过程
OracleSQL语句解析过程目录OracleSQL语句解析过程1软硬解析2
SQL解析
过程1软硬解析SQL语句在到达Oracle实例后,需要先进行解析,分析出最优的执行计划后,再按照执行计划,开始执行SQL
李强 DST
·
2022-10-13 07:03
数据库
Oracle中
SQL解析
整体过程
Oracle中
SQL解析
整体过程Oracle数据库体系结构数据库服务器构成内存进程存储表空间,数据块,数据库表空间段,区,块灰数据Sql执行过程客户端将sql语句发到服务器进行解析检查SQL语句的合法性检查
凉拌大橙子
·
2022-10-13 07:25
数据库基础
数据库
sql
深入浅出 MatrixOne Parser
数据库内核可以拆分为:接收client发送过来的网络包处理网络包,将
SQL解析
成抽象语法树将语法树转换和优化成查询计划通过查询计划生成执行计划,并执行返回结果为什么说是博大精深呢?
·
2022-10-08 10:18
数据库
MySQL学习笔记:一条SQL语句的执行过程
MySQL数据库的组成如图所示,MySQL由Server层和存储引擎层两部分组成:Server层Sever层包括连接器、查询缓存、分析器、优化器、执行器等,主要参与数据库连接、
SQL解析
执行;所有的内置函数
c46550
·
2022-10-04 15:11
MySQL学习笔记
mysql
sql
数据库
成功解决: Mybatis懒加载导致返回前端数据json序列化错误
谷歌搜索了很多,并没有实质的解决,终于过了三天,直到我导入jsqlparser依赖才有了进展(jsqlparser是一个
sql解析
工具)com.github.pagehelperpagehelper5.1.0com.gi
jonssonyan
·
2022-10-02 07:28
消灭Bug
前端
json
spring
boot
开源数据库OpenGauss的
SQL解析
源码分析
首发于:blog:openGaussofficialblog-Gitee.com一、OpenGauss数据库体系概述openGauss是关系型数据库,采用客户端/服务器,单进程多线程架构;支持单机和一主多备部署方式,同时支持备机可读、双机高可用等特性。从代码结构体系结构的角度来说,oepnGauss的第一个组成部分是通信管理。openGauss查询响应是使用“单个用户对应一个服务器线程”的简单客户
Adonis_666
·
2022-09-28 09:06
OpenGauss
sql
数据库
服务器
database
一条sql详解MYSQL的架构设计详情
目录1前言2应用层2.1连接线程处理3服务层3.1SQL接口3.2
SQL解析
器3.3SQL优化器3.4执行器3.5查询缓存4存储引擎层4.1概述4.2缓冲池(bufferpool)4.2.1数据页、缓存页和脏页
·
2022-09-24 07:58
hive on spark 配置 和 spark on hive
SparkonHive:Hive只作为存储元数据,Spark负责
SQL解析
优化,语法是SparkSQL语法,Spark负责采用RDD执行。HiveonSpark配置1)兼容性说明注意:官网下载
GOD_WAR
·
2022-09-21 13:10
hive
spark
spark
hive
Hive on Spark配置
SparkonHive:Hive只作为存储元数据,Spark负责
SQL解析
优化,语法是SparkSQL语法,Spark负责采用RDD执行。2.HiveonSpark配置1)兼容性说明注意:
曾牛
·
2022-09-21 13:35
hive
spark
hive
MyCat 管理及监控
MyCat原理在MyCat中,当执行一条SQL语句时,MyCat需要进行
SQL解析
、分片分析、路由分析、读写分离分析等操作,最终经过一系列的分析决定将当前的SQL语句到底路由到那几个(或哪一个)节点数据库
naki_bb
·
2022-09-15 12:54
mysql
数据库
mysql
mycat
MySql执行流程与生命周期详解
目录一、MySQL客户端二、MySQL服务端1.查询缓存2.
SQL解析
器3.查询优化器4.SQL执行器总结我们经常会在一起讨论怎样优化SQL、怎样优化数据库,那么请问你知道执行一条SQL的过程中都经过了哪些动作吗
·
2022-09-14 15:16
【MyBatis详解】——动态
SQL解析
与执行原理
目录Demo:动态SQL1.Xml中Sql节点解析——存储到SqlSource对象2.Sql执行——通过调用SqlSource.getBoundSql得到动态处理过的Sql1.SqlNode.apply处理动态内容2.SqlSourceParser.parse替换#符号为?Demo:动态SQLselectcount(id)frompersonANDid=#{id}ANDname=${name}AN
sun_tantan
·
2022-09-08 12:08
框架大集合
mybatis
java
【MyBatis详解】——从Xml配置解析到SQL执行过程
目录整体架构与使用DemoMybatis核心流程1.创建SqlSessionFactory配置解析——
SQL解析
(存储MappedStatement到Configuration中)SqlNodeMappedStatementSqlSourceBoundSql2
sun_tantan
·
2022-09-08 12:08
框架大集合
mybatis
java
MyBatis 源码解析——
SQL解析
MyBatis源码解析——
SQL解析
之前就看过MyBatis源码,理解了,但没完全理解。
k7c9
·
2022-09-08 12:07
MyBatis
sql
java
mybatis
设计模式之解释器模式
比如
SQL解析
,符号处理引擎,会用到解释器模式,属于更底层的开发人员才会用到的设计模式。本文就以解释器模式的概念、角色和简单的例子说明解释器模式,读者对这部分内容了解即可。
·
2022-09-06 16:24
解释器模式设计模式设计模式新说
设计模式之解释器模式
比如
SQL解析
,符号处理引擎,会用到解释器模式,属于更底层的开发人员才会用到的设计模式。
程序员田同学
·
2022-09-06 15:00
mysql之sql优化知识点干货分享7827字数
文章目录前言1.mysql结构简介2.
SQL解析
过程3.SQL索引4.explain详解5.小试牛刀6.定位慢查询SQL前言java学友们,咱们不能一直在做增删改查的功能呀,做技术的实质要技术过硬,现在哪次跳槽不问你做过
公众号:java学长
·
2022-09-06 09:23
java
mysql
java
数据库
ShardingSphere解析SQL示例详解
目录引言解析Sql的入口解析Sql1.将
SQL解析
为抽象语法树2.提取Sql片段3.填充Sql片段,生成解析结果总结引言ShardingSphere的
SQL解析
,本篇文章源码基于4.0.1版本ShardingSphere
·
2022-09-05 11:39
my
sql解析
json数据组获取数据组所有字段的方法实例
目录引言第一步:一行拆分成多行1.1新建一张表keyid,只insert从0开始的数字,如下:1.2找到拆分标识符1.3通过joinon拆分多行第二步:解析json字符串总结引言在开发过程中,遇到过json数据组的字符串,需要解析json组,得到组内所有的信息。如下格式:[{"itemId":3101,"itemName":"空滤器及进气管道"},{"itemId":3102,"itemName"
·
2022-08-22 14:54
【Flink SQL】如何解析和校验 Flink SQL
1.flink
sql解析
方法1:直接创建flinksqlparser解析多行sqlorg.apache.flinkflink-sql-parser1.12.3SqlParsersqlParser=SqlParser.create
熊本极客
·
2022-08-16 21:02
用My
SQL解析
SQL语句里面的分组函数(聚合函数)
用My
SQL解析
SQL语句里面的分组函数(聚合函数)1前提分组函数就是需要分组后才能使用的函数,若默认没有写分组(groupup),那么就会默认把该表里面的所有数据行当成一组书写分组函数的位置:SELECT
SSS4362
·
2022-08-12 10:53
MySQL学习
mysql
sql
分组函数
求和
记录行数OR求最大值OR最小值
MySQL进阶(二)——索引优化分析(join查询,索引简介)
下面是经常出现的查询顺序:
SQL解析
顺序
sql解析
的顺序基本与程序读取顺序一致。Join图其中A与B的交集表示两者的共有,A减去A与B的交集表示A的独
止步听风
·
2022-08-09 10:45
#
MySQL进阶
数据库
mysql
索引
Mysql_14 存储引擎
服务层:SQL接口一行,绝大部分核心功能如
SQL解析
优化、所有跨存储引擎的实现都在这一层。引擎层:可插拔存储引擎一行,索引在这一层实现,决定数据库数据如何存、取、组织。
萨科塔资深干员
·
2022-08-04 08:32
Database
mysql
数据库
java
数据库PG和Oracle,详解Oracle,postgresql和mysql数据库架构对比
总的来说,MySQL可以看成是二层架构,第一层我们通常叫做SQLLayer,在MySQL数据库系统处理底层数据之前的所有工作都是在这一层完成的,包括权限判断,
sql解析
,执行计划优化,querycache
weixin_39528366
·
2022-07-29 10:31
数据库PG和Oracle
Sql解析
转换之JSqlParse完整介绍
1、jsqlparse介绍JSqlParse是一款很精简的
sql解析
工具,它可以将常用的sql文本解析成具有层级结构的“语法树”,我们可以针对解析后的“树节点(也即官网里说的有层次结构的java类)”进行处理进而生成符合我们要求的
Interest1_wyt
·
2022-07-17 12:41
大数据
—
OLAP引擎
java
sql
spark on hive 和 hive on spark 的区别:
sparkonhive:hive只作为存储角色,spark负责
sql解析
优化,底层运行的还是sparkRDD具体可以理解为spark通过sparkSQL使用hive语句操作hive表,底层运行的还是sparkRDD
沉浮。
·
2022-07-11 13:38
hive
spark
大数据高级开发工程师——Spark学习笔记(1)
四大特性1.速度快2.易用性3.通用性4.兼容性内置组件1.集群资源管理2.SparkCore(核心库)3.SparkSQL(
SQL解析
)4.SparkStreaming(实时处理)5.SparkMLlib
yangwei_sir
·
2022-07-08 11:36
大数据
大数据
spark
standalone
cluster
shuffle
Pisa-Proxy SQL 解析之 Lex & Yacc
GitHub:https://github.com/wbtlb1.2背景在上篇文章《Pisa-Proxy之
SQL解析
实践》中介绍了Pisa-Proxy的核
·
2022-07-07 14:04
sql语句数据库
mysql全面解析json/数组
目录my
sql解析
json数组直接上demo下面这个demo可以直接复制到sql运行我们来分析一下mysqljson字符串解析成对应字段解决方法:JSON_EXTRACT解决方法:REPLACEmy
sql
·
2022-07-05 19:04
常见Web安全漏洞--------sql注入
${}:仅仅为一个纯碎的string替换,在动态
SQL解析
阶段将会进行变量替换。转载于:https://ww
weixin_30535913
·
2022-07-02 11:08
web安全
数据库
java
上一页
3
4
5
6
7
8
9
10
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他