duyf
duyf

大数据之-clickhouse

  • Clickhouse原理解析
    • OLAP常见架构
      • OLAP名为联机分析（豆腐分析）
        • 下钻（豆腐下钻）
          • 从“省”下钻到“市”
        • 上卷（豆腐上卷）
          • 从“市”汇聚成“省”
        • 切片(豆腐切片)
          • 将一个或多个维度设为单个固定值，然后观察剩余的维度
        • 切块（豆腐切块）
          • 将商品维度固定成“足球”“篮球”和“乒乓球”
        • 旋转（豆腐旋转）
          • 旋转立方体的一面，如果要将数据映射到一张二维表，那么就要进行旋转，这就等同于行列置换。
      • ROLAP
        • 直接使用关系模型构建，数据模型常使用星型模型或者雪花模型。
      • MOLAP
        • 使用多维数组的形式保存数据，其核心思想是借助预先聚合结果
      • HOLAP
        • 这种思路可以理解成ROLAP和MOLAP两者的集成
    • LSM
      • 首先，会在内存中构建出一棵小树，构建完毕即算写入成功（这里会通过预写日志的形式，防止因内存故障而导致的数据丢失）（景区多个门口排队，进入景区，每个人都有凭证）
      • 其次，小树在构建的过程中会进行排序，这样就保证了数据的有序性（基于个头排序）
      • 最后，当内存中小树的数量达到某个阈值时，就会借助后台线程将小树刷入磁盘并生成一个小的数据段。在每个数据段中，数据局部有序（进入游戏项目1继续按个头排队）
    • ClickHouse不适用的场景
      • 不支持事务
      • 不擅长根据主键按行粒度进行查询
      • 不擅长按行删除数据
      • 并发不高
      • 大表join
    • 核心特性
      • 在线查询
      • 完备的DBMS功能
        • DDL（数据定义语言）
        • DML（数据操作语言）
        • 权限控制
        • 数据备份与恢复
        • 分布式管理
      • 列式存储与数据压缩
        • 网络带宽\|/
        • 磁盘IO\|/
      • 向量化执行引擎
        • 向量化执行，需要利用CPU的SIMD指令
        • ClickHouse目前利用SSE4.2指令集实现向量化执行
      • 多样化的表引擎
      • 多线程与分布式
        • 支持分区（纵向扩展，利用多线程原理）
        • 支持分片（横向扩展，利用分布式原理）
      • 多主架构
      • 数据分片与分布式查询
    • clickhouse的架构设计
      • Column与Field（字段和单值）
      • DataType（数据类型）
        • 序列化
        • 反序列化
      • Block与Block流（数据块）
        • 数据对象
          • Column
        • 数据类型
          • DataType
        • 列名称
      • Table（表）
      • IStorage接口（表引擎）
        • IStorageSystemOneBlock（系统表）
        • StorageMergeTree（合并树表引擎）
        • StorageTinyLog（日志表引擎）
      • Parser与Interpreter（解析）
        • Parser分析器负责创建AST对象
        • Interpreter解释器则负责解释AST，并进一步创建查询的执行管道
      • Functions与Aggregate Functions（函数）
        • 普通函数和聚合函数
      • Cluster与Replication（集群和副本）
        • ClickHouse的1个节点只能拥有1个分片
        • 分片只是一个逻辑概念，其物理承载还是由副本承担的
    • 客户端访问接口ClickHouse
      • CLI（Command Line Interface）即命令行接口
        • TCP传输层
      • JDBC
        • HTTP应用层
    •  ClickHouse的数据类型
      • 基础类型
        • 数值类型
          • Int
          • Float
          • Decima
        • 字符串类型
          • String
          • FixedString
            • 空字符填充
          • UUID
            • 格式为8-4-4-4-12
        • 时间类型
          • DateTime
          • DateTime64
          • Date
      • 复合类型
        • 数组
        • 元组
        • 枚举
        • 嵌套
      • 特殊类型
        • Nullable
          • 基础数据类型可以是Null值
        • Domain
          • IPv4
          • IPv6
    • 数据字典
      • 内置字典
      • 外部扩展字典
    • MergeTree原理（找书模型）
      • MergeTree的存储结构
        • checksums.txt：校验文件，使用二进制格式存储
          • 完整性
          • 正确性
        • columns.txt：列信息文件，使用明文格式存储
        • count.txt：计数文件，使用明文格式存储
        • primary.idx：一级索引文件，使用二进制格式存储
        • [Column].bin：数据文件
          • LZ4压缩格式
        • [Column].mrk：列字段标记文件，使用二进制格式存储
          • 标记文件与稀疏索引对齐，又与.bin文件一一对应
        • partition.dat与minmax_[Column].idx
      • 一级索引（按书名字母排序引导牌）
        • 稀疏索引
          • 在稠密索引中每一行索引标记都会对应到一行具体的数据记录。而在稀疏索引中，每一行索引标记对应的是一段数据，而不是一行
          • primary.idx内的索引数据常驻内存
        • 索引粒度
          • 一级索引和数据标记的间隔粒度相同（同为index_granularity行）
          • 数据文件也会依照index_granularity的间隔粒度生成压缩数据块
        • 索引数据的生成规则
          • 1   8192
          • 57  80  
          • =>>>5780
        • 索引的查询过程
          • MarkRange（数据治理开头是sjzl）
            • mark =  0  1  2
            • row   =  1  2  3
            • ==>markrange [0,1]:[1,2]
          • 生成查询条件区间（比如找数据治理书）
            • id=2   ===> [2,2]
          • 递归交集判断
            • 除8
          • 合并MarkRange区间
      • 数据标记  (对齐排序，引导牌 、记录书柜号和几排几行)
        • 数据标记的生成规则
          • mark
          • 压缩块偏移量
          • 解压后偏移量
        • 数据标记的工作方式
          • 读取压缩数据块
          • 读取数据
      • 数据存储（书柜）
        • 压缩数据块
          • 头信息
            • 压缩算法类型1byte
            • 压缩后的数据大小4byte
            • 压缩前的数据大小4byte
          • 压缩数据
            • 大小范围
              • 按压缩前大小，控制在64KB～1MB
            • 压缩数据块最终的大小
              • 单个批次数据size
                • 继续获取下一批数据
              • 单个批次数据64KB
                • 直接生成压缩数据块
              • 单个批次数据size>1MB
                • 截断
      • 数据分区  (图书分类)
        • 数据的分区规则
          • 不指定分区键
            • all_0_0_0
          • 使用整型
            • 1_0_0_0
          • 使用日期类型
            • 20100101_0_0_0
          • 使用其他类型
            • hash128_0_0_0
        • 分区目录的命名规则
          • PartitionID_MinBlockNum_MaxBlockNum_Level
    • MergeTree系列表引擎
      • MergeTTL和多路径存储
        • 数据TTL
          • 表
          • 列
        • 多路径存储策略
          • 默认策略
            • 单磁盘
          • JBOD策略
            • 多磁盘
          • 轮询策略
            • HOT/COLD策略
      • ReplacingMergeTree
        • 功能
          • 数据去重
        • 特点
          • orderby去重
          • 分区内去重
          • 合并生效
      • SummingMergeTree
        • 数据汇总
      • AggregatingMergeTree
        • 数据聚合
      • CollapsingMergeTree
        • 折叠表
          • 以增代删
            • 有序
      • VersionedCollapsingMergeTree
        • 高级折叠表
          • 以增代删
            • 无序
    • 副本和分片
      • 副本
        • 功能
          • 数据备份
          • 提高负载
            • 分摊查询
            • 读写分离
        • 特点
          • 依赖zookeeper
            • INSERT
            • ALTER
          • 表级别的副本
          • 多主架构
          • Block数据块
            • 128*8192
          • 原子性
            • block要么全部成功，要么全部失败
          • 唯一性
            • hash摘要
              • block内顺序
              • 数据行
              • 数据大小
        • ZooKeeper内的节点结构
          • 元数据
            • metadata
              • 主键
              • 分区键
              • 采样表达式
            • columns
              • 列名称
              • 数据类型
            • replicas
              • 副本名称
          • 判断标识
            • leader_election：用于主副本的选举工作
              • MERGE
              • MUTATION操作
                • ALTER DELETE
                • ALTER UPDATE
            • blocks
              • Hash信息摘要
              • partition_id
            • block_numbers
              • 分区顺序=partition顺序
                • Merge按序
            • quorum
              • 当至少有quorum数量的副本写入成功后，整个写操作才算成功
          • 操作日志
            • log
              • INSERT
              • MERGE
              • DROP PARTITION
            • mutations
              • ALERT DELETE
              • ALERT UPDATE
            • replicas/{replica_name}
              • queue：任务队列
            • log_pointer
              • 最后一次执行的log日志下标信息
            • mutation_pointer
              • 最后一次执行的log日志下标信息
        • Entry
          • LogEntry
            • source replica
              • 指令来源副本
            • block_id
              • 当前分区的BlockID
            • partition_name
              • 当前分区目录的名称
            • type
              • get
                • 下载分区
              • merge
                • 合并
              • drop partition
                • 删除分区
          • MutationEntry
            • source replica
              • 指令来源副本
            • commands
              • ALTER DELETE
              • ALTER UPDATE
            • mutation_id
              • MUTATION操作的版本号
            • partition_id
              • 当前分区目录的ID
        • INSERT的核心执行流程
          • 创建副本实例
            • 创建第一个副本实例
              • 初始化所有的ZooKeeper节点，·在/replicas/节点下注册自己的副本
              • 启动监听任务，监听/log日志节点
              • 参与副本选举，选举出主副本，选举的方式是向/leader_election/插入子节点，第一个插入成功的副本就是主副本
            • 创建第二个副本实例
              • /replicas/节点下注册自己的副本实例
              • 启动监听任务，监听/log日志节点
              • 参与副本选举，选举出主副本
          • 向第一个副本实例写入数据
          • 由第一个副本实例推送Log日志
            • 由执行了INSERT的副本向/log节点推送操作日志
          • 第二个副本实例拉取Log日志
          • 第二个副本实例向其他副本发起下载请求
          • 第一个副本实例响应数据下载
          • 第二个副本实例下载数据并完成本地写入
        • MERGE的核心执行流程
          • 由主副本来制定
            • 创建远程连接，尝试与主副本通信
            • 主副本接收通信
            • 由主副本制定MERGE计划并推送Log日志
            • 各个副本分别拉取Log日志
            • 各个副本分别在本地执行MERGE
        • MUTATION的核心执行流程
          • 推送MUTATION日志
          • 所有副本实例各自监听MUTATION日志
          • 由主副本实例响应MUTATION日志并推送Log日志
          • 各个副本实例分别拉取Log日志
          • 各个副本实例分别在本地执行MUTATION
        • ALTER的核心执行流程
          • 修改共享元数据
          • 监听共享元数据变更并各自执行本地修改
          • 确认所有副本完成修改
      • Distributed表引擎
        • 1）ZooKeeper内的节点结构
          • clickhouse/task_queue/dd
            • /query-[seq]/active：临时保存当前集群内状态为active的节点
            • /query-[seq]/finished
        • 2）DDLLogEntry日志对象的数据结构
          • query记录了DDL语句
          • hosts记录了指定集群的hosts主机
        • 3）initiator记录初始化host主机的名称，hosts主机列表的取值来自于初始化host节点上的集群
    • 外部存储类型
      • HDFS
      • MySQL
      • JDBC
      • Kafka
      • File
      • 内存类型
        • Memory表引擎
        • Set
          • 数据不会丢失，当数据表被重新装载时，文件数据会再次被全量加载至内存
          • 只能作为IN查询的右侧条件被查询使用
        • Join
        • Buffer
      • 日志类型
        • TinyLog
      • 接口类型
        • Dictionary
        • Distributed
    • SQL优化规则
      • 1、count优化
        • count() 和 count(*) 且没有过滤条件，会使用system.tables 的 total_rows
      • 2、消除子查询重复字段
      • 3、谓词下推:
        • 当 group by 有 having 子句，但是没有 with cube、with rollup 或者 with totals 修饰的时候，having 过滤会下推到 where 提前过滤
      • 4、聚合计算外推
        • select sum(id * 2)   === > select sum(id)*2
      • 5、删除重复的 group （orde\limit）by key

你可能感兴趣的:(big,data,大数据,hadoop,spark)

  • WPF中的ComboBox控件几种数据绑定的方式 互联网打工人no1 wpfc#
    一、用字典给ItemsSource赋值（此绑定用的地方很多，建议熟练掌握）在XMAL中：在CS文件中privatevoidBindData(){DictionarydicItem=newDictionary();dicItem.add(1,"北京");dicItem.add(2,"上海");dicItem.add(3,"广州");cmb_list.ItemsSource=dicItem;cmb_l
  • 将cmd中命令输出保存为txt文本文件 落难Coder Windowscmdwindow
    最近深度学习本地的训练中我们常常要在命令行中运行自己的代码，无可厚非，我们有必要保存我们的炼丹结果，但是复制命令行输出到txt是非常麻烦的，其实Windows下的命令行为我们提供了相应的操作。其基本的调用格式就是：运行指令>输出到的文件名称或者具体保存路径测试下，我打开cmd并且ping一下百度：pingwww.baidu.com>./data.txt看下相同目录下data.txt的输出：如果你再
  • nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
  • Linux MariaDB使用OpenSSL安装SSL证书 Meta39 MySQLOracleMariaDBLinuxWindowsssllinuxmariadb
    进入到证书存放目录，批量删除.pem证书警告：确保已经进入到证书存放目录find.-typef-iname\*.pem-delete查看是否安装OpenSSLopensslversion没有则安装yuminstallopensslopenssl-devel开启SSL编辑/etc/my.cnf文件（没有的话就创建，但是要注意，在/etc/my.cnf.d/server.cnf配置了datadir的，
  • ES聚合分析原理与代码实例讲解 光剑书架上的书 大厂Offer收割机面试题简历程序员读书硅基计算碳基计算认知计算生物计算深度学习神经网络大数据AIGCAGILLMJavaPython架构设计Agent程序员实现财富自由
    ES聚合分析原理与代码实例讲解1.背景介绍1.1问题的由来在大规模数据分析场景中，特别是在使用Elasticsearch（ES）进行数据存储和检索时，聚合分析成为了一个至关重要的功能。聚合分析允许用户对数据集进行细分和分组，以便深入探索数据的结构和模式。这在诸如实时监控、日志分析、业务洞察等领域具有广泛的应用。1.2研究现状目前，ES聚合分析已经成为现代大数据平台的核心组件之一。它支持多种类型的聚
  • 网络编程基础 记得开心一点啊 网络
    目录♫什么是网络编程♫Socket套接字♪什么是Socket套接字♪数据报套接字♪流套接字♫数据报套接字通信模型♪数据报套接字通讯模型♪DatagramSocket♪DatagramPacket♪实现UDP的服务端代码♪实现UDP的客户端代码♫流套接字通信模型♪流套接字通讯模型♪ServerSocket♪Socket♪实现TCP的服务端代码♪实现TCP的客户端代码♫什么是网络编程网络编程，指网络上
  • K近邻算法_分类鸢尾花数据集 _feivirus_ 算法机器学习和数学分类机器学习K近邻
    importnumpyasnpimportpandasaspdfromsklearn.datasetsimportload_irisfromsklearn.model_selectionimporttrain_test_splitfromsklearn.metricsimportaccuracy_score1.数据预处理iris=load_iris()df=pd.DataFrame(data=ir
  • 4.C_数据结构_队列 荣世蓥 数据结构数据结构
    概述什么是队列：队列是限定在两端进行插入操作和删除操作的线性表。具有先入先出(FIFO)的特点相关名词：队尾：写入数据的一段队头：读取数据的一段空队：队列中没有数据，队头指针=队尾指针满队：队列中存满了数据，队尾指针+1=队头指针循环队列1、基本内容循环队列是以数组形式构成的队列数据结构。循环队列的结构体如下：typedefintdata_t;//队列数据类型#defineN64//队列容量typ
  • vue项目element-ui的table表格单元格合并 酋长哈哈 vue.jselementuijavascript前端
    一、合并效果二全部代码exportdefault{name:'CellMerge',data(){return{tableData:[{id:'1',name:'王小虎',amount1:'165',amount2:'3.2',amount3:10},{id:'1',name:'王小虎',amount1:'162',amount2:'4.43',amount3:12},{id:'1',name:'
  • python tif转png Python与遥感 python开发语言
    importosfromosgeoimportgdalimportnumpyasnpfromPILimportImage#提取432三波段fromspectralimport*#输入文件夹路径defget_img(dataset_img):width=dataset_img.RasterXSize#获取行列数height=dataset_img.RasterYSizebands=dataset_i
  • MongoDB知识概括 GeorgeLin98 持久层mongodb
    MongoDB知识概括MongoDB相关概念单机部署基本常用命令索引-IndexSpirngDataMongoDB集成副本集分片集群安全认证MongoDB相关概念业务应用场景：传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。解释：“三高”需求：①Highperformance-对数据库高并发读写的需求。②HugeStorage-对海量数
  • Vue中table合并单元格用法 weixin_30613343 javascriptViewUI
    地名结果人名性别{{item.name}}已完成未完成{{item.groups[0].name}}{{item.groups[0].sex}}{{item.groups[son].name}}{{item.groups[son].sex}}exportdefault{data(){return{list:[{name:'地名1',result:'1',groups:[{name:'张三',sex
  • uniapp map组件自定义markers标记点 以对_ uni-app学习记录uni-appjavascript前端
    需求是根据后端返回数据在地图上显示标记点，并且根据数据状态控制标记点颜色，标记点背景通过两张图片实现控制{{item.options.labelName}}exportdefault{data(){return{storeIndex:0,locaInfo:{longitude:120.445172,latitude:36.111387},markers:[//标点列表{id:1,//标记点idin
  • 放松的一天 4da9b7687fa0
    20190325总结起床07:20图片发自App睡觉:23:00天气:晴今日任务清单学习·信息·阅读•水滴阅读Day40Alice’sAdventuresinWonderlandChapter6.2图片发自App•BBC跟读训练营Day24图片发自App图片发自App图片发自App•潘多拉口语训练营Day6Wow.Whatabigboy!•文化知识学习今日无•阅读时间地狱健康·饮食·锻炼•饮食目标
  • WebMagic：强大的Java爬虫框架解析与实战 Aaron_945 Javajava爬虫开发语言
    文章目录引言官网链接WebMagic原理概述基础使用1.添加依赖2.编写PageProcessor高级使用1.自定义Pipeline2.分布式抓取优点结论引言在大数据时代，网络爬虫作为数据收集的重要工具，扮演着不可或缺的角色。Java作为一门广泛使用的编程语言，在爬虫开发领域也有其独特的优势。WebMagic是一个开源的Java爬虫框架，它提供了简单灵活的API，支持多线程、分布式抓取，以及丰富的
  • 博客网站制作教程 2401_85194651 javamaven
    首先就是技术框架：后端：Java+SpringBoot数据库：MySQL前端：Vue.js数据库连接：JPA(JavaPersistenceAPI)1.项目结构blog-app/├──backend/│├──src/main/java/com/example/blogapp/││├──BlogApplication.java││├──config/│││└──DatabaseConfig.java
  • vue + Element UI table动态合并单元格 我家媳妇儿萌哒哒 elementUIvue.js前端javascript
    一、功能需求1、根据名称相同的合并工作阶段和主要任务合并这两列，但主要任务内容一样，但要考虑主要任务一样，但工作阶段不一样的情况。（枞向合并）2、落实情况里的定量内容和定性内容值一样则合并。（横向合并）二、功能实现exportdefault{data(){return{tableData:[{name:'a',address:'1',age:'1',six:'2'},{name:'a',addre
  • Python实现TIFF 文件转换为 PNG 和 JPG 格式 sand&wich python开发语言
    在日常的图像处理工作中，可能会遇到需要将TIFF格式的图像转换为其他格式的情况，例如PNG和JPG。下面，本文将介绍如何使用Python和GDAL库实现这一功能。准备工作在开始之前，请确保已经安装了必要的库：GDAL（GeospatialDataAbstractionLibrary）可以使用以下命令安装GDAL：pipinstallgdal代码实现以下是一个将TIFF文件转换为PNG文件的示例代码
  • 免费的GPT可在线直接使用（一键收藏） kkai人工智能 gpt
    1、LuminAI（https://kk.zlrxjh.top）LuminAI标志着一款融合了星辰大数据模型与文脉深度模型的先进知识增强型语言处理系统，旨在自然语言处理（NLP）的技术开发领域发光发热。此系统展现了卓越的语义把握与内容生成能力，轻松驾驭多样化的自然语言处理任务。VisionAI在NLP界的应用领域广泛，能够胜任从机器翻译、文本概要撰写、情绪分析到问答等众多任务。通过对大量文本数据的
  • 如何利用大数据与AI技术革新相亲交友体验 h17711347205 回归算法安全系统架构交友小程序
    在数字化时代，大数据和人工智能（AI）技术正逐渐革新相亲交友体验，为寻找爱情的过程带来前所未有的变革（编辑h17711347205）。通过精准分析和智能匹配，这些技术能够极大地提高相亲交友系统的效率和用户体验。大数据的力量大数据技术能够收集和分析用户的行为模式、偏好和互动数据，为相亲交友系统提供丰富的信息资源。通过分析用户的搜索历史、浏览记录和点击行为，系统能够深入了解用户的兴趣和需求，从而提供更
  • 浅谈MapReduce Android路上的人 Hadoop分布式计算mapreduce分布式框架hadoop
    从今天开始，本人将会开始对另一项技术的学习，就是当下炙手可热的Hadoop分布式就算技术。目前国内外的诸多公司因为业务发展的需要，都纷纷用了此平台。国内的比如BAT啦，国外的在这方面走的更加的前面，就不一一列举了。但是Hadoop作为Apache的一个开源项目，在下面有非常多的子项目，比如HDFS，HBase,Hive，Pig,等等，要先彻底学习整个Hadoop，仅仅凭借一个的力量，是远远不够的。
  • 使用datepicker和uploadify的冲突解决（IE双击才能打开附件上传对话框） zhanglb12
    在开发的过程当中，IE的兼容无疑是我们的一块绊脚石，在我们使用的如期的datepicker插件和使用上传附件的uploadify插件的时候，两者就产生冲突，只要点击过时间的插件，uploadify上传框要双才能打开ie浏览器提示错误Missinginstancedataforthisdatepicker解决方案//if(.browser.msie&&'9.0'===.browser.version
  • golang获取用户输入的几种方式 余生逆风飞翔 golang开发语言后端
    一、定义结构体typeUserInfostruct{Namestring`json:"name"`Ageint`json:"age"`Addstring`json:"add"`}typeReturnDatastruct{Messagestring`json:"message"`Statusstring`json:"status"`DataUserInfo`json:"data"`}二、get请求的
  • 【Java】已解决：org.springframework.jdbc.datasource.lookup.DataSourceLookupFailureException 屿小夏 java开发语言
    文章目录一、分析问题背景问题背景描述出现问题的场景二、可能出错的原因三、错误代码示例四、正确代码示例五、注意事项已解决：org.springframework.jdbc.datasource.lookup.DataSourceLookupFailureException在使用Spring框架进行开发时，数据源的配置和使用是非常关键的一环。然而，有时候我们可能会遇到org.springframewo
  • el-table实现全选整表，单元一页复选框功能 周bro vue.jselementuijavascript前端
    全选整表单选一页0":popper-append-to-body="false":total="tableData.length":page-size="pageObj.pagesize":page-sizes="[10,50,100]"layout="total,sizes,prev,pager,next"@size-change="handleSizeChange"@current-chang
  • Vue + Express实现一个表单提交 九旬大爷的梦
    最近在折腾一个cms系统，用的vue+express，但是就一个表单提交就弄了好久，记录一下。环境：Node10+前端：Vue服务端：Express依赖包：vueexpressaxiosexpress-formidableelement-ui（可选）前言：axiosget请求参数是：paramsaxiospost请求参数是：dataexpressget接受参数是req.queryexpresspo
  • 未来软件市场是怎么样的？做开发的生存空间如何？ cesske 软件需求
    目录前言一、未来软件市场的发展趋势二、软件开发人员的生存空间前言未来软件市场是怎么样的？做开发的生存空间如何？一、未来软件市场的发展趋势技术趋势：人工智能与机器学习：随着技术的不断成熟，人工智能将在更多领域得到应用，如智能客服、自动驾驶、智能制造等，这将极大地推动软件市场的增长。云计算与大数据：云计算服务将继续普及，大数据技术的应用也将更加广泛。企业将更加依赖云计算和大数据来优化运营、提升效率，并
  • Kubernetes部署MySQL数据持久化 沫殇-MS KubernetesMySQL数据库kubernetesmysql容器
    一、安装配置NFS服务端1、安装nfs-kernel-server：sudoapt-yinstallnfs-kernel-server2、服务端创建共享目录#列出所有可用块设备的信息lsblk#格式化磁盘sudomkfs-text4/dev/sdb#创建一个目录：sudomkdir-p/data/nfs/mysql#更改目录权限：sudochown-Rnobody:nogroup/data/nfs
  • Hadoop 傲雪凌霜，松柏长青 后端大数据hadoop大数据分布式
    ApacheHadoop是一个开源的分布式计算框架，主要用于处理海量数据集。它具有高度的可扩展性、容错性和高效的分布式存储与计算能力。Hadoop核心由四个主要模块组成，分别是HDFS（分布式文件系统）、MapReduce（分布式计算框架）、YARN（资源管理）和HadoopCommon（公共工具和库）。1.HDFS（HadoopDistributedFileSystem）HDFS是Hadoop生
  • Hadoop架构 henan程序媛 hadoop大数据分布式
    一、案列分析1.1案例概述现在已经进入了大数据(BigData)时代，数以万计用户的互联网服务时时刻刻都在产生大量的交互，要处理的数据量实在是太大了，以传统的数据库技术等其他手段根本无法应对数据处理的实时性、有效性的需求。HDFS顺应时代出现，在解决大数据存储和计算方面有很多的优势。1.2案列前置知识点1.什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合，
  • PHP，安卓，UI，java，linux视频教程合集 cocos2d-x小菜 javaUIPHPandroidlinux
    ╔-----------------------------------╗┆                           
  • 各表中的列名必须唯一。在表 'dbo.XXX' 中多次指定了列名 'XXX'。 bozch .net.net mvc
    在.net mvc5中，在执行某一操作的时候，出现了如下错误：       各表中的列名必须唯一。在表 'dbo.XXX' 中多次指定了列名 'XXX'。 经查询当前的操作与错误内容无关，经过对错误信息的排查发现，事故出现在数据库迁移上。 回想过去： 在迁移之前已经对数据库进行了添加字段操作，再次进行迁移插入XXX字段的时候，就会提示如上错误。  &
  • Java 对象大小的计算 e200702084 java
                              Java对象的大小 如何计算一个对象的大小呢？    
  • Mybatis Spring 171815164 mybatis
    ApplicationContext ac = new ClassPathXmlApplicationContext("applicationContext.xml"); CustomerService userService = (CustomerService) ac.getBean("customerService"); Customer cust
  • JVM 不稳定参数 g21121 jvm
            -XX 参数被称为不稳定参数，之所以这么叫是因为此类参数的设置很容易引起JVM 性能上的差异，使JVM 存在极大的不稳定性。当然这是在非合理设置的前提下，如果此类参数设置合理讲大大提高JVM 的性能及稳定性。        可以说“不稳定参数”
  • 用户自动登录网站 永夜-极光 用户
    1.目标:实现用户登录后,再次登录就自动登录,无需用户名和密码 2.思路:将用户的信息保存为cookie            每次用户访问网站,通过filter拦截所有请求,在filter中读取所有的cookie,如果找到了保存登录信息的cookie,那么在cookie中读取登录信息,然后直接
  • centos7 安装后失去win7的引导记录 程序员是怎么炼成的 操作系统
    1.使用root身份(必须)打开 /boot/grub2/grub.cfg 2.找到 ### BEGIN /etc/grub.d/30_os-prober ###   在后面添加    menuentry "Windows 7 (loader) (on /dev/sda1)" { 
  • Oracle 10g 官方中文安装帮助文档以及Oracle官方中文教程文档下载 aijuans oracle
    Oracle 10g 官方中文安装帮助文档下载：http://download.csdn.net/tag/Oracle%E4%B8%AD%E6%96%87API%EF%BC%8COracle%E4%B8%AD%E6%96%87%E6%96%87%E6%A1%A3%EF%BC%8Coracle%E5%AD%A6%E4%B9%A0%E6%96%87%E6%A1%A3 Oracle 10g 官方中文教程
  • JavaEE开源快速开发平台G4Studio_V3.2发布了 無為子 AOPoraclemysqljavaeeG4Studio
      我非常高兴地宣布,今天我们最新的JavaEE开源快速开发平台G4Studio_V3.2版本已经正式发布。大家可以通过如下地址下载。   访问G4Studio网站 http://www.g4it.org   G4Studio_V3.2版本变更日志 功能新增 (1).新增了系统右下角滑出提示窗口功能。 (2).新增了文件资源的Zip压缩和解压缩
  • Oracle常用的单行函数应用技巧总结 百合不是茶 日期函数转换函数(核心)数字函数通用函数(核心)字符函数
    单行函数;   字符函数,数字函数,日期函数,转换函数(核心),通用函数(核心) 一:字符函数: .UPPER(字符串) 将字符串转为大写 .LOWER (字符串) 将字符串转为小写 .INITCAP(字符串) 将首字母大写 .LENGTH (字符串) 字符串的长度 .REPLACE(字符串,'A','_') 将字符串字符A转换成_
  • Mockito异常测试实例 bijian1013 java单元测试mockito
    Mockito异常测试实例： package com.bijian.study; import static org.mockito.Mockito.mock; import static org.mockito.Mockito.when; import org.junit.Assert; import org.junit.Test; import org.mockito.
  • GA与量子恒道统计 Bill_chen JavaScript浏览器百度Google防火墙
    前一阵子，统计**网址时，Google Analytics（GA） 和量子恒道统计（也称量子统计），数据有较大的偏差，仔细找相关资料研究了下，总结如下：   为何GA和量子网站统计（量子统计前身为雅虎统计）结果不同？ 首先：没有一种网站统计工具能保证百分之百的准确出现该问题可能有以下几个原因：（1）不同的统计分析系统的算法机制不同；（2）统计代码放置的位置和前后
  • 【Linux命令三】Top命令 bit1129 linux命令
    Linux的Top命令类似于Windows的任务管理器，可以查看当前系统的运行情况，包括CPU、内存的使用情况等。如下是一个Top命令的执行结果：     top - 21:22:04 up 1 day, 23:49, 1 user, load average: 1.10, 1.66, 1.99 Tasks: 202 total, 4 running, 198 sl
  • spring四种依赖注入方式 白糖_ spring
      平常的java开发中，程序员在某个类中需要依赖其它类的方法，则通常是new一个依赖类再调用类实例的方法，这种开发存在的问题是new的类实例不好统一管理，spring提出了依赖注入的思想，即依赖类不由程序员实例化，而是通过spring容器帮我们new指定实例并且将实例注入到需要该对象的类中。依赖注入的另一种说法是“控制反转”，通俗的理解是：平常我们new一个实例，这个实例的控制权是我
  • angular.injector boyitech AngularJSAngularJS API
    angular.injector   描述: 创建一个injector对象, 调用injector对象的方法可以获得angular的service, 或者用来做依赖注入.   使用方法: angular.injector(modules, [strictDi])   参数详解: Param Type Details mod
  • java-同步访问一个数组Integer[10]，生产者不断地往数组放入整数1000，数组满时等待；消费者不断地将数组里面的数置零，数组空时等待 bylijinnan Integer
    public class PC { /** * 题目：生产者-消费者。 * 同步访问一个数组Integer[10]，生产者不断地往数组放入整数1000，数组满时等待；消费者不断地将数组里面的数置零，数组空时等待。 */ private static final Integer[] val=new Integer[10]; private static
  • 使用Struts2.2.1配置 Chen.H apachespringWebxmlstruts
    Struts2.2.1 需要如下 jar包: commons-fileupload-1.2.1.jar commons-io-1.3.2.jar commons-logging-1.0.4.jar freemarker-2.3.16.jar javassist-3.7.ga.jar ognl-3.0.jar spring.jar struts2-core-2.2.1.jar struts2-sp
  • [职业与教育]青春之歌 comsci 教育
           每个人都有自己的青春之歌............但是我要说的却不是青春...        大家如果在自己的职业生涯没有给自己以后创业留一点点机会,仅仅凭学历和人脉关系,是难以在竞争激烈的市场中生存下去的....   &nbs
  • oracle连接(join)中使用using关键字 daizj JOINoraclesqlusing
    在oracle连接(join)中使用using关键字 34. View the Exhibit and examine the structure of the ORDERS and ORDER_ITEMS tables. Evaluate the following SQL statement: SELECT oi.order_id, product_id, order_date FRO
  • NIO示例 daysinsun nio
    NIO服务端代码： public class NIOServer { private Selector selector; public void startServer(int port) throws IOException { ServerSocketChannel serverChannel = ServerSocketChannel.open(
  • C语言学习homework1 dcj3sjt126com chomework
    0、 课堂练习做完 1、使用sizeof计算出你所知道的所有的类型占用的空间。 int x; sizeof(x);   sizeof(int);   # include <stdio.h> int main(void) { int x1; char x2; double x3; float x4; printf(&quo
  • select in order by , mysql排序 dcj3sjt126com mysql
    If i select like this: SELECT id FROM users WHERE id IN(3,4,8,1); This by default will select users in this order 1,3,4,8, I would like to select them in the same order that i put IN() values so:
  • 页面校验-新建项目 fanxiaolong 页面校验
    $(document).ready( function() { var flag = true; $('#changeform').submit(function() { var projectScValNull = true; var s =""; var parent_id = $("#parent_id").v
  • Ehcache（02）——ehcache.xml简介 234390216 ehcacheehcache.xml简介
    ehcache.xml简介          ehcache.xml文件是用来定义Ehcache的配置信息的，更准确的来说它是定义CacheManager的配置信息的。根据之前我们在《Ehcache简介》一文中对CacheManager的介绍我们知道一切Ehcache的应用都是从CacheManager开始的。在不指定配置信
  • junit 4.11中三个新功能 jackyrong java
    junit 4.11中两个新增的功能，首先是注解中可以参数化，比如 import static org.junit.Assert.assertEquals; import java.util.Arrays; import org.junit.Test; import org.junit.runner.RunWith; import org.junit.runn
  • 国外程序员爱用苹果Mac电脑的10大理由 php教程分享 windowsPHPunixMicrosoftperl
    Mac 在国外很受欢迎，尤其是在 设计/web开发/IT 人员圈子里。普通用户喜欢 Mac 可以理解，毕竟 Mac 设计美观，简单好用，没有病毒。那么为什么专业人士也对 Mac 情有独钟呢？从个人使用经验来看我想有下面几个原因： 1、Mac OS X 是基于 Unix 的 这一点太重要了，尤其是对开发人员，至少对于我来说很重要，这意味着Unix 下一堆好用的工具都可以随手捡到。如果你是个 wi
  • 位运算、异或的实际应用 wenjinglian 位运算
    一． 位操作基础，用一张表描述位操作符的应用规则并详细解释。       二． 常用位操作小技巧，有判断奇偶、交换两数、变换符号、求绝对值。       三． 位操作与空间压缩，针对筛素数进行空间压缩。    &n
  • weblogic部署项目出现的一些问题（持续补充中……） Everyday都不同 weblogic部署失败
    好吧，weblogic的问题确实……   问题一： org.springframework.beans.factory.BeanDefinitionStoreException: Failed to read candidate component class: URL [zip:E:/weblogic/user_projects/domains/base_domain/serve
  • tomcat7性能调优（01） toknowme tomcat7
        Tomcat优化： 1、最大连接数最大线程等设置 <Connector port="8082" protocol="HTTP/1.1"                useBodyEncodingForURI="t
  • PO VO DAO DTO BO TO概念与区别 xp9802 javaDAO设计模式bean领域模型
    O/R Mapping 是 Object Relational Mapping（对象关系映射）的缩写。通俗点讲，就是将对象与关系数据库绑定，用对象来表示关系数据。在O/R Mapping的世界里，有两个基本的也是重要的东东需要了解，即VO，PO。 它们的关系应该是相互独立的，一个VO可以只是PO的部分，也可以是多个PO构成，同样也可以等同于一个PO（指的是他们的属性）。这样，PO独立出来，数据持
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他