这个程序猿可太秀了
这个程序猿可太秀了

实时数据仓库

本篇文章只是对自己的一些实时数仓经验的一些总结，就架构和数据流向而言其实和离线数据仓库大同小异，但是实时处理有自己的特殊性

为什么要有实时数仓？

我们已经有利离线数仓，数仓目的就是复用，但是离线是T+1的，在我们大量的实时需求，之前的离线计算不能复用，大量新的重复性实时代码开发，开发和计算资源的成本不断增加

实时数仓分层

实时数据仓库_第1张图片

ODS 原始数据，包含日志和业务数据

DWD

DIM

DWM

DWS

ADS

实时数据仓库_第2张图片

DWD

每个表对应一个Topic，把订单流水等业务数据重新写回kafka，另外日志数据进行测输出流输出（sql就是多个insert +filter），主要有启动退出日志、页面（仅包含页面也就是pv日志）日志、行为日志等，不同的数据有完全不同的数据结构，所以要拆分处理

同时做一些非法值过滤，比如时间戳，uid校验（主要是正则匹配，我们是13位数字），另外ODS的数据除了事实数据外还会有维度数据，需要写到DIM而不是DWD

DWD层主要的核心是数据分流以及状态识别

DIM

像刚才说的，一些ODS的维度数据Flink拿到之后一般是直接写入Hbase了，方便我们做维流join

DWM

DWM层主要是因为实时计算开发运维成本都较高，但是在DWD -> DWS的计算中还是有很多重复的计算，主要是抽取这部分进行公用

比如订单宽表，需要订单表和订单明细表以及各个维度表关联，那我们可以只处理一次作为宽表，在DWS各个行为或成单等用到直接从DWM拿数据关联即可

实时数据仓库_第3张图片

 这一层往往会设计到较多的流流join和流维join

比较常见的就是订单表的流维join，我们下单要关联商品的维度信息，另外此处还涉及到订单的状态变化

DWS

轻度聚合，应对各种实时查询，并缓解查询的压力

将更多的实时数据以主题的方式组合起来便于管理，同时也能减少维度查询的次数

那如何让设计DWS的表，主要是靠维度+度量（事实数据）

度量比如 uv、pv、跳出次数、进入页面次数（session_count）、连续访问时长等

维度主要是主要的即可，渠道、地去、版本、国内外、新老用户、系统（ios，安卓，电脑）这些

接受各个明细数据，合并成相同数据格式的流，然后窗口聚合后输出到数据库（我们是clickhouse）

实时数仓应用落地

实时数据大盘

告警监控

实时推荐

你可能感兴趣的:(数据中台,大数据,分布式,flink,实时数据仓库)

  • 一文揭秘！Java 如何与 Elasticsearch 完美 “牵手”？ 程序员顾茗 javaelasticsearch
    引言本文适合有一定Java编程基础，且对搜索引擎技术感兴趣，尤其是希望在项目中运用Elasticsearch实现高效数据检索与分析功能的开发人员阅读。在当今大数据和高并发的时代，高效的数据检索与分析变得愈发关键。Elasticsearch作为一款强大的分布式搜索和分析引擎，受到了广泛青睐。而Java作为企业级开发的主流语言，如何与Elasticsearch无缝结合，发挥出最大效能呢？今天，就让我们
  • Elasticsearch平台介绍 yzhujue elasticsearch
    1简介Elasticsearch是一个实时分布式搜索和分析引擎。它能以很高的速度处理数据。它用于全文搜索、结构化搜索、分析以及将这三者混合使用。Ø维基百科使用Elasticsearch提供全文搜索并高亮关键字，以及输入实时搜索(search-as-you-type)和搜索纠错(did-you-mean)等搜索建议功能。Ø英国卫报使用Elasticsearch结合用户日志和社交网络数据提供给他们的编
  • YashanDB分布式部署 数据库
    本文内容来自YashanDB官网，原文内容请见https://doc.yashandb.com/yashandb/23.3/zh/%E5%AE%89%E8%A3%85%...本文以典型规格（3台服务器，1个MN组、2个CN、1个DN组，DN组和MN组均为1主2备）为例，介绍分布式部署形态的安装步骤。执行安装部署前，请以安装用户（yashan）登录192.168.1.2服务器，并进入/home/ya
  • HarmonyOS Next 会议应用——多设备协同与应用接续 harmonyos
    在当今数字化办公的大趋势下，高效的会议协作变得尤为重要。HarmonyOSNext提供了强大的分布式能力，为开发支持多设备协同与应用接续的会议应用创造了有利条件。本文将详细阐述如何基于HarmonyOSNext开发这样一个会议应用，以提升会议协作效率。会议应用的多端协同架构设计核心功能会议共享：允许参会者在不同设备间共享会议相关的资料、文件、演示文稿等，实现信息的实时互通。设备无缝切换：支持用户在
  • CES Asia 2025：聚焦前沿科技，探索未来无限可能 赛逸展张胜 科技
    CESAsia2025第七届亚洲消费电子技术贸易展（赛逸展）正如火如荼地进行，展会聚焦前沿科技，四大展区从不同维度探索未来发展的无限可能，吸引了全球科技爱好者和行业人士的目光。智慧健康与未来生活展区，以人的生活与健康为核心，全方位展示科技带来的变革。在未来办公与教育板块，智能会议系统打破了地域限制，高清视频、实时翻译等功能让跨国协作变得轻松高效；虚拟办公空间通过虚拟现实技术，为远程办公人员打造了沉
  • 【AI深度学习基础】Pandas完全指南入门篇：数据处理的瑞士军刀 （含完整代码） arbboter 人工智能人工智能深度学习pandas数据处理数据分析数据清洗数据分析效率提升
    Pandas系列文章导航入门篇进阶篇终极篇一、引言在大数据与AI驱动的时代，数据预处理和分析是深度学习与机器学习的基石。Pandas作为Python生态中最强大的数据处理库，以其灵活的数据结构（如DataFrame和Series）和丰富的功能（数据清洗、转换、聚合等），成为数据科学家和工程师的核心工具。Pandas以Series（一维标签数组）和DataFrame（二维表格）为核心数据结构，提供高
  • 从 XMLHttpRequest 到 Fetch：现代 Web 请求技术的演进 vvilkim JavaScript现代WEB技术前端javascript信息与通信
    在现代Web开发中，与服务器进行数据交互是必不可少的一部分。无论是加载动态内容、提交表单数据，还是实现实时更新，都需要通过HTTP请求来完成。本文将介绍两种主流的Web请求技术：XMLHttpRequest和FetchAPI，探讨它们的优缺点、使用场景以及如何选择合适的技术。1.XMLHttpRequest：Web请求的基石什么是XMLHttpRequest？XMLHttpRequest是一个Ja
  • Trae 是一款由 AI 驱动的 IDE，让编程更加愉悦和高效。国际版集成了 GPT-4 和 Claude 3.5，国内版集成了DeepSeek-r1 skywalk8163 人工智能编程语言人工智能trae
    Trae是一款由AI驱动的IDE，让编程更加愉悦和高效。国际版集成了GPT-4和Claude3.5，国内版继承了DeepSeek-r1，支持实时代码建议和无缝GitHub集成。当前国内和国际版的AI都是免费的。安装国际版安装国际版下载：下载Trae-字节跳动全新AI驱动的IDE|TraeIDE下载后安装，安装完启动，选注册结果说不让中国人注册....AppUnavailableUnfortunat
  • 单体架构、集群、分布式、微服务的区别！ 码熔burning 微服务架构分布式微服务
    目录一、单体架构二、集群‍♀️‍♂️三、分布式架构四、微服务架构️五、总结我的其他文章也讲解的比较有趣，如果喜欢博主的讲解方式，可以多多支持一下，感谢！✨更多请看个人主页：码熔burning其他优质专栏：【✨设计模式】【SpringBoot】【多线程】【Redis】…等一、单体架构是什么：想象一下，你开了一家小餐馆，所有的功能都在一个地方完成：点餐、做饭、收银、打扫卫生，所有员工都在一个屋檐下工作
  • 对“预训练”的理解 衣衣困 深度学习神经网络自然语言处理
    预训练有什么用传统的机器学习是偏数学的，对数据的量不做过多要求，而深度学习的项目通常是有大量的数据可供使用。在平常的任务或者项目中，我们可能并没有大量数据，只有少量数据，在这时我们就可以通过“借用”有大数据支持的模型的参数，作为基准，这样就能提高效率和准确率。因为他们神经网络的浅层是相似的，也就是说，在任务相似的情况下，可以用已有的模型即“预训练”好的模型参数实现小数据量的模型训练。预训练可以节省
  • Redis面试——redis基础、5种数据类型、持久化、主从模式、哨兵 丢丢diu丢 Redis面试分布式数据库
    问题目录1.5种基本数据类型2.分布式锁3.缓存一致性4.缓存穿透、击穿、雪崩5.跳表1.Redis前言0.Redis为什么这么快？1.纯内存操作：读取不需要进行磁盘I/O，所以比传统数据库要快上不少；(但不要有误区说磁盘就一定慢，例如Kafka就是使用磁盘顺序读取但仍然较快)2.单线程，无锁竞争：这保证了没有线程的上下文切换，不会因为多线程的一些操作而降低性能；3.多路I/O复用模型，非阻塞I/
  • gradio之持续输入，持续输出（流式） 大霞上仙 gradio前端javascript开发语言
    流式输出yield,比如一个输出控件，想要实时显示内容，用returnfor循环一次就返回去了。而用yield会持续更新往下执行foriinrange(length):time.sleep(8)yield'总共'+str(length)+'条语料，已运行'+str(i+1)+'条'在Gradio中，某些组件（如音频和图像组件）可以以“streaming”（流式）模式运行。这意味着数据会被连续不断地
  • Java 大视界 -- Java 大数据机器学习模型的可解释性增强技术与应用（107） 青云交 大数据新视界Java大视界大数据java可解释性AISHAPLIME因果推理可视化交互
    亲爱的朋友们，热烈欢迎来到青云交的博客！能与诸位在此相逢，我倍感荣幸。在这飞速更迭的时代，我们都渴望一方心灵净土，而我的博客正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识，也期待你毫无保留地分享独特见解，愿我们于此携手成长，共赴新程！一、欢迎加入【福利社群】点击快速加入：青云交灵犀技韵交响盛汇福利社群点击快速加入2：2024CSDN博客之星创作交流营（NEW)二、本博客的精华专栏：大数据新视
  • Java 大视界 -- Java 大数据在智慧环保污染源监测与预警中的应用（104） 青云交 大数据新视界Java大视界java大数据智慧环保污染源监测实时预警FlinkLSTM
    亲爱的朋友们，热烈欢迎来到青云交的博客！能与诸位在此相逢，我倍感荣幸。在这飞速更迭的时代，我们都渴望一方心灵净土，而我的博客正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识，也期待你毫无保留地分享独特见解，愿我们于此携手成长，共赴新程！一、欢迎加入【福利社群】点击快速加入：青云交灵犀技韵交响盛汇福利社群点击快速加入2：2024CSDN博客之星创作交流营（NEW)二、本博客的精华专栏：大数据新视
  • Java 大视界 -- Java 大数据分布式文件系统的性能调优实战（101） 青云交 大数据新视界Java大视界java大数据Java大数据分布式文件系统性能调优HDFSImpala
    亲爱的朋友们，热烈欢迎来到青云交的博客！能与诸位在此相逢，我倍感荣幸。在这飞速更迭的时代，我们都渴望一方心灵净土，而我的博客正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识，也期待你毫无保留地分享独特见解，愿我们于此携手成长，共赴新程！一、欢迎加入【福利社群】点击快速加入：青云交灵犀技韵交响盛汇福利社群点击快速加入2：2024CSDN博客之星创作交流营（NEW)二、本博客的精华专栏：大数据新视
  • Java 大视界 -- 深入剖析 Java 大数据实时 ETL 中的数据质量保障策略（97） 青云交 大数据新视界Java大视界Java大数据实时ETL数据质量保障数据清洗数据校验机器学习算法统计方法
    亲爱的朋友们，热烈欢迎来到青云交的博客！能与诸位在此相逢，我倍感荣幸。在这飞速更迭的时代，我们都渴望一方心灵净土，而我的博客正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识，也期待你毫无保留地分享独特见解，愿我们于此携手成长，共赴新程！一、欢迎加入【福利社群】点击快速加入：青云交灵犀技韵交响盛汇福利社群点击快速加入2：2024CSDN博客之星创作交流营（NEW)二、本博客的精华专栏：大数据新视
  • Java 大视界 -- 绿色大数据：Java 技术在节能减排中的应用与实践（90） 青云交 大数据新视界Java大视界java大数据绿色大数据节能减排算法优化分布式计算资源管理
    亲爱的朋友们，热烈欢迎来到青云交的博客！能与诸位在此相逢，我倍感荣幸。在这飞速更迭的时代，我们都渴望一方心灵净土，而我的博客正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识，也期待你毫无保留地分享独特见解，愿我们于此携手成长，共赴新程！一、欢迎加入【福利社群】点击快速加入：青云交灵犀技韵交响盛汇福利社群点击快速加入2：2024CSDN博客之星创作交流营（NEW)二、本博客的精华专栏：大数据新视
  • Java 大视界 -- 大数据伦理与法律：Java 技术在合规中的作用与挑战（87） 青云交 大数据新视界Java大视界java大数据大数据伦理大数据法律数据加密访问控制应对策略
    亲爱的朋友们，热烈欢迎来到青云交的博客！能与诸位在此相逢，我倍感荣幸。在这飞速更迭的时代，我们都渴望一方心灵净土，而我的博客正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识，也期待你毫无保留地分享独特见解，愿我们于此携手成长，共赴新程！一、欢迎加入【福利社群】点击快速加入：青云交灵犀技韵交响盛汇福利社群点击快速加入2：2024CSDN博客之星创作交流营（NEW)二、本博客的精华专栏：大数据新视
  • Java 大视界 -- 区块链赋能 Java 大数据：数据可信与价值流转（84） 青云交 大数据新视界Java大视界java大数据数据可信价值流转智能合约共识机制区块链
    亲爱的朋友们，热烈欢迎来到青云交的博客！能与诸位在此相逢，我倍感荣幸。在这飞速更迭的时代，我们都渴望一方心灵净土，而我的博客正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识，也期待你毫无保留地分享独特见解，愿我们于此携手成长，共赴新程！一、欢迎加入【福利社群】点击快速加入：青云交灵犀技韵交响盛汇福利社群点击快速加入2：2024CSDN博客之星创作交流营（NEW)二、本博客的精华专栏：大数据新视
  • 【高并发】Java 高并发 HTTP 接口优化：如何在 10 毫秒内调用 20+ 服务？ 工一木子 高并发Java系统设计javahttp接口优化
    Java高并发HTTP接口优化：如何在10毫秒内调用20+服务？在分布式系统中，一个HTTP接口调用多个外部服务是常见场景。但如果需要在10毫秒内完成20+服务调用，就面临网络延迟、线程切换、I/O阻塞等挑战。本文将深入剖析高性能HTTP接口优化策略，并提供Java并发实战代码。1.面临的挑战同步调用慢：如果串行调用20个服务，每个服务平均耗时50ms，总时长将超过1秒。网络延迟：HTTP请求通常
  • Redis数据库面试——数据结构类型知识 Good Note 数据库redis面试开发语言春招缓存SQL
    大家好，这里是GoodNote，关注公主号：Goodnote，专栏文章私信限时Free。本文详细介绍Redis提供的5种基本数据结构类型和4种特殊类型，除此之外，还有8种底层数据结构，每种结构类型有其特点和适用场景。文章目录基本数据类型1.String（字符串）使用场景缓存计数器ID生成器分布式锁2.Hash（哈希）3.List（链表/列表）4.Set（集合）5.SortedSet（有序集合）特殊
  • Java 大视界 -- 基于 Java 的大数据流处理容错机制与恢复策略（113） 青云交 大数据新视界Java大视界java大数据流处理容错机制CheckpointExactly-Once故障恢复
    亲爱的朋友们，热烈欢迎来到青云交的博客！能与诸位在此相逢，我倍感荣幸。在这飞速更迭的时代，我们都渴望一方心灵净土，而我的博客正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识，也期待你毫无保留地分享独特见解，愿我们于此携手成长，共赴新程！一、欢迎加入【福利社群】点击快速加入：青云交灵犀技韵交响盛汇福利社群点击快速加入2：2024CSDN博客之星创作交流营（NEW)二、本博客的精华专栏：大数据新视
  • Go编程基础——详细讲解Golang的语法特性和运行机制 AI天才研究院 一天一门编程语言Golang实战自然语言处理人工智能语言模型编程实践开发语言架构设计
    作者：禅与计算机程序设计艺术1.简介Go语言（又称Golang）是Google开发的一门新的开源编程语言，在2009年发布。它主要被用于构建简单、可靠且高效的分布式系统应用。本书旨在帮助读者快速掌握Go语言的使用方法并理解其特性，能够写出更加健壮和可维护的程序。《Go编程基础》一书由五个部分构成，分别介绍了Go语言中的数据类型、流程控制语句、函数、接口、并发编程等方面的知识。每章的最后还有一个练习
  • 双链路提升网络传输的可靠性扩展可用带宽 月光技术杂谈 WIFI网络双链路可靠性链路聚合带宽叠加冗余通信
    为了提升网络传输的可靠性或增加网络可用带宽，通常使用双链路冗余备份或者双链路聚合的方式。本文介绍几种双链路网络通信的案例。5G+WiFi冗余传输双Socket绑定不同网络接口：通过Android的ConnectivityManager绑定5G蜂窝网络和WiFi的Socket连接，实现双链路并行传输。动态切换策略：根据信号强度（RSSI）和带宽实时切换主链路（如5G用于大流量传输，WiFi用于低延迟
  • 基于HarmonyNext的跨设备实时协作绘图应用开发实战指南 harmonyos-next
    基于HarmonyNext的跨设备实时协作绘图应用开发实战指南引言在HarmonyNext生态系统中，跨设备实时协作绘图是一个极具创新性和实用性的领域。随着多设备协同工作的需求日益增长，如何在不同设备之间高效地实现实时绘图协作成为了开发者关注的焦点。本指南将深入探讨如何利用HarmonyNext的跨设备能力，结合ArkTS语言，开发一个高性能的跨设备实时协作绘图应用。我们将通过一个实际的案例，详细
  • 基于 Flink CDC YAML 的 MySQL 到 Kafka 流式数据集成 flink大数据实时计算
    这篇教程将展示如何基于FlinkCDCYAML快速构建MySQL到Kafka的流式数据集成作业，包含整库同步、表结构变更同步的演示和特色功能的介绍。本教程的演示都将在FlinkCDCCLI中进行，无需一行Java/Scala代码，也无需安装IDE。准备阶段准备FlinkStandalone集群下载Flink1.19.2，解压后得到flink-1.19.2目录。使用下面的命令跳转至Flink目录下，
  • Databend 产品月报（2025年2月） 数据库
    很高兴为您带来Databend2025年2月的最新更新、新功能和改进！我们希望这些增强功能对您有所帮助，并期待您的反馈。从MySQL迁移到DatabendDatabend推荐使用db-archiver进行MySQL批量迁移，使用FlinkCDC进行实时变更数据捕获（CDC）迁移。教程已更新：使用db-archiver从MySQL迁移使用FlinkCDC从MySQL迁移设置会话标签现在，您可以为会话
  • 常见加密软件厂商的参数对比 大刘讲IT 安全网络安全
    本文主要介绍主要的加密软件的一些公开资料的对比，不做任何价值推断和评价，请根据企业实际的需求进行合理评估选择。一、核心加密机制对比1.算法架构与密钥管理IP-Guard亿赛通天锐绿盾迅软DSE文件创建厂商策略触发式AES-256加密全生命周期SM4加密智能分类AES+SM4混合加密行为触发动态密钥轮换分布式密钥池集中式密钥服务器双因子认证+分片存储量子密钥预分发试验维度IP-Guard亿赛通天锐绿
  • 大智能：大数据+大模型+大算力_大算力大数据大模型 AI学习不迷路 大数据大模型人工智能语言模型ai产品经理算力
    在近日举行的“2022中国人工智能产业年会”主论坛上，中国人工智能学会监事长、中国工程院院士蒋昌俊在报告中表示，人工智能的发展已经历了数十年的过程，大模型ChatGPT在今年春节前后突然出现，大家还没有来得及深度思考就已经“扑面而来”。蒋昌俊大智能的研究进展科学技术的研究约分为两大范式，一是牛顿力学奠定了理论计算的范式，二是开普勒开启数据的范式。之后经历了实验归纳、理论的逻辑推演，以及计算模拟、最
  • 我们为什么需要服务发现？服务发现的基本概念和流程，并通过实践案例说明如何利用服务发现构建微服务架构 Why Do We Need Service Discovery? AI天才研究院 Python实战自然语言处理人工智能语言模型编程实践开发语言架构设计
    作者：禅与计算机程序设计艺术1.简介在现代分布式系统架构中，服务发现（ServiceDiscovery）在微服务架构、云计算和容器化架构等方面扮演着至关重要的角色。服务发现旨在根据服务名、IP地址或其他标识符动态查找服务提供者的位置信息，包括网络地址、端口号、协议类型、QoS参数等。通常情况下，客户端应用需要通过服务发现模块获取服务提供者的可用性信息，并选择合适的服务实例进行访问，从而实现分布式系
  • Linux的Initrd机制 被触发 linux
    Linux 的 initrd 技术是一个非常普遍使用的机制，linux2.6 内核的 initrd 的文件格式由原来的文件系统镜像文件转变成了 cpio 格式，变化不仅反映在文件格式上， linux 内核对这两种格式的 initrd 的处理有着截然的不同。本文首先介绍了什么是 initrd 技术，然后分别介绍了 Linux2.4 内核和 2.6 内核的 initrd 的处理流程。最后通过对 Lin
  • maven本地仓库路径修改 bitcarter maven
    默认maven本地仓库路径：C:\Users\Administrator\.m2 修改maven本地仓库路径方法：     1.打开E:\maven\apache-maven-2.2.1\conf\settings.xml     2.找到        
  • XSD和XML中的命名空间 darrenzhu xmlxsdschemanamespace命名空间
    http://www.360doc.com/content/12/0418/10/9437165_204585479.shtml http://blog.csdn.net/wanghuan203/article/details/9203621 http://blog.csdn.net/wanghuan203/article/details/9204337 http://www.cn
  • Java 求素数运算 周凡杨 java算法素数
    网络上对求素数之解数不胜数，我在此总结归纳一下，同时对一些编码，加以改进，效率有成倍热提高。 第一种：   原理: 6N(+-)1法         任何一个自然数，总可以表示成为如下的形式之一： 6N，6N+1，6N+2，6N+3，6N+4，6N+5 (N=0，1，2，…)   
  • java 单例模式 g21121 java
    想必单例模式大家都不会陌生，有如下两种方式来实现单例模式：   class Singleton { private static Singleton instance=new Singleton(); private Singleton(){} static Singleton getInstance() { return instance; }
  • Linux下Mysql源码安装 510888780 mysql
    1.假设已经有mysql-5.6.23-linux-glibc2.5-x86_64.tar.gz (1)创建mysql的安装目录及数据库存放目录       解压缩下载的源码包，目录结构，特殊指定的目录除外：           
  • 32位和64位操作系统 墙头上一根草 32位和64位操作系统
    32位和64位操作系统是指：CPU一次处理数据的能力是32位还是64位。现在市场上的CPU一般都是64位的，但是这些CPU并不是真正意义上的64 位CPU，里面依然保留了大部分32位的技术，只是进行了部分64位的改进。32位和64位的区别还涉及了内存的寻址方面，32位系统的最大寻址空间是2 的32次方= 4294967296（bit）= 4（GB）左右，而64位系统的最大寻址空间的寻址空间则达到了
  • 我的spring学习笔记10-轻量级_Spring框架 aijuans Spring 3
    一、问题提问：     → 请简单介绍一下什么是轻量级？     轻量级（Leightweight）是相对于一些重量级的容器来说的，比如Spring的核心是一个轻量级的容器，Spring的核心包在文件容量上只有不到1M大小，使用Spring核心包所需要的资源也是很少的，您甚至可以在小型设备中使用Spring。  
  • mongodb 环境搭建及简单CURD antlove WebInstallcurdNoSQLmongo
    一 搭建mongodb环境 1. 在mongo官网下载mongodb 2. 在本地创建目录 "D:\Program Files\mongodb-win32-i386-2.6.4\data\db" 3. 运行mongodb服务 [mongod.exe --dbpath "D:\Program Files\mongodb-win32-i386-2.6.4\data\
  • 数据字典和动态视图 百合不是茶 oracle数据字典动态视图系统和对象权限
    数据字典（data dictionary）是 Oracle 数据库的一个重要组成部分，这是一组用于记录数据库信息的只读（read-only）表。随着数据库的启动而启动,数据库关闭时数据字典也关闭   数据字典中包含   数据库中所有方案对象（schema object）的定义(包括表，视图，索引，簇，同义词，序列，过程，函数，包，触发器等等) 数据库为一
  • 多线程编程一般规则 bijian1013 javathread多线程java多线程
           如果两个工两个以上的线程都修改一个对象，那么把执行修改的方法定义为被同步的，如果对象更新影响到只读方法，那么只读方法也要定义成同步的。        不要滥用同步。如果在一个对象内的不同的方法访问的不是同一个数据，就不要将方法设置为synchronized的。
  • 将文件或目录拷贝到另一个Linux系统的命令scp bijian1013 linuxunixscp
    一.功能说明        scp就是security copy，用于将文件或者目录从一个Linux系统拷贝到另一个Linux系统下。scp传输数据用的是SSH协议，保证了数据传输的安全，其格式如下：        scp 远程用户名@IP地址：文件的绝对路径
  • 【持久化框架MyBatis3五】MyBatis3一对多关联查询 bit1129 Mybatis3
    以教员和课程为例介绍一对多关联关系，在这里认为一个教员可以叫多门课程，而一门课程只有1个教员教，这种关系在实际中不太常见，通过教员和课程是多对多的关系。   示例数据：   地址表：   CREATE TABLE ADDRESSES ( ADDR_ID INT(11) NOT NULL AUTO_INCREMENT, STREET VAR
  • cookie状态判断引发的查找问题 bitcarter formcgi
    先说一下我们的业务背景： 1.前台将图片和文本通过form表单提交到后台，图片我们都做了base64的编码，并且前台图片进行了压缩 2.form中action是一个cgi服务 3.后台cgi服务同时供PC，H5，APP 4.后台cgi中调用公共的cookie状态判断方法（公共的，大家都用，几年了没有问题） 问题：（折腾两天。。。。） 1.PC端cgi服务正常调用，cookie判断没
  • 通过Nginx,Tomcat访问日志(access log)记录请求耗时 ronin47
    一、Nginx通过$upstream_response_time $request_time统计请求和后台服务响应时间 nginx.conf使用配置方式： log_format main '$remote_addr - $remote_user [$time_local] "$request" ''$status $body_bytes_sent "$http_r
  • java-67- n个骰子的点数。 把n个骰子扔在地上，所有骰子朝上一面的点数之和为S。输入n，打印出S的所有可能的值出现的概率。 bylijinnan java
    public class ProbabilityOfDice { /** * Q67 n个骰子的点数 * 把n个骰子扔在地上，所有骰子朝上一面的点数之和为S。输入n，打印出S的所有可能的值出现的概率。 * 在以下求解过程中，我们把骰子看作是有序的。 * 例如当n=2时，我们认为（1，2）和（2，1）是两种不同的情况 */ private stati
  • 看别人的博客，觉得心情很好 Cb123456 博客心情
       以为写博客，就是总结，就和日记一样吧，同时也在督促自己。今天看了好长时间博客:    职业规划:    http://www.iteye.com/blogs/subjects/zhiyeguihua      android学习:    1.http://byandby.i
  • [JWFD开源工作流]尝试用原生代码引擎实现循环反馈拓扑分析 comsci 工作流
        我们已经不满足于仅仅跳跃一次，通过对引擎的升级，今天我测试了一下循环反馈模式，大概跑了200圈，引擎报一个溢出错误      在一个流程图的结束节点中嵌入一段方程，每次引擎运行到这个节点的时候，通过实时编译器GM模块，计算这个方程，计算结果与预设值进行比较，符合条件则跳跃到开始节点，继续新一轮拓扑分析，直到遇到
  • JS常用的事件及方法 cwqcwqmax9 js
    事件 描述 onactivate 当对象设置为活动元素时触发。 onafterupdate 当成功更新数据源对象中的关联对象后在数据绑定对象上触发。 onbeforeactivate 对象要被设置为当前元素前立即触发。 onbeforecut 当选中区从文档中删除之前在源对象触发。 onbeforedeactivate 在 activeElement 从当前对象变为父文档其它对象之前立即
  • 正则表达式验证日期格式 dashuaifu 正则表达式IT其它java其它
    正则表达式验证日期格式 function isDate(d){ var v = d.match(/^(\d{4})-(\d{1,2})-(\d{1,2})$/i); if(!v) { this.focus(); return false; } } <input value="2000-8-8" onblu
  • Yii CModel.rules() 方法 、validate预定义完整列表、以及说说验证 dcj3sjt126com yii
    public array rules () {return} array 要调用 validate() 时应用的有效性规则。 返回属性的有效性规则。声明验证规则，应重写此方法。 每个规则是数组具有以下结构：array('attribute list', 'validator name', 'on'=>'scenario name', ...validation
  • UITextAttributeTextColor = deprecated in iOS 7.0 dcj3sjt126com ios
    In this lesson we used the key "UITextAttributeTextColor" to change the color of the UINavigationBar appearance to white. This prompts a warning "first deprecated in iOS 7.0." Ins
  • 判断一个数是质数的几种方法 EmmaZhao Mathpython
    质数也叫素数，是只能被1和它本身整除的正整数，最小的质数是2，目前发现的最大的质数是p=2^57885161-1【注1】。 判断一个数是质数的最简单的方法如下： def isPrime1(n): for i in range(2, n): if n % i == 0: return False return True 但是在上面的方法中有一些冗余的计算，所以
  • SpringSecurity工作原理小解读 坏我一锅粥 SpringSecurity
      SecurityContextPersistenceFilter   ConcurrentSessionFilter   WebAsyncManagerIntegrationFilter   HeaderWriterFilter   CsrfFilter   LogoutFilter   Use
  • JS实现自适应宽度的Tag切换 ini JavaScripthtmlWebcsshtml5
    效果体验：http://hovertree.com/texiao/js/3.htm   该效果使用纯JavaScript代码，实现TAB页切换效果，TAB标签根据内容自适应宽度，点击TAB标签切换内容页。 HTML文件代码： <!DOCTYPE html> <html xmlns="http://www.w3.org/1999/xhtml"
  • Hbase Rest API : 数据查询 kane_xie RESThbase
    hbase（hadoop）是用java编写的，有些语言（例如python）能够对它提供良好的支持，但也有很多语言使用起来并不是那么方便，比如c#只能通过thrift访问。Rest就能很好的解决这个问题。Hbase的org.apache.hadoop.hbase.rest包提供了rest接口，它内嵌了jetty作为servlet容器。   启动命令：./bin/hbase rest s
  • JQuery实现鼠标拖动元素移动位置（源码+注释） 明子健 jqueryjs源码拖动鼠标
    欢迎讨论指正！   print.html代码： <!DOCTYPE html> <html> <head> <meta http-equiv=Content-Type content="text/html;charset=utf-8"> <title>发票打印</title> &l
  • Postgresql 连表更新字段语法 update qifeifei PostgreSQL
    下面这段sql本来目的是想更新条件下的数据，可是这段sql却更新了整个表的数据。sql如下： UPDATE tops_visa.visa_order SET op_audit_abort_pass_date = now() FROM tops_visa.visa_order as t1 INNER JOIN tops_visa.visa_visitor as t2 ON t1.
  • 将redis,memcache结合使用的方案? tcrct rediscache
    公司架构上使用了阿里云的服务，由于阿里的kvstore收费相当高，打算自建，自建后就需要自己维护，所以就有了一个想法，针对kvstore(redis)及ocs(memcache)的特点，想自己开发一个cache层，将需要用到list，set，map等redis方法的继续使用redis来完成，将整条记录放在memcache下，即findbyid，save等时就memcache，其它就对应使用redi
  • 开发中遇到的诡异的bug wudixiaotie bug
    今天我们服务器组遇到个问题： 我们的服务是从Kafka里面取出数据，然后把offset存储到ssdb中，每个topic和partition都对应ssdb中不同的key，服务启动之后，每次kafka数据更新我们这边收到消息，然后存储之后就发现ssdb的值偶尔是-2,这就奇怪了，最开始我们是在代码中打印存储的日志，发现没什么问题，后来去查看ssdb的日志，才发现里面每次set的时候都会对同一个key
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他