叶之城
叶之城

数据之旅-开篇

开篇

从13年毕业到现在，不知不觉已经工作了多年的时间。在这些年的时间里做过WEB开发、大数据相关等工作，去过传统IT企业也去过互联网公司。新的一年总要有些进步与改变，那就开始写总结吧，做些有意义的事情。算是给自己职业生涯做一次回顾，分享一些技术与想法，如果有能帮助到其他人，或者稍微有些启发，也算是有点价值。如果有任何错误或者疑问的地方也欢迎大家留言指正与讨论。

总结分享规划：

数据之旅-开篇_第1张图片

首先大数据相关的技术，我分成大致分成两个方面，一个是技术架构[数据之术]，一个是系统架构[数据之道]。

技术架构方面，大多数公司使用的技术基本上都大同小异，都是基于各种开源大数据相关组件，搭建各种集群来支持公司各类数据的统计分析；

系统架构方面，由于每个公司自身发展需要、数据重视程度、开发人员资源的不同，之间可能会有些许的差异，上图是我总结出来的系统架构，之后会优先按照系统架构设计方面入手，从数据的采集、数据的传输、数据的计算、数据的应用等等方面，开始逐步总结一下各个系统的设计。

大致规划如上，都是一些接触过的技术或者工作中遇到的问题的思考与总结，根据情况再逐步调整吧，望自己能够坚持的写下去，fighting！

最后安利一个自己的小项目life schedule - Follow Your Dream http://www.jixianshijie.com/ (别的项目的域名，拿来用用…)

数据之旅-开篇_第2张图片

根据你的出生日期，选择你要规划的年限，可以看到你已经过了多少的时间，处在人生的什么阶段，还剩多少的日子。双击一段时间范围可以做做标记事件记录等等….

逝者如斯不舍昼夜，再出发！

个人主页
下一篇 《数据系统架构-1.基础数据篇》

你可能感兴趣的:(数据系统,大数据,系统架构,数据分析)

  • 【Spring】_Spring事务与事务传播机制 _周游 SpringJavaEE数据库sql
    目录1.创建项目、数据库及MyBatis配置1.1创建数据库及java实体类1.2使用yml配置MyBatis1.3对应三层架构开发2.Spring编程式事务2.1编写UserController类2.2接口测试2.23关于事务回滚与事务提交的日志3.Spring声明式事务3.1编写TransController类3.2接口测试3.3关于@Transactional实现事务回滚的情况3.3.1重新
  • 如何通过API用Python获取北向资金流向数据？ 量化问财 量化软件QMT量化交易Python量化炒股PTradeQMT量化交易量化软件deepseek
    推荐阅读：《【最全攻略】免费的量化软件有哪些？券商的交易接口怎么获取？》如何通过API用Python获取北向资金流向数据？北向资金指的是通过沪港通和深港通渠道，从香港市场流入A股市场的资金。对于投资者来说，了解北向资金流向对于把握市场趋势和投资决策具有重要意义。本文将介绍如何通过API用Python获取北向资金流向数据。理解北向资金流向数据北向资金流向数据主要包括以下几个方面：资金流入量：指通过沪
  • likeadmin 安装与使用指南 强和毓Hadley
    likeadmin安装与使用指南项目地址:https://gitcode.com/gh_mirrors/li/likeadmin目录结构及介绍在克隆或下载likeadmin项目后，你会看到以下主要目录：admin:存放所有后端管理相关的代码。controller:控制器目录，负责处理HTTP请求。model:数据模型目录，用于数据库操作。service:服务层目录，提供业务逻辑。frontend:
  • 我与DeepSeek读《大型网站技术架构》（5）下 诺亚凹凸曼 架构
    万无一失：网站的高可用架构4.高可用的数据保证数据存储高可用的手段主要是数据备份和失效转移机制。缓存服务的高可用争论1.缓存服务需要实现高可用核心论据：避免雪崩效应：缓存宕机导致数据库瞬时压力骤增，可能引发级联故障。提升用户体验：缓存直接支撑高频访问，其不可用会导致延迟飙升、功能异常。数据热备价值：部分缓存数据（如会话信息）可能无持久化备份，丢失后影响业务连续性。适用场景：高并发实时系统：如电商秒
  • 我与DeepSeek读《大型网站技术架构》（3） 诺亚凹凸曼 架构
    大型网站架构的核心要素《大型网站技术架构：核心原理与案例分析》第三章聚焦于大型网站架构的核心要素，从技术维度剖析了构建高可用、高性能、可扩展系统的关键设计方向。1.五大核心架构要素(1)性能（Performance）目标：快速响应用户请求，优化用户体验。关键策略：前端优化：CDN加速静态资源、合并压缩JS/CSS、浏览器缓存。服务端优化：缓存（Redis/Memcached）、异步处理（消息队列）
  • 八股文-Linux系统部分 im长街 八股文专栏linux服务器
    目录权限掩码有什么作用?直到粘滞位吗?怎样将程序停留在预处理过程/编译/汇编过程后?用过gdb吗?讲讲常见的热键谈谈你对整个计算机体系的认识什么是进程?谈谈你自己的理解?进程在运行时可能会出现哪些状态?Fork函数了解多少?了解过僵尸进程和孤儿进程吗?并行和并发的区别?当发生进程切换后再次被调度时,怎样知道上次运行到哪儿了?了解过哪些环境变量什么是地址空间?和物理内存是什么关系?为什么要有它?谈谈
  • 八股文-Linux网络部分 im长街 八股文专栏linux网络
    目录TCP和UDP的区别套接字编程一般的流程是什么Cookie,session和token有什么区别HTTP和HTTPS的区别讲一下TCP的三次握手和四次挥手TCP通过什么来保证可靠性TCP通过什么方式来提高性能了解哪些TCP协议的报头数据如何解决TCP的粘包问题什么是IP协议IP协议的字段了解多少什么是网段划分WAN口ip和LAN口ip的作用了解过NAT技术吗谈一谈你对ARP协议的理解有了ip地
  • 算法与数据结构（回文数） a_j58 数据结构
    题目思路对于这个我的第一想法就是转换为字符串然后判断字符串是否为回文，它会消耗额外的地址空间。还有一种想法就是将数字反转并判断是否为回文，但可能需要处理数字溢出的问题。若要避免出现数字溢出的问题，我们可以只反转它的一半，若前半部分和后半部分相同，则说明它是一个回文数。如123321，我们将它的后半部分反转，得到123，它与前半部分相同，说明它是一个回文数。算法首先，我们可以先考虑到它的一些临界情况
  • C# 巩固记录（五） 休#威廉姆斯 C#c#开发语言
    C#构造函数实例构造函数构造函数是类中特殊的成员函数，它的名称与它所在类的名称相同，并且没有返回值。当我们使用new关键字创建类的对象时，可以使用实例构造函数来创建和初始化类中的任意成员属性。静态构造函数静态构造函数用于初始化类中的静态数据或执行仅需执行一次的特定操作。静态构造函数将在创建第一个实例或引用类中的静态成员之前自动调用。静态构造函数具有以下特性：静态构造函数不使用访问权限修饰符修饰或不
  • 斐波拉契数列 RichardK. c++学习
    题目描述给定正整数n，求斐波那契数列的第n项F(n)。令F(n)表示斐波那契数列的第n项，它的定义是：当n=1时，F(n)=1；当n=2时，F(n)=1；当n>2时，F(n)=F(n−1)+F(n−2)。大数据版：斐波拉契数列-大数据版输入描述一个正整数n（1≤n≤104）。输出描述斐波那契数列的第n项F(n)。由于结果可能很大，因此将结果对10007取模后输出。样例1输入1输出1解释边界定义：F
  • JavaScript模块化开发的演进历程 IronKee JavaScriptjavascript前端
    写在前面的话js模块化历程记录了js模块化思想的诞生与变迁历史不是过去，历史正在上演，一切终究都会成为历史拥抱变化，面向未来延伸阅读-JavaScript诞生（这也解释了JS为何一开始没有模块化）JavaScript因为互联网而生，紧随着浏览器的出现而问世1990年底，欧洲核能研究组织（CERN）科学家Tim，发明了万维网（WorldWideWeb），最早的网页只能在操作系统的终端里浏览，非常不方
  • 高纯氢能源在线监测分析系统组成和作用 GUOYUGRA 人工智能算法机器学习
    高纯氢能源在线监测分析系统是一种用于实时监测和分析高纯氢气(H₂)质量、成分和浓度的设备系统，广泛应用于氢气生产、储存、运输及使用的各个环节。随着氢能源作为清洁能源的逐渐普及，对氢气的质量要求越来越高，尤其是在燃料电池、电解水制氢、氢气储存和输送等应用领域，必须确保氢气的纯度和成分符合严格的标准和要求。该系统的主要作用是实时监测高纯氢气中的杂质成分(如氧气、氮气、水蒸气、二氧化碳等),确保氢气的质
  • go执行java -jar 完成DSA私钥解析并签名 DavidSoCool javajargolang
    起因，最近使用go对接百度联盟api需要使用到DSA私钥完成签名过程，在百度提供的代码示例里面没有go代码的支持，示例中仅有php、python2和3、java的代码，网上找了半天发现go中对DSA私钥解析支持不友好，然后决定使用在java中完成签名计算过程，生成可执行jar后由外部传入参数获取签名数据。百度联盟api文档说明：1）权限开通后，登录百度联盟媒体平台（union.baidu.com）
  • leetcode-sql数据库面试题冲刺（高频SQL五十题） 我想吃烤肉肉 sql测试面试数据库leetcodesql
    题目：2356.每位教师所教授的科目种类的数量表:Teacher±------------±-----+|ColumnName|Type|±------------±-----+|teacher_id|int||subject_id|int||dept_id|int|±------------±-----+在SQL中，(subject_id,dept_id)是该表的主键。该表中的每一行都表示带有t
  • 储能变流器硬件工程师能力提升路径 DOMINICHZL 硬件能源硬件工程
    储能变流器（PCS，PowerConversionSystem）作为储能系统的核心部件，其硬件设计涉及电力电子、控制理论、热管理、电磁兼容（EMC）等多领域技术。以下是储能变流器行业硬件工程师需要具备的核心能力，以及技术提升的路径建议：一、储能变流器硬件工程师的核心能力电力电子基础能力拓扑设计与分析：熟悉Boost/Buck、双向DC-DC、三相逆变器、LLC谐振变换器等拓扑结构，并能根据效率、成
  • Redis缓存穿透、雪崩、击穿的解决方案 Fanxt_Ja 缓存redis数据库javaspringcloudintellij-idea
    在大型业务系统或用户活跃量较大的环境中，用户往往对某些数据的访问量会非常大，为了保护数据库而引入了缓存Redis，但是其也会出现一些问题，而导致严重的后果，比如缓存穿透、缓存雪崩、缓存击穿，下面我将针对这几个问题给出解决方案。1.缓存穿透缓存穿透发生的原因就是“用户”访问一个缓存中不存在，数据库中也不存在的数据。当这种请求量非常大时，就会对数据库造成非常大的压力。为了解决这个问题，通常有两种解决方
  • 大数据技术生态圈：Hadoop、Hive、Spark的区别和关系 雨中徜徉的思绪漫溢 大数据hadoophive
    大数据技术生态圈：Hadoop、Hive、Spark的区别和关系在大数据领域中，Hadoop、Hive和Spark是三个常用的开源技术，它们在大数据处理和分析方面发挥着重要作用。虽然它们都是为了处理大规模数据集而设计的，但它们在功能和使用方式上存在一些区别。本文将详细介绍Hadoop、Hive和Spark的区别和关系，并提供相应的源代码示例。Hadoop：Hadoop是一个用于分布式存储和处理大规
  • 基于Java的智能家居设计：模块化智能插座的设计与实现 AGI大模型与大数据研究院 DeepSeekR1&大数据AI人工智能javapythonjavascriptkotlingolang架构人工智能
    智能家居,Java,模块化设计,智能插座,物联网,MQTT,RESTfulAPI1.背景介绍智能家居已成为现代生活的重要趋势，它通过将各种智能设备连接到网络，实现对家居环境的自动化控制和远程管理。智能插座作为智能家居的基础设备之一，能够远程控制电器开关，监测电器功耗，并根据用户需求实现定时开关等功能。传统的智能插座往往采用单片机或嵌入式系统，功能相对单一，难以扩展和升级。随着物联网技术的快速发展，
  • 【30天玩转python】项目实战：从零开始开发一个Python项目 爱技术的小伙子 30天玩转pythonlinux运维服务器
    项目实战：从零开始开发一个Python项目在学习Python的过程中，开发一个完整的项目是非常重要的实战练习。它不仅能够帮助你巩固所学的知识，还能提高实际编程能力。本文将带领你从零开始开发一个Python项目，介绍从项目规划、环境搭建、代码实现到项目发布的完整过程。我们将以一个简单的“任务管理系统”为例，逐步讲解如何构建、测试和优化这个项目。1.项目规划1.1项目简介我们将开发一个基于命令行的任务
  • 决策树的核心思想 code 旭 AI人工智能学习决策树算法机器学习
    一、决策树的核心思想本质：通过特征判断对数据集递归划分，形成树形结构。目标：生成一组“若-则”规则，使数据划分到叶子节点时尽可能纯净。关键流程：特征选择：选择最佳分裂特征（如信息增益最大）。节点分裂：根据特征取值划分子节点。停止条件：节点样本纯度过高或样本数过少时终止。二、数学公式与理论1.信息熵（InformationEntropy）衡量数据集的混乱程度：H(D)=−∑k=1Kpklog⁡2pk
  • 本地部署Hive集群 克里斯蒂亚诺罗纳尔多阿维罗 hivehadoop数据仓库
    规划服务机器Hive本体部署在Node1元数据服务所需的关系型数据库(MYSQL)部署在Node1安装MYSQL数据库#更新密钥rpm--importhttps://repo.mysql.com/RPM-GPG-KEY-mysql-2022#安装Mysqlyum库rpm-Uvhhttp://repo.mysql.com//mysql57-community-release-el7-7.noarch
  • 卡尔曼滤波算法从理论到实践：在STM32中的嵌入式实现 DOMINICHZL STM32算法stm32嵌入式硬件
    摘要：卡尔曼滤波（KalmanFilter）是传感器数据融合领域的经典算法，在姿态解算、导航定位等嵌入式场景中广泛应用。本文将从公式推导、代码实现、参数调试三个维度深入解析卡尔曼滤波，并给出基于STM32硬件的完整工程案例。一、卡尔曼滤波核心思想1.1什么是卡尔曼滤波？卡尔曼滤波是一种最优递归估计算法，通过融合预测值（系统模型）与观测值（传感器数据），在噪声干扰环境下实现对系统状态的动态估计。其核
  • IEC104协议解析 上海研博数据 后端
    一、IEC104协议核心特性与应用场景IEC104（IEC60870-5-104）是电力系统中广泛使用的通信协议，基于TCP/IP实现主从站（SCADA与RTU/变电站设备）的实时数据交互‌。其核心功能包括：1.四遥操作‌：‌遥测‌（YC）：采集电压、电流等模拟量数据（如类型标识0x0D）‌。遥信‌（YX）：监测开关状态等数字量信号（如M_SP_NA_1单点遥信）‌。遥控‌（YK）：远程控制断路器
  • flink+kafka实现流数据处理学习 上海研博数据 java
    在应用系统的建设过程中，通常都会遇到需要实时处理数据的场景，处理实时数据的框架有很多，本文将以一个示例来介绍flink+kafka在流数据处理中的应用。1、概念介绍flink：是一个分布式、高可用、高可靠的大数据处理引擎，提供了一种高效、可靠、可扩展的方式来处理和分析实时数据。kafka：是用于构建实时数据管道和流应用程序并具有横向扩展，容错，wickedfast（变态快）等优点的一种消息中间件。
  • Elasticsearch 入门教学：从零开始掌握分布式搜索引擎 格子先生Lab 搜索引擎elasticsearch分布式
    引言Elasticsearch是一个开源的分布式搜索引擎，基于ApacheLucene构建，能够实现近乎实时的数据搜索和分析。它广泛应用于日志分析、全文搜索、数据可视化等场景。本文将带你从零开始学习Elasticsearch，掌握其基本概念、安装配置、数据操作及搜索功能。1.Elasticsearch简介1.1什么是Elasticsearch？Elasticsearch是一个分布式的RESTful
  • MySql索引使用 沐千熏 mysql数据库
    索引类型#主键索引：PRIMARY这设立主键后数据库自动建立索引，InnoDB为聚簇索引，主键索引列不能为空（NUll）；#唯一索引：UNIQUE索引列的值必须唯一。可以为空值，但是必须只有一个；#普通索引（组合索引）：NORMAL也称为非唯一索引，允许重复值和NULL值。一个索引可以包含多个列，多个列共同组成一个复杂的索引；#全文索引：FULLTEXTFullText（MySQL5.7之前，只有
  • 【LLM】预训练的具体流程 FOUR_A LLMpython人工智能深度学习大模型
    分词器训练预训练模型：就像你已经学会了一些基础知识的“大脑”，我们可以在这个基础上继续学习新东西。比如，有些模型已经学会了英语，但中文学得不够好。中文预训练：为了让这个“大脑”更好地理解中文，我们需要用大量的中文数据继续训练它。分词器（Tokenizer）：它的作用是把一句话拆分成一个个小单元（比如词语或字）。比如，“我喜欢学习”会被拆成“我/喜欢/学习”。这些拆分后的单元会被转换成数字，方便模型
  • 大数据面试之路 (一) 数据倾斜 愿与狸花过一生 大数据面试职场和发展
    记录大数据面试历程数据倾斜大数据岗位，数据倾斜面试必问的一个问题。一、数据倾斜的表现与原因表现某个或某几个Task执行时间过长，其他Task快速完成。Spark/MapReduce作业卡在某个阶段（如reduce阶段），日志显示少数Task处理大量数据。资源利用率不均衡（如CPU、内存集中在某些节点）。常见场景Key分布不均：如某些Key对应的数据量极大（如用户ID为空的记录、热点事件）。数据分区
  • ZooKeeper学习总结（1）——ZooKeeper入门介绍 一杯甜酒 ZooKeeper学习总结Zookeeper
    1.概述Zookeeper是Hadoop的一个子项目，它是分布式系统中的协调系统，可提供的服务主要有：配置服务、名字服务、分布式同步、组服务等。它有如下的一些特点：简单Zookeeper的核心是一个精简的文件系统，它支持一些简单的操作和一些抽象操作，例如，排序和通知。丰富Zookeeper的原语操作是很丰富的，可实现一些协调数据结构和协议。例如，分布式队列、分布式锁和一组同级别节点中的“领导者选举
  • 个人NAS方案，终端字符界面浏览器 耶耶耶耶耶~ 其它NAS
    文章目录前言需求分析Linux配置smb服务-Linux服务端配置-windows客户端配置Linux安装流媒体服务在终端界面中浏览网页references前言个人nas需要满足的需求：可以通过浏览器访问nas中的文件、图片、视频支持像访问本地分区一样访问nas，对应用程序来讲文件在nas和本地是透明的需求分析硬件方面可用arm开发版+外置大硬盘软件方面采用Linux系统+一系列服务程序实现总结一
  • 基本数据类型和引用类型的初始值 3213213333332132 java基础
    package com.array; /** * @Description 测试初始值 * @author FuJianyong * 2015-1-22上午10:31:53 */ public class ArrayTest { ArrayTest at; String str; byte bt; short s; int i; long
  • 摘抄笔记--《编写高质量代码：改善Java程序的151个建议》 白糖_ 高质量代码
            记得3年前刚到公司，同桌同事见我无事可做就借我看《编写高质量代码：改善Java程序的151个建议》这本书，当时看了几页没上心就没研究了。到上个月在公司偶然看到，于是乎又找来看看，我的天，真是非常多的干货，对于我这种静不下心的人真是帮助莫大呀。           看完整本书，也记了不少笔记
  • 【备忘】Django 常用命令及最佳实践 dongwei_6688 django
    注意：本文基于 Django 1.8.2 版本   生成数据库迁移脚本（python 脚本） python manage.py makemigrations polls  说明：polls 是你的应用名字，运行该命令时需要根据你的应用名字进行调整   查看该次迁移需要执行的 SQL 语句（只查看语句，并不应用到数据库上）： python manage.p
  • 阶乘算法之一N! 末尾有多少个零 周凡杨 java算法阶乘面试效率
                                     &n
  • spring注入servlet g21121 Spring注入
    传统的配置方法是无法将bean或属性直接注入到servlet中的，配置代理servlet亦比较麻烦，这里其实有比较简单的方法，其实就是在servlet的init()方法中加入要注入的内容： ServletContext application = getServletContext(); WebApplicationContext wac = WebApplicationContextUtil
  • Jenkins 命令行操作说明文档 510888780 centos
    假设Jenkins的URL为http://22.11.140.38:9080/jenkins/ 基本的格式为 java 基本的格式为 java -jar jenkins-cli.jar [-s JENKINS_URL] command [options][args] 下面具体介绍各个命令的作用及基本使用方法 1. &nb
  • UnicodeBlock检测中文用法 布衣凌宇 UnicodeBlock
    /**  * 判断输入的是汉字  */ public static boolean isChinese(char c) {        Character.UnicodeBlock ub = Character.UnicodeBlock.of(c);    
  • java下实现调用oracle的存储过程和函数 aijuans javaorale
    1.创建表：STOCK_PRICES     2.插入测试数据：     3.建立一个返回游标：  PKG_PUB_UTILS   4.创建和存储过程：P_GET_PRICE     5.创建函数：   6.JAVA调用存储过程返回结果集 JDBCoracle10G_INVO
  • Velocity Toolbox antlove 模板toolboxvelocity
    velocity.VelocityUtil package velocity; import org.apache.velocity.Template; import org.apache.velocity.app.Velocity; import org.apache.velocity.app.VelocityEngine; import org.apache.velocity.c
  • JAVA正则表达式匹配基础 百合不是茶 java正则表达式的匹配
      正则表达式;提高程序的性能,简化代码,提高代码的可读性,简化对字符串的操作   正则表达式的用途; 字符串的匹配 字符串的分割 字符串的查找 字符串的替换       正则表达式的验证语法     [a] //[]表示这个字符只出现一次 ,[a] 表示a只出现一
  • 是否使用EL表达式的配置 bijian1013 jspweb.xmlELEasyTemplate
            今天在开发过程中发现一个细节问题，由于前端采用EasyTemplate模板方法实现数据展示，但老是不能正常显示出来。后来发现竟是EL将我的EasyTemplate的${...}解释执行了，导致我的模板不能正常展示后台数据。         网
  • 精通Oracle10编程SQL(1-3)PLSQL基础 bijian1013 oracle数据库plsql
    --只包含执行部分的PL/SQL块 --set serveroutput off begin dbms_output.put_line('Hello,everyone!'); end; select * from emp; --包含定义部分和执行部分的PL/SQL块 declare v_ename varchar2(5); begin select
  • 【Nginx三】Nginx作为反向代理服务器 bit1129 nginx
    Nginx一个常用的功能是作为代理服务器。代理服务器通常完成如下的功能：   接受客户端请求 将请求转发给被代理的服务器 从被代理的服务器获得响应结果 把响应结果返回给客户端 实例 本文把Nginx配置成一个简单的代理服务器 对于静态的html和图片，直接从Nginx获取 对于动态的页面，例如JSP或者Servlet，Nginx则将请求转发给Res
  • Plugin execution not covered by lifecycle configuration: org.apache.maven.plugin blackproof maven报错
    转：http://stackoverflow.com/questions/6352208/how-to-solve-plugin-execution-not-covered-by-lifecycle-configuration-for-sprin   maven报错： Plugin execution not covered by lifecycle configuration:
  • 发布docker程序到marathon ronin47 docker 发布应用
    1 发布docker程序到marathon 1.1 搭建私有docker registry 1.1.1 安装docker regisry docker pull docker-registry docker run -t -p 5000:5000 docker-registry 下载docker镜像并发布到私有registry docker pull consol/tomcat-8.0
  • java-57-用两个栈实现队列&&用两个队列实现一个栈 bylijinnan java
    import java.util.ArrayList; import java.util.List; import java.util.Stack; /* * Q 57 用两个栈实现队列 */ public class QueueImplementByTwoStacks { private Stack<Integer> stack1; pr
  • Nginx配置性能优化 cfyme nginx
    转载地址：http://blog.csdn.net/xifeijian/article/details/20956605   大多数的Nginx安装指南告诉你如下基础知识——通过apt-get安装，修改这里或那里的几行配置，好了，你已经有了一个Web服务器了。而且，在大多数情况下，一个常规安装的nginx对你的网站来说已经能很好地工作了。然而，如果你真的想挤压出Nginx的性能，你必
  • [JAVA图形图像]JAVA体系需要稳扎稳打,逐步推进图像图形处理技术 comsci java
         对图形图像进行精确处理，需要大量的数学工具，即使是从底层硬件模拟层开始设计，也离不开大量的数学工具包，因为我认为，JAVA语言体系在图形图像处理模块上面的研发工作，需要从开发一些基础的，类似实时数学函数构造器和解析器的软件包入手，而不是急于利用第三方代码工具来实现一个不严格的图形图像处理软件......   &nb
  • MonkeyRunner的使用 dai_lm androidMonkeyRunner
    要使用MonkeyRunner，就要学习使用Python，哎 先抄一段官方doc里的代码 作用是启动一个程序（应该是启动程序默认的Activity），然后按MENU键，并截屏 # Imports the monkeyrunner modules used by this program from com.android.monkeyrunner import MonkeyRun
  • Hadoop-- 海量文件的分布式计算处理方案 datamachine mapreducehadoop分布式计算
    csdn的一个关于hadoop的分布式处理方案，存档。 原帖：http://blog.csdn.net/calvinxiu/article/details/1506112。     Hadoop 是Google MapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式，让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同ja
  • 以資料庫驗證登入 dcj3sjt126com yii
    以資料庫驗證登入 由於 Yii 內定的原始框架程式, 採用綁定在UserIdentity.php 的 demo 與 admin 帳號密碼:    public function authenticate()    {        $users=array( &nbs
  • github做webhooks：[2]php版本自动触发更新 dcj3sjt126com githubgitwebhooks
    上次已经说过了如何在github控制面板做查看url的返回信息了。这次就到了直接贴钩子代码的时候了。 工具/原料 git github 方法/步骤   在github的setting里面的webhooks里把我们的url地址填进去。   钩子更新的代码如下： error_reportin
  • Eos开发常用表达式 蕃薯耀 Eos开发Eos入门Eos开发常用表达式
    Eos开发常用表达式 >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> 蕃薯耀 2014年8月18日 15:03:35 星期一     &
  • SpringSecurity3.X--SpEL 表达式 hanqunfeng SpringSecurity
    使用 Spring 表达式语言配置访问控制，要实现这一功能的直接方式是在<http>配置元素上添加 use-expressions 属性：   <http auto-config="true" use-expressions="true"> 这样就会在投票器中自动增加一个投票器：org.springframework
  • Redis vs Memcache IXHONG redis
    1. Redis中，并不是所有的数据都一直存储在内存中的，这是和Memcached相比一个最大的区别。 2. Redis不仅仅支持简单的k/v类型的数据，同时还提供list，set，hash等数据结构的存储。 3. Redis支持数据的备份，即master-slave模式的数据备份。 4. Redis支持数据的持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载进行使用。 Red
  • Python - 装饰器使用过程中的误区解读 kvhur JavaScriptjqueryhtml5css
    大家都知道装饰器是一个很著名的设计模式，经常被用于AOP(面向切面编程)的场景，较为经典的有插入日志，性能测试，事务处理，Web权限校验， Cache等。 原文链接：http://www.gbtags.com/gb/share/5563.htm Python语言本身提供了装饰器语法（@），典型的装饰器实现如下：   @function_wrapper de
  • 架构师之mybatis-----update 带case when 针对多种情况更新 nannan408 case when
    1.前言.    如题. 2. 代码.   <update id="batchUpdate" parameterType="java.util.List"> <foreach collection="list" item="list" index=&
  • Algorithm算法视频教程 栏目记者 Algorithm算法
    课程：Algorithm算法视频教程 百度网盘下载地址： http://pan.baidu.com/s/1qWFjjQW 密码: 2mji 程序写的好不好,还得看算法屌不屌！Algorithm算法博大精深。 一、课程内容： 课时1、算法的基本概念 + Sequential search 课时2、Binary search 课时3、Hash table 课时4、Algor
  • C语言算法之冒泡排序 qiufeihu c算法
    任意输入10个数字由小到大进行排序。 代码： #include <stdio.h> int main() { int i,j,t,a[11]; /*定义变量及数组为基本类型*/ for(i = 1;i < 11;i++){ scanf("%d",&a[i]); /*从键盘中输入10个数*/ } for
  • JSP异常处理 wyzuomumu Webjsp
    1.在可能发生异常的网页中通过指令将HTTP请求转发给另一个专门处理异常的网页中: <%@ page errorPage="errors.jsp"%>   2.在处理异常的网页中做如下声明： errors.jsp: <%@ page isErrorPage="true"%>，这样设置完后就可以在网页中直接访问exc
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他