Kevin崔
Kevin崔

ETL公用模块设计（MongoDB + spark + Python）

--数据库架构师 之路

场景： 通过ETL流程收集 ，不同的数据源 数据，并放到ods层里。

技术选型：MongoDB + spark + Python

主要考虑行业的复杂度，还有不同的数据来源数据（包含 txt，jpg，excel，rmdb）

后期分析所需要的开发资源，内存计算，有效的发挥DBA 脚本能力。

 

设计：整体通过配置中心的 进行任务调度，可能有人会问题为什么不用到一些 调度插件像airflow 等等。

主要考虑到跨服务器远程抽取，远程插入 等操作。一般这样的插件都需要服务器之间的ssh认证（客户服务器是不可允许的）。

说明：etl设计里核心部分 是配置中心和清洗规则接口的定义

配置中心：提供原和目标 数据库信息，对应的表 ，columns 信息，还有清洗规则，schedule 调度配置

代码：python pandas 集合处理

逻辑：数据修复过程（暂时不考虑）

分析：pandas 分析 留到后面共享

设计如下：

ETL公用模块设计（MongoDB + spark + Python）_第1张图片

你可能感兴趣的:(数据库架构)

  • InfluxDB 3 Core 持久化机制深度解析：高可靠实时数据引擎的设计哲学与工业实践 梦想画家 数据库InfluxDB分层持久化架构
    本文深入拆解InfluxDB3Core的数据持久化架构，涵盖写入流程、故障恢复、存储引擎设计，并结合物联网、金融监控等场景分析其高可靠性实现逻辑。通过对比传统时序数据库架构与性能实测数据，揭示新一代引擎如何平衡实时性与数据安全性，为大规模时序数据处理提供生产级保障。一、持久化核心机制：从写入到落盘的全链路保护1.分层持久化架构InfluxDB3Core采用三级数据保护策略：写入请求→内存缓冲区(V
  • 深入了解数据库领域行式存储的架构设计 数据库管理艺术 数据库专家之路大数据AI人工智能MCP&AgentSQL实战数据库ai
    深入了解数据库领域行式存储的架构设计关键词：行式存储、数据库架构、OLTP、存储引擎、行记录格式摘要：本文将以“行式存储”为核心，从生活场景切入，逐步拆解数据库行式存储的底层架构设计。我们将通过“图书馆藏书”的趣味比喻、具体代码示例和真实数据库（如MySQLInnoDB）的实践案例，深入理解行式存储的核心原理、适用场景及未来趋势，帮助读者建立对数据库存储架构的系统认知。背景介绍目的和范围数据库是现
  • 技术调研：时序数据库（一） myskybeyond 时序数据库时序数据库数据库
    选择时序数据库时，选择当下主流的解决方案。目前主流的开源解决方案有InfluxDB、TDengine和TimescaleDB。下文从多个维度对比分析，最终根据需求做出选型决策。1.核心架构与设计理念数据库架构特点核心优势InfluxDB-专为时序数据设计的分布式数据库-基于时间线（TimeSeries）模型-开源版（OSS）与商业版（Cloud/Enterprise）功能差异大高写入吞吐量、原生支
  • 一招搞定网页用户评论查询！SQL实战大全，从排序到分页轻松掌握
    引言揭开评论系统的数据面纱当你在网页上看到一条条精彩评论时，是否好奇这些数据如何存储和管理？事实上，一个完整的评论系统背后是精心设计的数据库架构。用户评论通常被拆解存储在多个关联表中：comments表存储核心内容（评论ID、内容、时间）users表存储用户信息（用户ID、用户名、头像）posts表关联所属文章（文章ID、标题）comment_meta表存储附加数据（点赞数、举报状态等）这种分表设
  • YashanDB数据库的未来发展趋势 数据库
    如何优化查询速度？这一问题一直以来都是数据库技术发展的核心驱动力。随着数据量的激增和应用场景的多样化，传统单一节点的数据库架构无法满足企业对性能和可用性的需求，因此，探讨新一代数据库，如YashanDB的未来发展趋势是必要的。这不仅影响着数据库的设计和选择，也间接决定了企业在数据管理上的灵活性和创新能力。YashanDB的体系架构优势YashanDB通过创新的体系架构设计，支持多种部署形态，包括单
  • Oracle数据库知识点总结 Oracle入门教程学习掌握 小粥学姐 Oracle教程学习重点面试安装
    Oracle数据库知识点总结章节目录一、Oracle数据库概述二、Oracle数据库架构与组件三、SQL语言基础四、PL/SQL编程五、数据库对象管理六、数据备份与恢复七、性能优化与安全管理八、如何学习Oracle数据库九、资源简介一、Oracle数据库概述重点详细内容知识点总结：Oracle数据库是一种关系型数据库管理系统（RDBMS），由甲骨文公司开发，广泛用于企业级应用和大型数据中心。它支持
  • YashanDB分布式架构解析，打造高可用数据库系统 数据库
    在现代数据库技术领域，随着数据量的急剧增长以及对应用性能和可靠性的苛刻要求，数据库系统在可用性、性能和扩展性等方面承受着巨大的压力。系统宕机、数据丢失、查询延迟等一系列问题成为普遍的挑战。要应对这些挑战，设计高可用且高性能的数据库架构显得至关重要。本文将深入探讨YashanDB的分布式架构，揭示其如何通过高效的设计与实施，实现一个高可用的数据库系统。本文主要面向开发人员和数据库管理员，旨在增强对Y
  • 数据驱动下的泛互行业创新与变革，及数据库的新机遇 数据库
    本文摘自《OceanBase社区版在泛互场景的应用案例研究》电子书，感兴趣的朋友欢迎打开链接观看。首先为大家推荐这个OceanBase开源负责人老纪的公众号“老纪的技术唠嗑局”，会持续更新和#数据库、#AI、#技术架构相关的各种技术内容。欢迎感兴趣的朋友们关注！作者：刘华阳，现任泛互行业SaaS领域企业的数据库架构师。拥有20年数据库相关工作经验：从传统行业到泛互行业，涉及大型国企，知名股份制企业
  • Redis与MongoDB整合：多模型数据库架构设计 数据库管理艺术 redismongodb数据库架构ai
    Redis与MongoDB整合：多模型数据库架构设计——从理论到实践的深度解析关键词多模型数据库、内存键值存储、文档数据库、缓存一致性、数据分层架构、混合事务处理、分布式系统设计摘要本文系统探讨Redis（内存键值数据库）与MongoDB（文档数据库）的整合架构设计，覆盖从基础概念到高级实践的全生命周期。通过第一性原理推导数据访问模式的本质需求，构建层次化的技术解释框架（专家级架构设计→中级实现策
  • SQL SERVER 数据库迁移的三种方法! 杜哥无敌 SQLSERVER数据库
    要将SQLServer从研发环境的把数据库结构（不含数据）迁移至生产环境，可通过以下几种方法实现。以下是具体操作步骤及适用场景：⚙️一、使用SSMS图形界面生成结构脚本（推荐新手）通过SQLServerManagementStudio的生成脚本向导，仅导出数据库架构：连接测试库：在SSMS对象资源管理器中右键点击测试库→选择“任务”→“生成脚本”。选择对象：在向导中勾选“整个数据库及所有对象”或手
  • 云原生数据库架构设计指南——基于YashanDB的方案解析 数据库
    随着云计算的普及和应用需求的快速增长，传统数据库架构面临性能瓶颈、扩展受限以及数据一致性保障复杂等问题。云原生数据库作为新一代数据管理解决方案，其设计理念旨在充分利用云计算资源的弹性与分布式特性，实现高可用、高性能以及强一致性的数据库服务。本文面向开发人员和数据库管理员，结合YashanDB的核心架构和技术优势，系统性地解析云原生数据库架构设计的关键技术和实践方法，指导用户合理规划和部署高效的云原
  • 怎样做轻松迁移至YashanDB数据库避免数据丢失 数据库
    在现代应用中，数据管理的高效与安全性是确保业务连续性和决策支持的关键。然而，数据库迁移过程中的数据丢失问题始终存在。特别是在将数据迁移至新的数据库系统时，若没有合适的策略和技术支持，将可能导致严重的后果。因此，了解如何在迁移至YashanDB时确保数据完整性和可用性显得尤为重要。核心技术点规划迁移策略在开始迁移之前，制定一份全面的迁移计划是至关重要的。规划应包括目标数据库架构的理解、现有数据的结构
  • 如何应对YashanDB数据库中的数据一致性挑战 数据库
    在数据库管理中，数据一致性是确保数据准确、可靠和有效的重要要求。在YashanDB这样复杂的数据库架构中，维护数据的一致性尤其具有挑战性。这涉及到多个实例间的数据同步、事务管理及高可用操作等方面。因此，如何有效应对数据一致性挑战是数据库管理者必须关注的关键问题。数据一致性的基本概念数据一致性指的是在多个用户或系统操作下，确保数据库中的数据保持统一和符合预定义标准。这意味着在数据库任何时刻，所有用户
  • Oracle海量数据库架构设计与Hadoop集成实战 宁南山
    本文还有配套的精品资源，点击获取简介：Oracle海量数据库架构设计旨在为处理大规模数据的大型企业或组织提供解决方案，强调Oracle数据库的稳定性和可扩展性。资料集合包括理论讲解、Hadoop教程、PPT和代码示例，帮助学习者构建和优化数据库系统。涵盖核心组件、分布式数据库解决方案（如RAC和OGG），以及与Hadoop结合实现数据分析和ETL流程。学习分区技术、数据导入导出、SQL优化等实战操
  • JAVASCRIPT 前端数据库-V5--仙盟数据库架构-—-—仙盟创梦IDE 未来之窗软件服务 仙盟创梦IDE数据库数据库架构数据库东方仙盟数据库仙盟创梦IDE东方仙盟
    在v1版本中我们讲述了基础版的应用JAVASCRIPT前端数据库-V1--仙盟数据库架构-—-—仙盟创梦IDE-CSDN博客接下载我们做一个更复杂的的其他场景由于，V1查询字段必须id接下来我们修改了了代码JAVASCRIPT前端数据库-V2--仙盟数据库架构-—-—仙盟创梦IDE-CSDN博客由于，V2只能查询1个字段接下来我们修改了了代码JAVASCRIPT前端数据库-V3--仙盟数据库架构-
  • 深入解析主流数据库体系架构：从关系型到云原生 洋洋喜欢喝水 数据库架构云原生
    数据库是现代信息系统的核心组件，其体系架构设计直接影响性能、扩展性和可靠性。本文将从传统关系型数据库到新兴云原生数据库，系统解析主流数据库的架构特点及适用场景。目录一、关系型数据库（RDBMS）架构典型代表：MySQL、Oracle、PostgreSQL二、NoSQL数据库架构典型代表：MongoDB（文档型）、Cassandra（宽列存储）、Redis（键值型）三、分布式数据库（NewSQL）架
  • 数据库mysql服务器性能分析及优化 魔都性能自动化AuricChan 性能测试
    一个成熟的数据库架构并不是一开始设计就具备高可用、高伸缩等特性的，它是随着用户量的增加，基础架构才逐渐完善。这篇文章主要谈谈MySQL数据库在发展周期中所面临的问题及优化方案，暂且抛开前端应用不说，大致分为以下五个阶段：阶段一：数据库表设计项目立项后，开发部门根据产品部门需求开发项目。开发工程师在开发项目初期会对表结构设计。对于数据库来说，表结构设计很重要，如果设计不当，会直接影响到用户访问网站速
  • IBM DB2实现读写分离 深海科技服务 IBM产品技术运维技术服务器运维数据库db2ibm
    IBMDB2可以通过类似于MySQL的读写分离机制来优化性能，尤其是在处理高负载或高并发的环境中。不过，DB2的方式和MySQL的实现略有不同，具体取决于数据库架构和使用的高可用性技术。1.DB2的读写分离DB2确实支持通过读写分离来优化性能。常见的实现方式是利用HADR（高可用性灾难恢复）或复制功能，在主数据库和备数据库之间进行负载均衡。1.1HADR（高可用性灾难恢复）在HADR配置中，主数据
  • Debezium分享系列之：Debezium2.6稳定版本Oracle数据库Debezium Connector的属性参数详解 快乐骑行^_^ debeziumDebezium系列Debezium2.6稳定版本Oracle数据库DebeziumConnector属性参数详解
    Debezium分享系列之：Debezium2.6稳定版本Oracle数据库DebeziumConnector的属性参数详解一、连接器属性二、必需的DebeziumOracle连接器配置属性三、DebeziumOracle连接器数据库架构历史配置属性四、用于配置生产者和消费者客户端的传递数据库架构历史属性五、Debezium连接器Kafka信号配置属性六、Debezium连接器传递信号Kafka消
  • 中小企业MES系统数据库设计 方二华 #MES数据库postgresql
    版本：V1.0日期：2025年5月2日一、数据库架构概览1.1数据库选型数据类型数据库类型技术选型用途时序数据（传感器读数）时序数据库TimescaleDB存储设备实时监控数据结构化业务数据关系型数据库PostgreSQL工单、质量、设备等核心业务数据非结构化数据对象存储MinIO质检图片、SOP文档等实时缓存内存数据库Redis看板数据、会话状态二、核心表结构设计2.1生产执行模块工单表(wor
  • Python 解析数据库 Sharding 策略的应用场景 未知拾遗 数据库
    ```htmlPython解析数据库Sharding策略的应用场景Python解析数据库Sharding策略的应用场景在当今大数据时代，随着业务的不断扩展和数据量的急剧增长，传统的单体数据库架构已经难以满足高性能、高可用性和可扩展性的需求。为了解决这一问题，数据库Sharding（分片）策略应运而生，并在实际应用中得到了广泛的应用。什么是数据库Sharding？数据库Sharding是一种将大型数
  • 解锁区块链潜能——设计支持智能合约的MySQL数据库架构 墨夶 数据库学习资料1区块链智能合约mysql
    随着区块链技术从概念验证走向实际应用，越来越多的企业开始探索如何将这一创新技术融入自身业务流程中。特别是在金融、供应链管理和版权保护等领域，智能合约作为区块链的核心组件之一，正逐渐成为提升效率、降低成本的关键工具。然而，要想充分发挥智能合约的优势，背后必须有一套高效可靠的数据库系统作为支撑。本文将详细介绍如何基于MySQL设计一个既符合区块链特性又能满足传统关系型数据库需求的智能合约存储方案，帮助
  • 初探 YashanDB 共享集群：重新定义高可用数据库的新范式 数据库
    在数据库国产化加速的今天，如何在高并发、高可用、高扩展的背景下，构建一套真正面向未来的数据库架构?YashanDB交出的答卷是——共享集群（SharedCluster）架构。什么是YashanDB共享集群？YashanDB共享集群，是基于“单库多实例”设计的原生多活数据库系统，多个数据库实例可同时读写同一份数据，并且严格保障跨实例的数据一致性。用户可以连接任意节点访问数据库资源，实现更高的可用性和
  • MySQL之可扩展性理论与实战：从定律模型到架构设计 一杯年华@编程空间 算法精讲mysql数据库
    MySQL之可扩展性理论与实战：从定律模型到架构设计一、前言在数据爆炸式增长的今天，MySQL数据库的可扩展性成为系统架构设计的核心命题。本文旨在与技术爱好者共同探讨可扩展性的理论基础、模型框架及实战策略，通过解析文档中的核心概念，结合通俗案例与图表总结，帮助读者理解如何让MySQL在资源增加时实现高效能扩展。文中将融入Java代码示例，兼顾理论深度与工程实践，助力构建弹性数据库架构。二、可扩展性
  • 0基础可以考MySQL OCP么？备考时间需要多久？ 小白考证进阶中 mysql开闭原则数据库
    最近被问爆的“0基础能不能考MySQLOCP”“备考要多久”终于来答疑啦！作为过来人，负责任地说：0基础完全能冲！0基础真的能考MySQLOCP？很多姐妹担心自己是数据库小白，连SQL都没摸过，根本考不过❌但其实官方根本没设门槛！考试也都是选择题，没有操作题，根本没有我们想象中的那么难！不过实话实说，0基础确实比有经验的人难些，要从SQL语法、数据库架构、Linux基础这些最底层的知识学起。但换个
  • 国产分布式数据库架构学习 Debug_TheWorld 数据库学习数据库
    一、核心架构原理与设计哲学1.OceanBase（蚂蚁集团）架构模型：原生分布式架构，基于Paxos协议的多副本强一致性模型核心组件：分区（Partition）：数据按逻辑分片，每个分片3副本（主备分离）RootService：全局元数据管理与负载均衡中心OBProxy：智能路由代理，实现无感故障切换存储引擎：LSM-Tree优化（MemTable+SSTable），行列混合存储支持HTAP设计目
  • Oracle 深入学习 Part 4: Creating an Oracle Database(创建数据库) xuanloyer oracle深入学习数据库oracle学习
    1.创建数据库的前提条件规划和组织数据库数据库的规划与组织是数据库系统管理的首要步骤，涉及明确需求、设计架构和选择合适的数据库类型等内容。以下为具体步骤和分类整理：规划数据库的主要步骤定义数据库的目的：明确数据库的用途，例如支持事务处理、数据分析、混合型负载等。定义数据库的类型：根据业务需求选择适合的数据库类型（事务型、分析型等）。制定数据库架构设计：确定表结构、字段、索引、关系，以及是否需要分布
  • 【KWDB 创作者计划】_在MyBatis Plus中，结合KWDB数据库的多模数据支持，实现时序型和关系型数据的联合查询与处理 暮乘白帝过重山 数据库mybatis时序型和关系型数据联合查询KWDB数据库
    引言在工业物联网、智能设备监控等场景中，数据往往呈现“结构化关系数据（如设备档案）”与“时序序列数据（如传感器指标）”的混合形态。传统数据库架构需通过分库分表分别存储两类数据，导致联合查询时面临跨库JOIN性能损耗、数据一致性维护复杂等问题。KWDB作为新一代多模数据库，凭借对关系型、时序型等多种数据模型的原生支持，结合MyBatisPlus的生态兼容性，为复合数据场景提供了高效的整合方案。本文将
  • MySQL 主从复制：架构、配置、优化深度剖析 软件职业规划 mysql架构数据库
    一、MySQL主从复制概述MySQL主从复制是一种常见的数据库架构设计，它通过将数据从主数据库（Master）复制到一个或多个从数据库（Slave）来实现数据的冗余备份、读写分离等目标。主从复制基于二进制日志（BinaryLog，简称Binlog）来实现数据的同步。主数据库在执行数据变更操作（如INSERT、UPDATE、DELETE等）时，会将这些操作记录到Binlog中。从数据库会连接到主数据
  • 实践中如何优化 MySQL？思维导图 代码示例（java 架构) 用心去追梦 mysqljava架构
    优化MySQL数据库是一个综合性的过程，涉及数据库设计、查询优化、索引管理、硬件资源利用等多个方面。以下是实践中优化MySQL的一系列策略和方法，以及如何在Java架构中实现这些优化措施。实践中的MySQL优化策略数据库架构设计规范化与反规范化：根据应用需求平衡数据冗余与查询效率。分库分表（Sharding）：将大表或高访问频率的数据分散到多个数据库实例中。读写分离：使用主从复制机制，减轻主服务器
  • 对于规范和实现，你会混淆吗？ yangshangchuan HotSpot
    昨晚和朋友聊天，喝了点咖啡，由于我经常喝茶，很长时间没喝咖啡了，所以失眠了，于是起床读JVM规范，读完后在朋友圈发了一条信息： JVM Run-Time Data Areas：The Java Virtual Machine defines various run-time data areas that are used during execution of a program. So
  • android 网络 百合不是茶 网络
    android的网络编程和java的一样没什么好分析的都是一些死的照着写就可以了,所以记录下来  方便查找   ,  服务器使用的是TomCat   服务器代码;  servlet的使用需要在xml中注册 package servlet; import java.io.IOException; import java.util.Arr
  • [读书笔记]读法拉第传 comsci 读书笔记
          1831年的时候,一年可以赚到1000英镑的人..应该很少的...       要成为一个科学家,没有足够的资金支持,很多实验都无法完成       但是当钱赚够了以后....就不能够一直在商业和市场中徘徊......
  • 随机数的产生 沐刃青蛟 随机数
    c++中阐述随机数的方法有两种：   一是产生假随机数（不管操作多少次，所产生的数都不会改变）          这类随机数是使用了默认的种子值产生的，所以每次都是一样的。   //默认种子 for (int i = 0; i < 5; i++) { cout<<
  • PHP检测函数所在的文件名 IT独行者 PHP函数
    很简单的功能，用到PHP中的反射机制，具体使用的是ReflectionFunction类，可以获取指定函数所在PHP脚本中的具体位置。 创建引用脚本。 代码：   [php]   view plain copy // Filename: functions.php    <?php&nbs
  • 银行各系统功能简介 文强chu 金融
    银行各系统功能简介 　 业务系统 核心业务系统 业务功能包括：总账管理、卡系统管理、客户信息管理、额度控管、存款、贷款、资金业务、国际结算、支付结算、对外接口等 清分清算系统 以清算日期为准，将账务类交易、非账务类交易的手续费、代理费、网络服务费等相关费用，按费用类型计算应收、应付金额，经过清算人员确认后上送核心系统完成结算的过程 国际结算系
  • Python学习1(pip django 安装以及第一个project) 小桔子 pythondjangopip
        最近开始学习python,要安装个pip的工具。听说这个工具很强大，安装了它，在安装第三方工具的话so easy!然后也下载了，按照别人给的教程开始安装，奶奶的怎么也安装不上！ 第一步：官方下载pip-1.5.6.tar.gz, https://pypi.python.org/pypi/pip easy! 第二部：解压这个压缩文件，会看到一个setup.p
  • php 数组 aichenglong PHP排序数组循环多维数组
    1 php中的创建数组 $product = array('tires','oil','spark');//array()实际上是语言结构而不  是函数 2 如果需要创建一个升序的排列的数字保存在一个数组中，可以使用range()函数来自动创建数组 $numbers=range(1,10)//1 2 3 4 5 6 7 8 9 10 $numbers=range(1,10,
  • 安装python2.7 AILIKES python
    安装python2.7 1、下载可从 http://www.python.org/进行下载#wget https://www.python.org/ftp/python/2.7.10/Python-2.7.10.tgz 2、复制解压 #mkdir -p /opt/usr/python #cp  /opt/soft/Python-2
  • java异常的处理探讨 百合不是茶 JAVA异常
    //java异常  /* 1，了解java 中的异常处理机制，有三种操作 a,声明异常  b,抛出异常  c,捕获异常 2，学会使用try-catch-finally来处理异常 3，学会如何声明异常和抛出异常 4，学会创建自己的异常   */   //2，学会使用try-catch-finally来处理异常  
  • getElementsByName实例 bijian1013 element
    实例1： <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/x
  • 探索JUnit4扩展：Runner bijian1013 java单元测试JUnit
            参加敏捷培训时，教练提到Junit4的Runner和Rule，于是特上网查一下，发现很多都讲的太理论，或者是举的例子实在是太牵强。多搜索了几下，搜索到两篇我觉得写的非常好的文章。         文章地址：http://www.blogjava.net/jiangshachina/archive/20
  • [MongoDB学习笔记二]MongoDB副本集 bit1129 mongodb
    1. 副本集的特性   1)一台主服务器(Primary),多台从服务器(Secondary)   2)Primary挂了之后，从服务器自动完成从它们之中选举一台服务器作为主服务器，继续工作，这就解决了单点故障，因此，在这种情况下，MongoDB集群能够继续工作   3)挂了的主服务器恢复到集群中只能以Secondary服务器的角色加入进来   2
  • 【Spark八十一】Hive in the spark assembly bit1129 assembly
    Spark SQL supports most commonly used features of HiveQL. However, different HiveQL statements are executed in different manners: 1. DDL statements (e.g. CREATE TABLE, DROP TABLE, etc.)
  • Nginx问题定位之监控进程异常退出 ronin47
    nginx在运行过程中是否稳定，是否有异常退出过？这里总结几项平时会用到的小技巧。 1. 在error.log中查看是否有signal项，如果有，看看signal是多少。 比如，这是一个异常退出的情况： $grep signal error.log 2012/12/24 16:39:56 [alert] 13661#0: worker process 13666 exited on s
  • No grammar constraints (DTD or XML schema).....两种解决方法 byalias xml
    方法一：常用方法   关闭XML验证 工具栏：windows => preferences => xml => xml files => validation => Indicate when no grammar is specified:选择Ignore即可。 方法二：（个人推荐） 添加 内容如下 <?xml version=
  • Netty源码学习-DefaultChannelPipeline bylijinnan netty
    package com.ljn.channel; /** * ChannelPipeline采用的是Intercepting Filter 模式 * 但由于用到两个双向链表和内部类，这个模式看起来不是那么明显，需要仔细查看调用过程才发现 * * 下面对ChannelPipeline作一个模拟，只模拟关键代码： */ public class Pipeline {
  • MYSQL数据库常用备份及恢复语句 chicony mysql
    备份MySQL数据库的命令，可以加选不同的参数选项来实现不同格式的要求。 mysqldump -h主机 -u用户名 -p密码 数据库名 > 文件 备份MySQL数据库为带删除表的格式，能够让该备份覆盖已有数据库而不需要手动删除原有数据库。 mysqldump -–add-drop-table -uusername -ppassword databasename > ba
  • 小白谈谈云计算--基于Google三大论文 CrazyMizzz Google云计算GFS
        之前在没有接触到云计算之前，只是对云计算有一点点模糊的概念，觉得这是一个很高大上的东西，似乎离我们大一的还很远。后来有机会上了一节云计算的普及课程吧，并且在之前的一周里拜读了谷歌三大论文。不敢说理解，至少囫囵吞枣啃下了一大堆看不明白的理论。现在就简单聊聊我对于云计算的了解。     我先说说GFS   &n
  • hadoop 平衡空间设置方法 daizj hadoopbalancer
    在hdfs-site.xml中增加设置balance的带宽，默认只有1M： <property>   <name>dfs.balance.bandwidthPerSec</name>     <value>10485760</value>     <description&g
  • Eclipse程序员要掌握的常用快捷键 dcj3sjt126com 编程
      判断一个人的编程水平，就看他用键盘多，还是鼠标多。用键盘一是为了输入代码（当然了，也包括注释），再有就是熟练使用快捷键。 曾有人在豆瓣评 《卓有成效的程序员》：“人有多大懒，才有多大闲”。之前我整理了一个 程序员图书列表，目的也就是通过读书，让程序员变懒。  程序员作为特殊的群体，有的人可以这么懒，懒到事情都交给机器去做，而有的人又可以那么勤奋，每天都孜孜不倦得
  • Android学习之路 dcj3sjt126com Android学习
    转自：http://blog.csdn.net/ryantang03/article/details/6901459 以前有J2EE基础，接触JAVA也有两三年的时间了，上手Android并不困难，思维上稍微转变一下就可以很快适应。以前做的都是WEB项目，现今体验移动终端项目，让我越来越觉得移动互联网应用是未来的主宰。 下面说说我学习Android的感受，我学Android首先是看MARS的视
  • java 遍历Map的四种方法 eksliang javaHashMapjava 遍历Map的四种方法
    转载请出自出处： http://eksliang.iteye.com/blog/2059996 package com.ickes; import java.util.HashMap; import java.util.Iterator; import java.util.Map; import java.util.Map.Entry; /** * 遍历Map的四种方式
  • 【精典】数据库相关相关 gengzg 数据库
    package C3P0; import java.sql.Connection; import java.sql.SQLException; import java.beans.PropertyVetoException; import com.mchange.v2.c3p0.ComboPooledDataSource; public class DBPool{
  • 自动补全 huyana_town 自动补全
    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"><html xmlns="http://www.w3.org/1999/xhtml&quo
  • jquery在线预览PDF文件，打开PDF文件 天梯梦 jquery
    最主要的是使用到了一个jquery的插件jquery.media.js，使用这个插件就很容易实现了。   核心代码 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.
  • ViewPager刷新单个页面的方法 lovelease androidviewpagertag刷新
      使用ViewPager做滑动切换图片的效果时，如果图片是从网络下载的，那么再子线程中下载完图片时我们会使用handler通知UI线程，然后UI线程就可以调用mViewPager.getAdapter().notifyDataSetChanged()进行页面的刷新，但是viewpager不同于listview，你会发现单纯的调用notifyDataSetChanged()并不能刷新页面
  • 利用按位取反（~）从复合枚举值里清除枚举值 草料场 enum
    以 C# 中的 System.Drawing.FontStyle 为例。   如果需要同时有多种效果， 如：“粗体”和“下划线”的效果，可以用按位或（|） FontStyle style = FontStyle.Bold | FontStyle.Underline;   如果需要去除 style 里的某一种效果，
  • Linux系统新手学习的11点建议 刘星宇 编程工作linux脚本
    　　随着Linux应用的扩展许多朋友开始接触Linux，根据学习Windwos的经验往往有一些茫然的感觉：不知从何处开始学起。这里介绍学习Linux的一些建议。 　　一、从基础开始：常常有些朋友在Linux论坛问一些问题，不过，其中大多数的问题都是很基础的。例如：为什么我使用一个命令的时候，系统告诉我找不到该目录，我要如何限制使用者的权限等问题，这些问题其实都不是很难的，只要了解了 Linu
  • hibernate dao层应用之HibernateDaoSupport二次封装 wangzhezichuan DAOHibernate
    /** * <p>方法描述:sql语句查询 返回List<Class> </p> * <p>方法备注: Class 只能是自定义类 </p> * @param calzz * @param sql * @return * <p>创建人：王川</p> * <p>创建时间：Jul
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他