【SeaTunnel】从一个数据集成组件演化成企业级的服务

点亮 ⭐️ Star · 照亮开源之路

GitHub:https://github.com/apache/inc...

在 7 月 24 日 Apache SeaTunnel(Incubating)&Apache Doris 联合 Meetup 上，一个普通的社区贡献者狄杰，给大家带来的演讲主题是SeaTunnel的服务化之路，主要是和大家聊一下，SeaTunnel如何从一个数据集成组件演化成企业级的服务。

今天的分享主要分为四个部分：

  • 服务化的初衷与价值
  • 服务的整体架构
  • 社区的当前进展
  • Roadmap

为什么要做服务化？

从2019年开始，社区对于Web服务的呼声很高，当时就有人在issue里面提及Web服务的事情，一直到今年的5月份周会都还有人在讨论，也有人说在社区贡献，但可能因为种种原因没有了下文。

在之前的Meetup分享，也有同学分享基于SeaTunnel实现了可视化的数据集成服务。我一直从事数据中台的相关工作，觉得服务化对SeaTunnel来说是必不可少的部分，而且对开源也比较感兴趣，所以就结合了社区的意愿，决定着手做这件事。

核心目标是什么？

【SeaTunnel】从一个数据集成组件演化成企业级的服务_第1张图片

​

脚本的管控

让用户通过WebUI，以参数的形式配置任务信息，比如：输入/输出数据源、各种transform的配置、env参数等等；总而言之，就是尽可能的让用户通过配置而非脚本的方式来表达自己的业务需求。

之前的公司没有数据平台，使用的是Datax+Azkaban分别作为数据采集的组件和调度执行的组件，使用Git作为代码管理；一个熟手配置一个数据集成任务大约通过7步：编辑，Commit，Push，打包，上传，页面操作，数据校验；一个任务的开发最起码需要30~60分钟，还必须保证这中间不能被打扰，没有出现异常情况。后来我们做了自己的数据平台之后，配置一个数据交换任务只需要分钟级别。

作业及实例的管理

这里讲一个基本概念，一个SeaTunnel的任务，在开发时，一般称呼它为脚本，经过测试并发布后，我们才会称其为作业。而作业通过触发后，具体的执行则被称为执行实例。

作业的管控：手动触发(包含补数据和单次触发)、暂停调度、查看上下游依赖、查看作业内容等等。

实例的管控：重跑、KILL、查看日志等等。

通常来说，这部分能力是由整个大数据生态体系中的调度系统来承担，比如说DolphinScheduler、Azkaban等。那么，为什么我们要在SeaTunnel里做这些事情？先暂时留个悬念，等到整体架构时会跟大家讲解我的想法。

【SeaTunnel】从一个数据集成组件演化成企业级的服务_第2张图片

​

当我们完成了这两项的能力建设后，SeaTunnel可以算上是个完整的数据集成解决方案，任意一个人、或者企业，当完成下载和简单配置后，即可快速的完成数据采集任务的定义，通过将任务发布到调度系统或者内置的调度引擎中，即可完成任务的周期性调度，快速、准确、定时将业务数据、应用日志等数据同步到大数据存储平台或者OLAP引擎中，快速进行数据分析，加速数据价值的产生；所以说，这两点是我们最核心的目标

上述可以看成给用户的价值

那么服务化能给SeaTunnel自身带来什么呢？

在没有SeaTunnel或者说没有waterdrop的时候（ST的曾用名），waterdrop的开发同学一开始使用Spark进行数据集成，发现可以通过对常用的操作用代码沉淀，对一些操作进行封装，久而久之就形成了早期的waterdrop，这便是从基础的数据开发组件Spark组件演化成数据集成工具的过程。

后来，SeaTunnel开始做自己的运维管控平台，将SeaTunnel的脚本、开发工具、开发流程整合在一起，统一管理，形成体系化的运维开发管控一体化的平台。 而平台化带来了管控、开发、运维等能力，能够更好的吸引用户来使用SeaTunnel，同样也会吸引一些同学加入SeaTunnel的社区，这对我们社区的发展无疑是极大的利好。

服务的整体架构

【SeaTunnel】从一个数据集成组件演化成企业级的服务_第3张图片

​

整体上来说，目前暂时分为三个大部分

  1. 管控：对数据源、用户、权限、脚本、作业、实例的管控，任何在WebUi上看到的内容都会被管控；
  2. 调度：根据配置的不同，负责将任务丢至不同的调度系统中进行调度与执行；上层的作业和实例的管控也依赖于具体的调度系统；
  3. 执行：任务具体执行时的一些事项，大家能够看到我在这做了task-wrapper，作用下面跟大家详细讲；

管控简述

管理能力

【SeaTunnel】从一个数据集成组件演化成企业级的服务_第4张图片

​

针对于数据源的增删改查以及连接性测试，后续会支持数据源的映射、数据探查等的能力。

除增删改查之外，无非是注册、登录、退出等；但是如果要将SeaTunnel做到顶级的、自成体系、多租户环境下的数据集成服务，那么用户的管理会更加复杂

页面上每个能看见的页面、菜单、按钮、数据等，都应该纳入管控，除此之外，肯定还有更多东西可以纳入管理模块，比如资源管理、自定义connector、trasnform管理、项目空间等等，不过这些都不在我们的主流程范围内，并且也确实没有用户提出这方面的需求，所以我们之后再看。

开发能力

基本上就是针对的脚本的增删改查，最突出最主要的也就是脚本的编辑时的能力：保存、执行、停止、测试、发布、基本参数展示、调度参数配置、告警参数调整、脚本内容、数据源、transform、并发等；这里面其实有很多内容要讲，比如测试，通常来说是替换输出源，通过控制台输出，人工来判断脚本配置是否正确，而如果要做的更智能化一点，完全可以做成单元测试一样，每个脚本必须通过单元测试之后才能够发布上线，而单元测试就像平常我们写JAVA的单元测试一样，Mock数据，验证过程。

再说到发布，这是从脚本演变成作业必不可少的一步，只有发布成功的脚本才会真正的同步到调度系统中，而发布中我们可以做很多事情，比如必须经过测试的脚本才能够发布成功，而在提交了发布申请后，会形成OA审批流或者工作流，只有通过审批后才能真正的发布等等；

当然，因为SeaTunnel本身的定位是一个弱T的数据集成组件，我们不会有太多的ETL逻辑，而且我们只会有SeaTunnel一种类型的任务，所以我们不会做类似于文件夹管理、目录树那样的能力，那种能力我觉得还是更适合有单独的组件，比如开源的WEB IDE来做这些事情。

运维能力

作业运维与实例运维 就像我之前说的那样，作业的运维一般是：手动触发(包含补数据和单次触发)、暂停调度、查看作业内容等，而实例的运维一般是：重跑、KILL、查看日志等，不过值得注意的是，我们的作业有实时和离线之分，所以在作业和实例的运维上有不同的体现：实时任务不存在调度周期、不存在任务依赖，所以实时任务的运维会有不同的体现。

调度简述

【SeaTunnel】从一个数据集成组件演化成企业级的服务_第5张图片

​

调度是很关键的一环，分成两个部分：

调度代理

大家肯定很疑惑，为什么要在SeaTunnel里面做一些调度相关的事情，比如上面说的作业运维与实例运维，为什么没有在脚本推送到调度系统后，直接在调度系统实现管控、运维的能力？

首先，我们想SeaTunne自成体系，而不是依赖于别的组件才能完成一些能力。其次，调度系统有很多且每个API和能力的表现是不一致的，我们必需为每一种调度系统实现一次集成，如果没有抽象的API层，那么整个代码会显得非常混乱并且难以管理 。

最后，如果我们只针对一种调度系统做实践，那么难度自然会低很多，但是我们就必然会失去使用其它调度的用户；当然，他们也可以像过去一样，通过Shell脚本的方式来进行任务调度，那样服务化的意义也就失去了很多。

crontabl-local 存在的意义是什么？

对小微型用户来说，他们可能都没有大数据平台或者数仓方面的专业人士，他们过去是通过MYSQL或者PYTHON脚本进行数据分析，而随着数据量的增多，用MYSQL和PYTHON跑分析型任务已经又慢又费资源，所以可能选择了使用一些OLAP引擎；而他们想对业务库的数据进行分析的时候，自然而然的需要用SeaTunnel去将数据同步到OLAP引擎中；

小微型用户没有数据类的专业人士，所以大数据平台必然是没有的，更别提调度系统了。而这时crontabl-local就体现了他存在的意义：我们的SeaTunnel自成体系，我们自身就提供了简单的定时调度能力，用户只需要简单的修改一下配置，即可快速上手，完成定时数据集成任务的配置与发布。

执行态task-wrapper

【SeaTunnel】从一个数据集成组件演化成企业级的服务_第6张图片

​

我们通过 IDE 打开，会看到如图所示的目录结构：

它提供了pre-task和post-task的能力，之所以设计这么个能力，是考虑到仅靠SeaTunnel原生的能力是不够的。

比如schema-evolution、分库分表下的同步预处理、动态分区、数据质量等。当然，用户自己也可以通过调度的依赖来实现相应的能力，不过很多时候POST-TASK需要和SEATUNNEL的执行脚本合并在一起，保证事务的一致性，如果拆成两个任务就无法保证。 我们提供了pre-task和post-task的能力，与SeaTunnel的执行引擎进行组装，变成真正的执行内容；同时我们也支持用户自己实现这两种task类型，来实现他们的业务流程。

除了pre-task和post-task，另外一块比较关键的是真正的执行脚本，它需要将我们向导模式和画布模式翻译成真正的执行脚本，再与pre-task和post-task进行打包，一起传递给真正的调度系统；

社区当前的进度

开发进度追踪

【SeaTunnel】从一个数据集成组件演化成企业级的服务_第7张图片

​

大家可以通过Github上的1947issue号进行进度追踪，大家可以看到在下图贴的3个链接，第一个是总体的设计以及整体的进度追踪。第二个是有关于脚本管理&用户管理相关的PR，已经MERGE。第三个是有关于调度代理层的设计以及DolphinScheduler的集成，相关内容已经开发完毕，预计月内能够把PR给MERGE.

脚本编辑模式

【SeaTunnel】从一个数据集成组件演化成企业级的服务_第8张图片

​

目前只支持脚本模式，我们可以在这个页面进行脚本的编辑开发，右侧这个预览方便于用户更好的定位自己的代码；不过目前这里缺少了基本信息、参数配置、调度配置的入口，已经和社区产品的同学在沟通，后续这边也会加上去.

【SeaTunnel】从一个数据集成组件演化成企业级的服务_第9张图片

​

在保存完脚本后，会来到上图，这里也是创建脚本的入口，start/edit是启动和编辑；这里的update后续会改为publish，也就是发布；一个脚本被发布了之后才能进行启动、停止等操作；再看看状态，这里的状态其实是取的这个任务最近一次执行的状态，如果没有执行记录就是unstart，其它的比较好理解，就不再赘述了。

【SeaTunnel】从一个数据集成组件演化成企业级的服务_第10张图片

​

点击任何一个任务名称后，会进到这个页面；这里能看到任务执行的指标信息、输入输出数据条数、数据大小、耗费时间等；另外还有本次的运行日志等；这里能够看到历史的执行记录

更多的产品原型图可以参考issue-2100的内容，我们产品的同学里面有更多的图片展示

什么时候能用上SeaTunnel-Server？

罗马不是一天可以建成的，我们会做出一个稳定可用的最小MVP版本，MVP版本都包含哪些内容？

【SeaTunnel】从一个数据集成组件演化成企业级的服务_第11张图片

​

1、用户管理：包含对用户的增删改查以及登录、退出能力；

2、脚本开发：包含对脚本的增删改查，其中脚本开发只支持脚本模式，我之前在issue里面也有说过，分别有三种模式：向导模式也就是配置化的方式——先选输入源，再输入输出源，再配置字段映射等等；脚本模式就是直接将SeaTunnel的脚本贴进来；画布模式就是俗称的拖拉拽；

3、任务运维：针对于发布后的脚本进行执行、停止、查看记录、查看日志相关操作；

ROADMAP

我们现在最关键的是完成MVP版本的设计与开发，包括用户、脚本、任务运维，相当于是1.0版本之后我们大概是2个月完成一次迭代，预计到年底能够完成2个小版本的迭代。

【1.1 版本】将数据源管理纳入，让用户更加专注于业务代码开发；

【1.2 版本】实时任务的开发、管控、运维，为什么要先将实时和离线分开来做呢？主要是因为实时任务通常时7*24的模式，它的运行状态和在调度系统上表现的实例状态其实是不一致的；

【1.3 版本】用户权限的管控，这里的顺序和工作内容都是我暂时拍的，如果有更多的人加入进来，我想版本的内容可以更丰富，可以更快的迭代；

【SeaTunnel】从一个数据集成组件演化成企业级的服务_第12张图片

​

而大家关心的向导模式，会在明年的时候才进行设计&开发；因为这个对前端&后端都有比较多的依赖；整个2.0版本我们主要做好这几件事：

  1. 向导模式的从零到有到完善
  2. 任务运维的全覆盖：也就是完善对运维这个模块的能力；并且可能会有更多的调度系统接入，比如Airflow、Azkaban等等；
  3. 通过pre-task和post-task的能力来实现业务能力

【SeaTunnel】从一个数据集成组件演化成企业级的服务_第13张图片

​

并且，随着我们SeaTunnel自身引擎的发展，我相信会对我们的开发、运维带来更多的能力和便利性；

比如脚本可以配置脏数据收集、流控等参数；运维侧我们可以看到SeaTunnel更加专业、更加明确的数据集成指标，到时候可以直接将指标的展示集成在我们的SeaTunnel webui上；

我们预计用6~10个月的事情来做完善这些事情，并且需要与引擎侧的社区贡献者们配合.

至于3.0版本就是很久远的事情了，应该是会有画布模式、资源管理、流批一体能力的全方面覆盖，最后，也欢迎大家来做相关贡献，加入我们 Apache SeaTunnel 大家庭！谢谢大家

Apache SeaTunnel

// 保持联络 //

微信号 : Seatunnel

来，和社区一同成长！

Apache SeaTunnel(Incubating) 是一个分布式、高性能、易扩展、用于海量数据（离线&实时）同步和转化的数据集成平台。

仓库地址： https://github.com/apache/inc...

网址：https://seatunnel.apache.org/

Proposal：https://cwiki.apache.org/conf...

Apache SeaTunnel(Incubating) 2.1.0 下载地址：https://seatunnel.apache.org/...

衷心欢迎更多人加入！

能够进入 Apache 孵化器，SeaTunnel(原 Waterdrop) 新的路程才刚刚开始，但社区的发展壮大需要更多人的加入。我们相信，在「Community Over Code」（社区大于代码）、「Open and Cooperation」（开放协作）、「Meritocracy」（精英管理）、以及「多样性与共识决策」等 The Apache Way 的指引下，我们将迎来更加多元化和包容的社区生态，共建开源精神带来的技术进步！

我们诚邀各位有志于让本土开源立足全球的伙伴加入 SeaTunnel 贡献者大家庭，一起共建开源!

提交问题和建议：https://github.com/apache/inc...

贡献代码：https://github.com/apache/inc...

订阅社区开发邮件列表 : [email protected]...

开发邮件列表：[email protected]

加入 Slack:https://join.slack.com/t/apac...

关注 Twitter: https://twitter.com/ASFSeaTunne

你可能感兴趣的:(【SeaTunnel】从一个数据集成组件演化成企业级的服务)

  • 斤斤计较的婚姻到底有多难？ 白心之岂必有为
    很多人私聊我会问到在哪个人群当中斤斤计较的人最多？我都会回答他，一般婚姻出现问题的斤斤计较的人士会非常多，以我多年经验，在婚姻落的一塌糊涂的人当中，斤斤计较的人数占比在20～30%以上，也就是说10个婚姻出现问题的斤斤计较的人有2-3个有多不减。在婚姻出问题当中，有大量的心理不平衡的、尖酸刻薄的怨妇。在婚姻中仅斤斤计较有两种类型：第一种是物质上的，另一种是精神上的。在物质与精神上抠门已经严重的影响
  • 情绪觉察日记第37天 露露_e800
    今天是家庭关系规划师的第二阶最后一天，慧萍老师帮我做了个案，帮我处理了埋在心底好多年的一份恐惧，并给了我深深的力量！这几天出来学习，爸妈过来婆家帮我带小孩，妈妈出于爱帮我收拾东西，并跟我先生和婆婆产生矛盾，妈妈觉得他们没有照顾好我…。今晚回家见到妈妈，我很欣赏她并赞扬她，妈妈说今晚要跟我睡我说好，当我们俩躺在床上准备睡觉的时候，我握着妈妈的手对她说:妈妈这几天辛苦你了，你看你多利害把我们的家收拾得
  • 芦花鞋一四 许叶晗
    又是在一个寒冷的夏日里，青铜和葵花决定今天一起去卖芦花鞋，奶奶亲手给他们做了一碗热乎乎的粥对他们说:“就靠你们两挣生活费了这碗粥赶紧趁热喝了吧！”于是青铜和葵花喝完了奶奶给她们做的粥，就准备去镇上卖卢花鞋，这回青铜和葵花穿着新的芦花鞋来到了镇上。青铜这回看到了很多人都在卖，用手势表达对葵花说:“这回有好多人在抢我们生意呢！我们必须得吆喝起来。”葵花点了点头。可是谁知他们也大声的叫，卖芦花喽！卖芦花
  • QQ群采集助手，精准引流必备神器 2401_87347160 其他经验分享
    功能概述微信群查找与筛选工具是一款专为微信用户设计的辅助工具，它通过关键词搜索功能，帮助用户快速找到相关的微信群，并提供筛选是否需要验证的群组的功能。主要功能关键词搜索：用户可以输入关键词，工具将自动查找包含该关键词的微信群。筛选功能：工具提供筛选机制，用户可以选择是否只显示需要验证或不需要验证的群组。精准引流：通过上述功能，用户可以更精准地找到目标群组，进行有效的引流操作。3.设备需求该工具可以
  • 关于沟通这件事，项目经理不需要每次都面对面进行 流程大师兄
    很多项目经理都会遇到这样的问题，项目中由于事情太多，根本没有足够的时间去召开会议，那在这种情况下如何去有效地管理项目中的利益相关者？当然，不建议电子邮件也不需要开会的话，建议可以采取下面几种方式来形成有效的沟通，这几种方式可以帮助你努力的通过各种办法来保持和各方面的联系。项目经理首先要问自己几个问题，项目中哪些利益相关者是必须要进行沟通的？可以列出项目中所有的利益相关者清单，同时也整理出项目中哪些
  • 机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习python
    一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
  • 铭刻于星（四十二） 随风至
    69夜晚，绍敏同学做完功课后，看了眼房外，没听到动静才敢从书包的夹层里拿出那个心形纸团。折痕压得很深，都有些旧了，想来是已经写好很久了。绍敏同学慢慢地、轻轻地捏开折叠处，待到全部拆开后，又反复抚平纸张，然后仔细地一字字默看。只是开头的三个字是第一次看到，让她心漏跳了几拍。“亲爱的绍敏：从四年级的时候，我就喜欢你了，但是我一直不敢说，怕影响你学习。六年级的时候听说有人跟你表白，你接受了，我很难过，但
  • 底层逆袭到底有多难，不甘平凡的你准备好了吗？让吴起给你说说 造命者说
    底层逆袭到底有多难，不甘平凡的你准备好了吗？让吴起给你说说我叫吴起，生于公元前440年的战国初期，正是群雄并起、天下纷争不断的时候。后人说我是军事家、政治家、改革家，是兵家代表人物。评价我一生历仕鲁、魏、楚三国，通晓兵家、法家、儒家三家思想，在内政军事上都有极高的成就。周安王二十一年（公元前381年），因变法得罪守旧贵族，被人乱箭射死。我出生在卫国一个“家累万金”的富有家庭，从年轻时候起就不甘平凡
  • 2020-01-25 晴岚85
    郑海燕坚持分享590天2020.1.24在生活中只存在两个问题。一个问题是：你知道想要达成的目标是什么，但却不知道如何才能达成；另一个问题是：你不知道你的目标是什么。前一个是行动的问题，后一个是结果的问题。通过制定具体的下一步行动，可以解决不知道如何开始行动的问题。而通过去想象结果，对结果做预估，可以解决找不着目标的问题。对于所有吸引我们注意力，想要完成的任务，你可以先想象一下，预期的结果究竟是什
  • 随笔 | 仙一般的灵气 海思沧海
    仙岛今天，我看了你全部，似乎已经进入你的世界我不知道，这是否是梦幻，还是你仙一般的灵气吸引了我也许每一个人都要有一份属于自己的追求，这样才能够符合人生的梦想，生活才能够充满着阳光与快乐我不知道，我为什么会这样的感叹，是在感叹自己的人生，还是感叹自己一直没有孜孜不倦的追求只感觉虚度了光阴，每天活在自己的梦中，活在一个不真实的世界是在逃避自己，还是在逃避周围的一切有时候我嘲笑自己，嘲笑自己如此的虚无，
  • 想家 爆米花机
    也许不同于大家对家乡的思念，我对家乡甚至是疯狂的不舍。还未踏出车站就感觉到幸福，我享受这里的夕阳、这里的浓烈柴火味、这里每一口家常菜。我是宅女，我贪恋家的安逸。刚刚踏出大学校门，初出茅庐，无法适应每年只能国庆和春节回家。我焦虑、失眠、无端发脾气，是无法适应工作的节奏，是无法接受我将一步步离开家乡的事实。我不想承认自己胸无大志，选择再次踏上征程。图片发自App
  • 【iOS】MVC设计模式 Magnetic_h iosmvc设计模式objective-c学习ui
    MVC前言如何设计一个程序的结构，这是一门专门的学问，叫做"架构模式"（architecturalpattern），属于编程的方法论。MVC模式就是架构模式的一种。它是Apple官方推荐的App开发架构，也是一般开发者最先遇到、最经典的架构。MVC各层controller层Controller/ViewController/VC（控制器）负责协调Model和View，处理大部分逻辑它将数据从Mod
  • OC语言多界面传值五大方式 Magnetic_h iosui学习objective-c开发语言
    前言在完成暑假仿写项目时，遇到了许多需要用到多界面传值的地方，这篇博客来总结一下比较常用的五种多界面传值的方式。属性传值属性传值一般用前一个界面向后一个界面传值，简单地说就是通过访问后一个视图控制器的属性来为它赋值，通过这个属性来做到从前一个界面向后一个界面传值。首先在后一个界面中定义属性@interfaceBViewController:UIViewController@propertyNSSt
  • 一百九十四章. 自相矛盾 巨木擎天
    唉！就这么一夜，林子感觉就像过了很多天似的，先是回了阳间家里，遇到了那么多不可思议的事情儿。特别是小伙伴们，第二次与自己见面时，僵硬的表情和恐怖的气氛，让自己如坐针毡，打从心眼里难受！还有东子，他现在还好吗？有没有被人欺负？护城河里的小鱼小虾们，还都在吗？水不会真的干枯了吧？那对相亲相爱漂亮的太平鸟儿，还好吧！春天了，到了做窝、下蛋、喂养小鸟宝宝的时候了，希望它们都能够平安啊！虽然没有看见家人，也
  • UI学习——cell的复用和自定义cell Magnetic_h ui学习
    目录cell的复用手动（非注册）自动（注册）自定义cellcell的复用在iOS开发中，单元格复用是一种提高表格（UITableView）和集合视图（UICollectionView）滚动性能的技术。当一个UITableViewCell或UICollectionViewCell首次需要显示时，如果没有可复用的单元格，则视图会创建一个新的单元格。一旦这个单元格滚动出屏幕，它就不会被销毁。相反，它被添
  • element实现动态路由+面包屑 软件技术NINI vue案例vue.js前端
    el-breadcrumb是ElementUI组件库中的一个面包屑导航组件，它用于显示当前页面的路径，帮助用户快速理解和导航到应用的各个部分。在Vue.js项目中，如果你已经安装了ElementUI，就可以很方便地使用el-breadcrumb组件。以下是一个基本的使用示例：安装ElementUI（如果你还没有安装的话）:你可以通过npm或yarn来安装ElementUI。bash复制代码npmi
  • 10月|愿你的青春不负梦想-读书笔记-01 Tracy的小书斋
    本书的作者是俞敏洪，大家都很熟悉他了吧。俞敏洪老师是我行业的领头羊吧，也是我事业上的偶像。本日摘录他书中第一章中的金句：『一个人如果什么目标都没有，就会浑浑噩噩，感觉生命中缺少能量。能给我们能量的，是对未来的期待。第一件事，我始终为了进步而努力。与其追寻全世界的骏马，不如种植丰美的草原，到时骏马自然会来。第二件事，我始终有阶段性的目标。什么东西能给我能量？答案是对未来的期待。』读到这里的时候，我便
  • C语言宏函数 南林yan C语言c语言
    一、什么是宏函数？通过宏定义的函数是宏函数。如下，编译器在预处理阶段会将Add(x,y)替换为((x)*(y))#defineAdd(x,y)((x)*(y))#defineAdd(x,y)((x)*(y))intmain(){inta=10;intb=20;intd=10;intc=Add(a+d,b)*2;cout<
  • 地推话术，如何应对地推过程中家长的拒绝 校师学
    相信校长们在做地推的时候经常遇到这种情况：市场专员反馈家长不接单，咨询师反馈难以邀约这些家长上门，校区地推疲软，招生难。为什么？仅从地推层面分析，一方面因为家长受到的信息轰炸越来越多，对信息越来越“免疫”；而另一方面地推人员的专业能力和营销话术没有提高，无法应对家长的拒绝，对有意向的家长也不知如何跟进，眼睁睁看着家长走远；对于家长的疑问，更不知道如何有技巧地回答，机会白白流失。由于回答没技巧和专业
  • 谢谢你们，爱你们！ 鹿游儿
    昨天家人去泡温泉，二个孩子也带着去，出发前一晚，匆匆下班，赶回家和孩子一起收拾。饭后，我拿出笔和本子（上次去澳门时做手帐的本子）写下了1\2\3\4\5\6\7\8\9,让后让小壹去思考，带什么出发去旅游呢？她在对应的数字旁边画上了，泳衣、泳圈、肖恩、内衣内裤、tapuy、拖鞋……画完后，就让她自己对着这个本子，将要带的，一一带上，没想到这次带的书还是这本《便便工厂》(晚上姑婆发照片过来，妹妹累得
  • C语言如何定义宏函数？ 小九格物 c语言
    在C语言中，宏函数是通过预处理器定义的，它在编译之前替换代码中的宏调用。宏函数可以模拟函数的行为，但它们不是真正的函数，因为它们在编译时不会进行类型检查，也不会分配存储空间。宏函数的定义通常使用#define指令，后面跟着宏的名称和参数列表，以及宏展开后的代码。宏函数的定义方式：1.基本宏函数：这是最简单的宏函数形式，它直接定义一个表达式。#defineSQUARE(x)((x)*(x))2.带参
  • 微服务下功能权限与数据权限的设计与实现 nbsaas-boot 微服务java架构
    在微服务架构下，系统的功能权限和数据权限控制显得尤为重要。随着系统规模的扩大和微服务数量的增加，如何保证不同用户和服务之间的访问权限准确、细粒度地控制，成为设计安全策略的关键。本文将讨论如何在微服务体系中设计和实现功能权限与数据权限控制。1.功能权限与数据权限的定义功能权限：指用户或系统角色对特定功能的访问权限。通常是某个用户角色能否执行某个操作，比如查看订单、创建订单、修改用户资料等。数据权限：
  • 理解Gunicorn：Python WSGI服务器的基石 范范0825 ipythonlinux运维
    理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
  • 小丽成长记（四十三） 玲玲54321
    小丽发现，即使她好不容易调整好自己的心态下一秒总会有不确定的伤脑筋的事出现，一个接一个的问题，人生就没有停下的时候，小问题不断出现。不过她今天看的书，她接受了人生就是不确定的，厉害的人就是不断创造确定性，在Ta的领域比别人多的确定性就能让自己脱颖而出，显示价值从而获得的比别人多的利益。正是这样的原因，因为从前修炼自己太少，使得她现在在人生道路上打怪起来困难重重，她似乎永远摆脱不了那种无力感，有种习
  • 学点心理知识，呵护孩子健康 静候花开_7090
    昨天听了华中师范大学教育管理学系副教授张玲老师的《哪里才是学生心理健康的最后庇护所，超越教育与技术的思考》的讲座。今天又重新学习了一遍，收获匪浅。张玲博士也注意到了当今社会上的孩子由于心理问题导致的自残、自杀及伤害他人等恶性事件。她向我们普及了一个重要的命题，她说心理健康的一些基本命题，我们与我们通常的一些教育命题是不同的，她还举了几个例子，让我们明白我们原来以为的健康并非心理学上的健康。比如如果
  • 2021年12月19日，春蕾教育集团团建活动感受——黄晓丹 黄错错加油
    感受:1.从陌生到熟悉的过程。游戏环节让我们在轻松的氛围中得到了锻炼，也增长了不少知识。2.游戏过程中，我们贡献的是个人力量，展现的是团队的力量。它磨合的往往不止是工作的熟悉，更是观念上契合度的贴近。3.这和工作是一样的道理。在各自的岗位上，每个人摆正自己的位置、各司其职充分发挥才能，并团结一致劲往一处使，才能实现最大的成功。新知:1.团队精神需要不断地创新。过去，人们把创新看作是冒风险，现在人们
  • Cell Insight | 单细胞测序技术又一新发现，可用于HIV-1和Mtb共感染个体诊断 尐尐呅
    结核病是艾滋病合并其他疾病中导致患者死亡的主要原因。其中结核病由结核分枝杆菌（Mycobacteriumtuberculosis,Mtb）感染引起，获得性免疫缺陷综合症（艾滋病）由人免疫缺陷病毒（Humanimmunodeficiencyvirustype1,HIV-1）感染引起。国家感染性疾病临床医学研究中心/深圳市第三人民医院张国良团队携手深圳华大生命科学研究院吴靓团队，共同研究得出单细胞测序
  • c++ 的iostream 和 c++的stdio的区别和联系 黄卷青灯77 c++算法开发语言iostreamstdio
    在C++中，iostream和C语言的stdio.h都是用于处理输入输出的库，但它们在设计、用法和功能上有许多不同。以下是两者的区别和联系：区别1.编程风格iostream（C++风格）：C++标准库中的输入输出流类库，支持面向对象的输入输出操作。典型用法是cin（输入）和cout（输出），使用>操作符来处理数据。更加类型安全，支持用户自定义类型的输入输出。#includeintmain(){in
  • 瑶池防线 谜影梦蝶
    冥华虽然逃过了影梦的军队，但他是一个忠臣，他选择上报战况。败给影梦后成逃兵，高层亡尔还活着，七重天失守......随便一条，即可处死冥华。冥华自然是知道以仙界高层的习性此信一发自己必死无疑，但他还选择上报实情，因为责任。同样此信送到仙宫后，知道此事的人，大多数人都认定冥华要完了，所以上到仙界高层，下到扫大街的，包括冥华自己，全都准备好迎接冥华之死。如果仙界现在还属于两方之争的话，冥华必死无疑。然而
  • 爬山后遗症 璃绛
    爬山，攀登，一步一步走向制高点，是一种挑战。成功抵达是一种无法言语的快乐，在山顶吹吹风，看看风景，这是从未有过的体验。然而，爬山一时爽，下山腿打颤，颠簸的路，一路向下走，腿部力量不够，走起来抖到不行，停不下来了！第二天必定腿疼，浑身酸痛，坐立难安！
  • 项目中 枚举与注解的结合使用 飞翔的马甲 javaenumannotation
    前言：版本兼容，一直是迭代开发头疼的事，最近新版本加上了支持新题型，如果新创建一份问卷包含了新题型，那旧版本客户端就不支持，如果新创建的问卷不包含新题型，那么新旧客户端都支持。这里面我们通过给问卷类型枚举增加自定义注解的方式完成。顺便巩固下枚举与注解。 一、枚举 1.在创建枚举类的时候，该类已继承java.lang.Enum类，所以自定义枚举类无法继承别的类，但可以实现接口。
  • 【Scala十七】Scala核心十一：下划线_的用法 bit1129 scala
    下划线_在Scala中广泛应用，_的基本含义是作为占位符使用。_在使用时是出问题非常多的地方，本文将不断完善_的使用场景以及所表达的含义   1. 在高阶函数中使用 scala> val list = List(-3,8,7,9) list: List[Int] = List(-3, 8, 7, 9) scala> list.filter(_ > 7) r
  • web缓存基础：术语、http报头和缓存策略 dalan_123 Web
    对于很多人来说，去访问某一个站点，若是该站点能够提供智能化的内容缓存来提高用户体验，那么最终该站点的访问者将络绎不绝。缓存或者对之前的请求临时存储，是http协议实现中最核心的内容分发策略之一。分发路径中的组件均可以缓存内容来加速后续的请求，这是受控于对该内容所声明的缓存策略。接下来将讨web内容缓存策略的基本概念，具体包括如如何选择缓存策略以保证互联网范围内的缓存能够正确处理的您的内容，并谈论下
  • crontab 问题 周凡杨 linuxcrontabunix
      一： 0481-079   Reached   a   symbol   that   is   not   expected.   背景： */5   *   *   *   *  /usr/IBMIHS/rsync.sh 
  • 让tomcat支持2级域名共享session g21121 session
    tomcat默认情况下是不支持2级域名共享session的，所有有些情况下登陆后从主域名跳转到子域名会发生链接session不相同的情况，但是只需修改几处配置就可以了。 打开tomcat下conf下context.xml文件 找到Context标签,修改为如下内容 如果你的域名是www.test.com <Context sessionCookiePath="/path&q
  • web报表工具FineReport常用函数的用法总结（数学和三角函数） 老A不折腾 Webfinereport总结
      ABS ABS(number):返回指定数字的绝对值。绝对值是指没有正负符号的数值。 Number:需要求出绝对值的任意实数。 示例: ABS(-1.5)等于1.5。 ABS(0)等于0。 ABS(2.5)等于2.5。   ACOS ACOS(number):返回指定数值的反余弦值。反余弦值为一个角度，返回角度以弧度形式表示。 Number:需要返回角
  • linux 启动java进程 sh文件 墙头上一根草 linuxshelljar
    #!/bin/bash #初始化服务器的进程PId变量 user_pid=0; robot_pid=0; loadlort_pid=0; gateway_pid=0; ######### #检查相关服务器是否启动成功 #说明： #使用JDK自带的JPS命令及grep命令组合，准确查找pid #jps 加 l 参数，表示显示java的完整包路径 #使用awk，分割出pid
  • 我的spring学习笔记5-如何使用ApplicationContext替换BeanFactory aijuans Spring 3 系列
    如何使用ApplicationContext替换BeanFactory？ package onlyfun.caterpillar.device; import org.springframework.beans.factory.BeanFactory; import org.springframework.beans.factory.xml.XmlBeanFactory; import
  • Linux 内存使用方法详细解析 annan211 linux内存Linux内存解析
    来源 http://blog.jobbole.com/45748/ 我是一名程序员，那么我在这里以一个程序员的角度来讲解Linux内存的使用。 一提到内存管理，我们头脑中闪出的两个概念，就是虚拟内存，与物理内存。这两个概念主要来自于linux内核的支持。 Linux在内存管理上份为两级，一级是线性区，类似于00c73000-00c88000，对应于虚拟内存，它实际上不占用
  • 数据库的单表查询常用命令及使用方法(-) 百合不是茶 oracle函数单表查询
        创建数据库;       --建表 create table bloguser(username varchar2(20),userage number(10),usersex char(2));       创建bloguser表,里面有三个字段     &nbs
  • 多线程基础知识 bijian1013 java多线程threadjava多线程
    一．进程和线程 进程就是一个在内存中独立运行的程序，有自己的地址空间。如正在运行的写字板程序就是一个进程。 “多任务”：指操作系统能同时运行多个进程（程序）。如WINDOWS系统可以同时运行写字板程序、画图程序、WORD、Eclipse等。 线程：是进程内部单一的一个顺序控制流。 线程和进程 a.       每个进程都有独立的
  • fastjson简单使用实例 bijian1013 fastjson
    一.简介         阿里巴巴fastjson是一个Java语言编写的高性能功能完善的JSON库。它采用一种“假定有序快速匹配”的算法，把JSON Parse的性能提升到极致，是目前Java语言中最快的JSON库；包括“序列化”和“反序列化”两部分，它具备如下特征：     
  • 【RPC框架Burlap】Spring集成Burlap bit1129 spring
    Burlap和Hessian同属于codehaus的RPC调用框架，但是Burlap已经几年不更新，所以Spring在4.0里已经将Burlap的支持置为Deprecated,所以在选择RPC框架时，不应该考虑Burlap了。 这篇文章还是记录下Burlap的用法吧，主要是复制粘贴了Hessian与Spring集成一文，【RPC框架Hessian四】Hessian与Spring集成  
  • 【Mahout一】基于Mahout 命令参数含义 bit1129 Mahout
    1. mahout seqdirectory   $ mahout seqdirectory --input (-i) input Path to job input directory(原始文本文件). --output (-o) output The directory pathna
  • linux使用flock文件锁解决脚本重复执行问题 ronin47 linux lock　重复执行
    linux的crontab命令，可以定时执行操作，最小周期是每分钟执行一次。关于crontab实现每秒执行可参考我之前的文章《linux crontab 实现每秒执行》现在有个问题，如果设定了任务每分钟执行一次，但有可能一分钟内任务并没有执行完成，这时系统会再执行任务。导致两个相同的任务在执行。 例如： <? //  test .php
  • java-74-数组中有一个数字出现的次数超过了数组长度的一半，找出这个数字 bylijinnan java
    public class OcuppyMoreThanHalf { /** * Q74 数组中有一个数字出现的次数超过了数组长度的一半，找出这个数字 * two solutions: * 1.O(n) * see <beauty of coding>--每次删除两个不同的数字，不改变数组的特性 * 2.O(nlogn) * 排序。中间
  • linux 系统相关命令 candiio linux
    系统参数 cat /proc/cpuinfo  cpu相关参数 cat /proc/meminfo 内存相关参数 cat /proc/loadavg 负载情况 性能参数 1）top M：按内存使用排序 P：按CPU占用排序 1：显示各CPU的使用情况 k：kill进程 o：更多排序规则 回车：刷新数据 2）ulimit ulimit -a：显示本用户的系统限制参
  • [经营与资产]保持独立性和稳定性对于软件开发的重要意义 comsci 软件开发
         一个软件的架构从诞生到成熟，中间要经过很多次的修正和改造       如果在这个过程中，外界的其它行业的资本不断的介入这种软件架构的升级过程中           那么软件开发者原有的设计思想和开发路线
  • 在CentOS5.5上编译OpenJDK6 Cwind linuxOpenJDK
    几番周折终于在自己的CentOS5.5上编译成功了OpenJDK6，将编译过程和遇到的问题作一简要记录，备查。 0. OpenJDK介绍 OpenJDK是Sun（现Oracle）公司发布的基于GPL许可的Java平台的实现。其优点： 1、它的核心代码与同时期Sun（-> Oracle）的产品版基本上是一样的，血统纯正，不用担心性能问题，也基本上没什么兼容性问题；（代码上最主要的差异是
  • java乱码问题 dashuaifu java乱码问题js中文乱码
    swfupload上传文件参数值为中文传递到后台接收中文乱码     在js中用setPostParams（{"tag" : encodeURI( document.getElementByIdx_x("filetag").value，"utf-8")}）; 然后在servlet中String t
  • cygwin很多命令显示command not found的解决办法 dcj3sjt126com cygwin
    cygwin很多命令显示command not found的解决办法   修改cygwin.BAT文件如下 @echo off D: set CYGWIN=tty notitle glob set PATH=%PATH%;d:\cygwin\bin;d:\cygwin\sbin;d:\cygwin\usr\bin;d:\cygwin\usr\sbin;d:\cygwin\us
  • [介绍]从 Yii 1.1 升级 dcj3sjt126com PHPyii2
    2.0 版框架是完全重写的，在 1.1 和 2.0 两个版本之间存在相当多差异。因此从 1.1 版升级并不像小版本间的跨越那么简单，通过本指南你将会了解两个版本间主要的不同之处。 如果你之前没有用过 Yii 1.1，可以跳过本章，直接从"入门篇"开始读起。 请注意，Yii 2.0 引入了很多本章并没有涉及到的新功能。强烈建议你通读整部权威指南来了解所有新特性。这样有可能会发
  • Linux SSH免登录配置总结 eksliang ssh-keygenLinux SSH免登录认证Linux SSH互信
    转载请出自出处：http://eksliang.iteye.com/blog/2187265 一、原理      我们使用ssh-keygen在ServerA上生成私钥跟公钥，将生成的公钥拷贝到远程机器ServerB上后,就可以使用ssh命令无需密码登录到另外一台机器ServerB上。      生成公钥与私钥有两种加密方式，第一种是
  • 手势滑动销毁Activity gundumw100 android
    老是效仿ios，做android的真悲催！ 有需求：需要手势滑动销毁一个Activity 怎么办尼？自己写？ 不用~，网上先问一下百度。 结果： http://blog.csdn.net/xiaanming/article/details/20934541 首先将你需要的Activity继承SwipeBackActivity，它会在你的布局根目录新增一层SwipeBackLay
  • JavaScript变换表格边框颜色 ini JavaScripthtmlWebhtml5css
    效果查看：http://hovertree.com/texiao/js/2.htm代码如下，保存到HTML文件也可以查看效果： <html> <head> <meta charset="utf-8"> <title>表格边框变换颜色代码-何问起</title> </head> <body&
  • Kafka Rest : Confluent kane_xie kafkaRESTconfluent
    最近拿到一个kafka rest的需求，但kafka暂时还没有提供rest api（应该是有在开发中，毕竟rest这么火），上网搜了一下，找到一个Confluent Platform，本文简单介绍一下安装。 这里插一句，给大家推荐一个九尾搜索，原名叫谷粉SOSO，不想fanqiang谷歌的可以用这个。以前在外企用谷歌用习惯了，出来之后用度娘搜技术问题，那匹配度简直感人。 环境声明：Ubu
  • Calender不是单例 men4661273 单例Calender
             在我们使用Calender的时候，使用过Calendar.getInstance()来获取一个日期类的对象，这种方式跟单例的获取方式一样，那么它到底是不是单例呢，如果是单例的话，一个对象修改内容之后，另外一个线程中的数据不久乱套了吗？从试验以及源码中可以得出，Calendar不是单例。 测试： Calendar c1 =
  • 线程内存和主内存之间联系 qifeifei java thread
    1， java多线程共享主内存中变量的时候，一共会经过几个阶段，    lock:将主内存中的变量锁定，为一个线程所独占。   unclock:将lock加的锁定解除，此时其它的线程可以有机会访问此变量。   read:将主内存中的变量值读到工作内存当中。   load:将read读取的值保存到工作内存中的变量副本中。  
  • schedule和scheduleAtFixedRate tangqi609567707 javatimerschedule
    原文地址：http://blog.csdn.net/weidan1121/article/details/527307 import java.util.Timer;import java.util.TimerTask;import java.util.Date; /** * @author vincent */public class TimerTest {  
  • erlang 部署 wudixiaotie erlang
    1.如果在启动节点的时候报这个错 ： {"init terminating in do_boot",{'cannot load',elf_format,get_files}} 则需要在reltool.config中加入 {app, hipe, [{incl_cond, exclude}]},     2.当generate时，遇到： ERROR
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他