未来源码|什么是数据集成？超全的SeaTunnel 集成工具介绍

以下文章来源于大数据与云原生技术分享 ，作者liugp

推荐语：随着互联网流量爆发式增长，越来越多的公司业务需要支撑海量数据存储，对高并发、高可用、高可扩展性等特性提出了更高的要求。这也促使各种类型的数据库快速发展，至今常见数据库已经达到 200 多个。与之相伴的便是，各种数据库之间的同步与转换需求激增，数据集成便成了大数据领域的一个亟需解决的方向。当前市面上没有一个简单易用且支持每天数百亿条海量数据同步的开源软件，于是 SeaTunnel 应运而生。

SeaTunnel 是一个非常好用、超高性能的分布式数据集成平台，架构于 Apache Spark 和 Apache Flink 之上，实现了海量数据的实时同步与转换。每天可以稳定高效地同步数百亿数据，目前已接近百家公司在生产上使用。

——MobTech袤博科技政府产研部Java开发专家  竹石

一、什么是数据集成？

数据集成是指将来自不同数据源的数据整合到一起形成一个统一的数据集。这个过程包括从不同的数据源中收集数据，对数据进行清洗、转换、重构和整合，以便能够在一个统一的数据仓库或数据湖中进行存储和管理。
  • 数据集成可以帮助企业更好地理解和利用他们的数据，并促进数据驱动的决策和业务流程优化。在数据集成过程中，需要考虑数据质量、数据安全性、数据格式、数据结构等方面的问题，并采用适当的技术和工具来解决这些问题，例如 ETL（抽取、转换、加载）工具、数据映射工具、数据清洗工具、数据建模工具等。
  • 一般数据集成用到的工具主要有：Sqoop、DataX、或是本章讲解的 SeaTunnel，这三个工具都是数据转换集成工具，使用其中一个即可，其实也可以这样认为 Sqoop 是第一代，DataX 是第二代，SeaTunnel 是第三代工具，Sqoop 用的不是很多了，Datax 应该用的还是比较多的，SeaTunnel 是 Apache 顶级项目，也是最新代的数据集成工具，有兴趣的小伙跟随我的文章一起了解 SeaTunnel 工具。想了解 Sqoop 和 DataX 小伙伴可以查阅我以下文章：
  • [大数据Hadoop之——数据同步工具Sqoop]
  • [大数据Hadoop之——数据同步工具DataX]

未来源码|什么是数据集成？超全的SeaTunnel 集成工具介绍_第1张图片

二、ETL 又是什么？

前面的文章其实讲过 ETL，这里只是再次回顾以下，ETL 中的 E 是extract，数据抽取；T 是 Transform，代表数据的转换；L 代表Load，数据加载。

未来源码|什么是数据集成？超全的SeaTunnel 集成工具介绍_第2张图片

三、SeaTunnel 介绍

1）概述

Apache SeaTunnel 是一个分布式、高性能、易扩展、用于海量数据（离线&实时）同步和转化的数据集成平台，每天可稳定高效地同步数百亿数据，并具有 已用于生产近100家公司。

SeaTunnel 工作流程图：
未来源码|什么是数据集成？超全的SeaTunnel 集成工具介绍_第3张图片

2）SeaTunnel 的作用

SeaTunnel专注于数据集成和数据同步，主要针对解决数据集成领域的常见问题：

  • 各种数据源：有数百个常用数据源，其版本不兼容。随着新技术的出现，更多的数据源正在出现。用户很难找到能够完全快速支持这些数据源的工具。
  • 复杂同步场景：数据同步需要支持离线-全量同步、离线-增量同步、CDC、实时同步、数据库全量同步等多种同步场景。
  • 资源需求高：现有的数据集成和数据同步工具往往需要大量的计算资源或JDBC连接资源来完成海量小表的实时同步。这在一定程度上加重了企业的负担。
  • 缺乏质量和监控：数据集成和同步过程经常会遇到数据丢失或重复的情况。同步过程缺乏监控，无法直观地了解任务过程中数据的真实情况。
  • 复杂的技术栈：企业使用的技术组件不同，用户需要针对不同的组件开发相应的同步程序来完成数据集成。
  • 管理和维护难度大：受限于不同的底层技术组件（Flink/Spark），离线同步和实时同步往往分开开发和管理，增加了管理和维护的难度。

3）SeaTunnel 的特点

  • 丰富且可扩展的连接器：SeaTunnel 提供了一个不依赖于特定执行引擎的连接器 API。基于此 API 开发的连接器（源、转换、接收器）可以在许多不同的引擎上运行，例如当前支持的 SeaTunnel 引擎、Flink、Spark。
  • 连接器插件：插件设计允许用户轻松开发自己的连接器并将其集成到 SeaTunnel 项目中。目前，SeaTunnel已经支持100多个连接器，而且数量还在激增。有列表 当前支持的连接器
  • 批量流集成：基于 SeaTunnel 连接器API开发的连接器，完美兼容离线同步、实时同步、全同步、增量同步等场景。它大大降低了管理数据集成任务的难度。
    支持分布式快照算法，保证数据一致性。
  • 多引擎支持：SeaTunnel 默认使用 SeaTunnel 引擎进行数据同步。同时，SeaTunnel 还支持使用 Flink 或 Spark 作为连接器的执行引擎，以适应企业现有的技术组件。SeaTunnel 支持多个版本的 Spark 和 Flink。
  • JDBC多路复用，数据库日志多表解析：SeaTunnel支持多表或全数据库同步，解决了JDBC连接过多的问题;支持多表或全库日志读写解析，解决了CDC多表同步场景重复读取解析日志的问题。
  • 高吞吐、低时延：SeaTunnel 支持并行读写，提供稳定可靠的数据同步能力，高吞吐、低时延。
  • 完善的实时监控：SeaTunnel支持数据同步过程中每个步骤的详细监控信息，让用户轻松了解同步任务读写的数据数量、数据大小、QPS等信息。

4）Seatunnel 优势与缺点

优势

  • 简单易用，灵活配置，无需开发
  • 模块化和插件化
  • 支持利用SQL做数据处理和聚合
  • 由于其高度封装的计算引擎架构，可以很好的与中台进行融合，对外提供分布式计算能力

缺点

  • Spark支持2.2.0 - 2.4.8，不支持spark3.x
  • Flink支持1.9.0，目前flink已经迭代至1.14.x，无法向上兼容
  • Spark作业虽然可以很快配置，但相关人员还需要懂一些参数的调优才能让作业效率更优

5）核心理念

SeaTunnel 设计的核心是利用设计模式中的“控制翻转”或者叫“依赖注入”，主要概括为以下两点：

  • 上层不依赖底层，两者都依赖抽象；
  • 流程代码与业务逻辑应该分离。整个数据处理过程，大致可以分为以下几个流程：输入 -> 转换 -> 输出，对于更复杂的数据处理，实质上也是这几种行为的组合：

四、架构演进

再看 SeaTunnel 架构演进的过程，我们现在目前在做的一个事情就是从 v1 到 v2的架构改造和升级。
未来源码|什么是数据集成？超全的SeaTunnel 集成工具介绍_第4张图片

对于 V1 版本来讲，SeaTunnel 本质上是一个 ETL平台。而 V2 版本则向 ELT 的路线发展。基于整个架构和设计哲学的讨论，我们可以在https://github.com/apache/incubator-seatunnel/issues/1608 看到，如果有兴趣，可以去了解一下 SeaTunnel 架构演进的前世今生。

V1 架构

未来源码|什么是数据集成？超全的SeaTunnel 集成工具介绍_第5张图片

  • V1 架构中，SeaTunnel 的连接器和异构数据都是强依赖分布式计算引擎的，对于不同的计算引擎，会有不同的一个 API 层，连接器也都依赖着 Spark 和 Flink，已经开发好的连接器本质上也都是 Spark connector 和 Flink connecter。
  • 接入数据之后，再去对接入进来的数据进行转换，然后再进行写出。这套设计哲学虽然代码开发量很少，而且很多细节都不需要考虑，因为现在开源的 Spark、Flink的 connecotor 都已经给我们解决了大多数的问题，但实际上这也是一种弊端。第一，强依赖计算引擎，我们无法做到解耦，而且每当计算引擎做大版本升级的时候，就需要进行大量的底层改造，难度比较大。

V2架构
未来源码|什么是数据集成？超全的SeaTunnel 集成工具介绍_第6张图片

基于这些痛点，我们对 V 2 版本进行了重构。首先，V2 版本有了自己的一套API，也是有了自己的一套数据类型，就可以去开发自己的连接器，而不依赖任何引擎，接入的每一条数据都是 SeaTunnelRow，通过翻译层，把 SeaTunnelRow push 到对应的计算引擎里。

最后做一下总结，进行 V1 和 V2 架构的升级对比，到底我们做了哪些事情。
未来源码|什么是数据集成？超全的SeaTunnel 集成工具介绍_第7张图片

五、相关竞品及对比

SeaTunnel Engine性能测试

未来源码|什么是数据集成？超全的SeaTunnel 集成工具介绍_第8张图片
对比的工具有大家耳熟能详的 DataX，袋鼠云的Chunjun，可能对于Chunjun大家比较陌生，实际上它没改名之前叫 FlinkX，以及最近刚进入 Apache 孵化器的 StreamPark(原名 StreamX)。
未来源码|什么是数据集成？超全的SeaTunnel 集成工具介绍_第9张图片

六、SeaTunnel 部署和简单使用

1）安装 JDK

下载地址（也可去官网下载）：

链接：https://pan.baidu.com/s/1gOFkezOH-OfDcLbUmq6Dhw?pwd=szys
提取码：szys 
# jdk包在我下面提供的资源包里，当然你也可以去官网下载。tar -xf jdk-8u212-linux-x64.tar.gz# /etc/profile文件中追加如下内容：echo "export JAVA_HOME=`pwd`/jdk1.8.0_212" >> /etc/profileecho "export PATH=\$JAVA_HOME/bin:\$PATH" >> /etc/profileecho "export CLASSPATH=.:\$JAVA_HOME/lib/dt.jar:\$JAVA_HOME/lib/tools.jar" >> /etc/profile# 加载生效source /etc/profile

2）下载

export version="2.3.1"wget "https://archive.apache.org/dist/incubator/seatunnel/${version}/apache-seatunnel-incubating-${version}-bin.tar.gz"tar -xzvf "apache-seatunnel-incubating-${version}-bin.tar.gz"

3）安装接器插件

从 2.2.0-beta 开始，二进制包默认不提供连接器依赖，所以第一次使用时，我们需要执行以下命令来安装连接器：（当然也可以手动下载连接器 [Apache Maven Repository](https://repo.maven.apache.org/maven2/org/apache/seatunnel/ 下载，然后手动移动到连接器目录下的 Seatunnel 子目录）。

# config/plugin_config ，可以修改这个配置指定下载连接器，会下载到这个目录下connectors/seatunnel/cd apache-seatunnel-incubating-${version}sh bin/install-plugin.sh 2.3.1

4）快速开始

config/v2.batch.conf.template

env {  execution.parallelism = 1  job.mode = "BATCH"}source {    FakeSource {      result_table_name = "fake"      row.num = 16      schema = {        fields {          name = "string"          age = "int"        }      }    }}sink {  Console {}}

启动应用程序：

cd "apache-seatunnel-incubating-${version}"# 连接器：connectors/seatunnel/connector-fake-2.3.1.jar./bin/seatunnel.sh --config ./config/v2.streaming.conf.template -e local

未来源码|什么是数据集成？超全的SeaTunnel 集成工具介绍_第10张图片

5）快速开始使用 Flink

编辑 config/v2.streaming.conf.template，决定了海隧道启动后数据输入、处理和输出的方式和逻辑。下面是配置文件的示例，与上面提到的示例应用程序相同。

env {  execution.parallelism = 1  job.mode = "BATCH"}source {    FakeSource {      result_table_name = "fake"      row.num = 16      schema = {        fields {          name = "string"          age = "int"        }      }    }}sink {  Console {}}

启动应用程序（Flink 版本之间 1.15.x 和 1.16.x）：

cd "apache-seatunnel-incubating-${version}"./bin/start-seatunnel-flink-15-connector-v2.sh --config ./config/v2.streaming.conf.template

这里只是演示了官方文档里的简单示例，有兴趣的话，可以去实验其它的数据转换场景。其实转换的思路跟之前的软件都是一样的，有任何疑问欢迎给我留言，后续会更新相关技术类的文章，请小伙伴耐心等待，可关注我的公众号【大数据与云原生技术分享】加群交流或私信交流~

你可能感兴趣的:(androidios)

  • 《App架构师》 詹徐照
    《App架构师》内容非常丰富，总结了AndroidiOS开发所涉及的方方面面的知识。书中包含了数十个思维导图，对App的知识进行了非常好的梳理。App架构师.png脑图链接：http://naotu.baidu.com/file/c2c6c9db101f88679c6beb12a4ad1e08?token=022dfe1a95944670
  • ionic3 项目使用Cordova自定义插件 星辰大海_王
    PS：Ionic为什么要用Cordova插件？先看下Ionic是什么？Ionic(ionicframework)一款开源的Html5移动App开发框架,是以AngularJS为基础的移动端解决方案,Ionic以流行的跨平台移动app开发框架phoengap为蓝本，让开发者可以通过命令行工具快速生成androidios移动app应用。phoengap又是什么？PhoneGap是ApacheCordo
  • “知你所想”企划书 羊羊羊羊羊阳
    1.2017.11.293：30pm萌生了一个想法，想要做一款很厉害的软件androidios各有一版2.想法：现在是一个互联网时代，我们了解消息不再只是通过问亲朋好友，而是更多的从网上搜集那些更加广泛的答案。举个例子。最近我想看牙，我时间还算是充裕，北京那么大，我想要找一个性价比高的牙科医院。我肯定会从网上搜集信息啊，知乎、豆瓣、百度、大众点评等等，消息面很广，很杂。为什么市面上没有一款软件是包
  • UIRecorder安装、录制、回放 肥钛狼 测试开发测试node.jsmacacauirecorder
    Github地址：https://github.com/alibaba/uirecorder/blob/master/README_zh-cn.mdUIRecorder使用手册：https://www.yuque.com/artist/uirecorder/zslbnp支持androidios和pc端的自动化脚本录制。无线nativeapp(Android,iOS)录制是，是基于macaca实现的
  • 自己开发一种编程语言,可以同时开发鸿蒙,Android ios的三个平台的应用 王家视频教程图书馆 harmonyosandroidios
    我想要开发一种可以在，鸿蒙操作系统，Android操作系统，和ios操作系统运行的，编程语言,意思是自己开发一种编程语言,可以同时开发鸿蒙,Androidios的三个平台的应用,请问怎么实现,需要哪些技术,flutter为什么可以开发Android,ios应用要开发一种可以在鸿蒙操作系统、Android操作系统和iOS操作系统上运行的编程语言，需要考虑以下几个方面：语言设计：首先需要设计一种语言，
  • 【selenium】自动化使用 chrome 的 user-data-dir jwensh #效率/接口.性能.自动化#Selenium｜Appiumselenium自动化chrome
    [email protected]文章目录背景当前位置默认位置windowsMacOSXLinuxChrome操作系统AndroidiOS系统覆盖用户数据目录命令行环境（Linux）编写AppleScript包装器(MacOSX)用户缓存目录在MacOSX和iOS上，用户缓存目录源自配置文件目录，如下所示：MacOSX：在Linux上，用户缓存目录源自配置文件目录，如下所示：Linux：背景用户数
  • android如何修改视频的分辨率,Android录制视频，视频压缩，设置分辨率，设置视频名称... 爱穿搭的阿远
    更新记录V1.0.1(2019-09-11)1.0.1(2019-09-11)整体功能实现uni-app在Android平台上录制视频，支持设置分辨率和视频名称，有取消、重录和保存视频功能平台兼容性AndroidiOS适用版本区间：9.0-11.0×原生插件通用使用流程：购买插件，选择该插件绑定的项目。在HBuilderX里找到项目，在manifest的app原生插件配置中勾选模块，如需要填写参数
  • 11-04-react路由基础 ange997 11-react
    路由简介react中，使用路由的是react-routerreactreact.js类似于vue.jsweb(BS构架的项目）react-native简称RN开发原生APP（androidios）react-routerreact-router：是下面两种的基础，浏览器和原生app的通用部分react-router-dom：用于浏览器端react-router-navtive：用于原生apprea
  • 源码多多-教你修改或删除DZ“用掌上论坛访问本站，拥有更好阅读体验 分享产生价值
    打开/template/default/mobile/common/header.htm最后一行：删除，则不显示“用掌上论坛访问本站，拥有更好阅读体验”或者将它改为其它文字介绍。例如：请下载本站手机客户端：AndroidIOS则修改为以下代码请下载顺风信息手机客户端:"target="_blank">SymbianAndroid复制代码注意：如何修改的是汉字，要转换成UTF才可以，用这个转换htt
  • Axure 实现产品原型侧边栏效果 火柴大男人
    1:当前手机APP绝大部分采用的是微信这种布局方式早已审美疲劳2:今天我们要讲的是另一种比较流行,交互方式其实很多应用都会加一些侧栏的交互比如QQ但说到彻底使用侧边栏来主交互效果的是的二弟3:这种效果在AndroidiOS开发中早已有大牛写好框架了比如iOS中的MMDrawerController而我们今天要说的是在AUXRE做产品原型时如何实现。4：在这里吐槽一下笔者作为程序员也待过几家公司，但
  • 【干货】5款学生党必备的免费神器（上篇） 巍笑小仙女
    开学不努力，考试徒伤悲。时间飞逝，转眼开学已经一个多月了，童鞋们是否进入学习状态了呢？下面就给大家安利10款好用的工具，帮助大家提高学习效率，快速进入学习状态！1.小日常传送门：AndroidiOS小日常是一个习惯追踪应用，可以将自己每日的计划都安排在里面。大到阅读、背单词、练习新技能、小到喝水和转眼运动，都可以在这里记录。不仅如此，还可以设定习惯提醒时间。App还会记录你坚持了多久，为你坚持学习
  • Flutter以友盟umeng为例开发插件全过程(自建私人仓库) 三也视界
    flutter_umeng_plus插件可实现的功能：同时适配于AndroidIos两个平台实现友盟多渠道统计实现页面的进入与退出统计实现自定义事件的统计https://zhuanlan.zhihu.com/p/102749769https://github.com/dongweiq/flutter_umpushhttps://github.com/jpush/jverify-flutter-pl
  • flutter面试题 后山的猫咪 程序员面试flutterandroidios
    文章目录1、Dart当中的「…」表示什么意思？2、Dart的作用域3、Dart是不是单线程模型？是如何运行的？4、说一下Future？5、说一下Stream？6、说一下mixin？7、StatefulWidget的生命周期8、Flutter如何与AndroidiOS通信？9、dart是什么，和flutter有什么关系？10、main()和runApp()函数在flutter的作用分别是什么？有什么
  • flutter获取Android照片,Flutter Image实现图片加载 圆的方块
    Image简介Androidios原生中使用ImageView来加载显示图片。在flutter中通过Image来加载并显示图片。所有的widget并不是直接绘制图片的，而是控制的图片的主要属性的容器，负责绘制的是RenderObject，他们中间是通过ElementTree来联系起来。有了这个基础后，所有的widget都不会提供画布(canvas)来直接绘制imageRawImage这是一个最基础
  • Linux(超级详细) JavacKaka Linuxlinux服务器运维
    个人相关ip信息Linux简介不同应用领域的主流操作系统桌面操作系统windowsMacOSLinux服务器OSUNIXLinuxWindowsServer移动设备Androidios嵌入式操作系统Linux(交换机等)Linux发展历史和系统版本企业级应用：RHEL/CentOS桌面平台：Ubuntu开源服务器：CentOS现如今我们一般称Linux为GNU/Linux。Linux实际上只是⼀个
  • android学习笔记之一：快速入门 wyu_yc Android学习笔记android
    1.手机制式1G-4G1G(第一代模拟制式手机):大哥大特点：安全性差，容易受干扰，通话不稳定，不能发短信2G(第二代GSM、CDMA等数字手机):小灵通等功能机特点：通话质量稳定，可以发短信彩信，简单wap上网，支持一些简单的java游戏3G(第三代移动通信技术):androidios等智能手机特点：上网快了很多,能够处理图像，音乐，视频流等多种媒体形式.4G(第四代移动电话行动通信):lte,
  • 蓝松短视频----更新日志(一直更新中...) sno_guo 蓝松SDKandroid学习
    (这个文章,因工作忙,有时文字不会更新到这里,如果您想全面了解我们的SDK,请直接下载)下载地址:android:https://github.com/LanSoSdk/video-edit-sdk-androidIOS:https://github.com/LanSoSdk/video-edit-sdk-ios以下是我们的SDK版本更新日志:蓝松视频编辑SDK更新至4.5.0具体细节是:IOS:
  • Ionic 部署 澜秋
    Ionic是一款开源的Html5移动App开发框架，是AngularJs移动端解决方案,Ionic以流行的跨平台移动App开发框架PhoneGap为蓝本，让开发者可以通过命令行工具快速生成AndroidIos移动App应用。部署生成Android、IosApp的方式一、命令行方式1.1、在配置好Node.js和npm的环境后，用npm命令安装最新版本的cordova和Ionicwindows$np
  • iOS DSBridge 原生与Js交互 Jessica124
    DSBridge是比较好用的原生与JS交互跨平台的jsbridge，支持iOS、安卓。git地址：https://github.com/wendux/DSBridge-IOShttps://github.com/wendux/DSBridge-AndroidiOS端用法简介pod安装pod"dsBridge"使用1、ImplementAPIsinaclass//JsApiTest.m@implem
  • Flutter 实现自动登录 xq9527
    前言:在原生的andriod和iOSapp里面都会有自动登录的功能今天我就用flutter来给大家实现双端的自动登录功能Android端用的是Sharedpreferences来实现对于轻量级数据的缓存,IOS端通常使用NSUserDefaults来实现轻量级数据的缓存但是在flutter有基于AndroidiOS做支持的三方插件库shared_preferences1准备工作需要用的三方库sha
  • h5 省略号 完美 适配 ios android cain07
    发现在androidios部分手机中低版本手机超长省略号不起作用有可能是控件写法也可能是低版本不支持省略号我做了个头像下面作者名称超长不显示省略号写法如下部分手机不起作用.item{font-size:12px;font-family:'GillSans','GillSansMT',Calibri,'TrebuchetMS',sans-serif;overflow:hidden;width:80p
  • 原生（IOS，Android）跳转到Flutter的传值 小白奔哥
    Flutter与AndroidiOS原生的通信有以下四种方式:BasicMessageChannel实现Flutter与原生(Android、iOS)双向通信（转载https://blog.csdn.net/zl18603543572/article/details/96043692）MethodChannel实现Flutter与原生原生(Android、iOS)双向通信EventChannel实
  • 卖家前端错误日志 大大大大大大的大大
    事件类型事件key属性属性key取值必传AndroidiOS网络错误log_error_network标签tag（暂时为空）否业务逻辑错误log_error标签日志分类：网络错误：网络层报错信息；event：log_error_network；参数：tag，message业务逻辑错误：业务层，包括代码逻辑错误，接口返回数据错误等；event：log_error；参数：tag，message系统错误
  • 移动APP测试22条军规 xiangxiangUUU
    1、设备和平台操作系统设备硬件屏幕尺寸分辨率像素密度2、移动网络切换网络切换异常处理提示networklinkconditioner3、多任务处理app切换处理恢复流畅度4、手势操作应用手势操作系统手势5、用户体验横竖屏辅助功能accessibility一致性webview6、通知和信息权限传感器通知栏消息推送7、操作系统特性androidiOS8、不同设备信息同步一处改变多处同步9、特定设备三星
  • react-native出现编译模块找不到 丰柏林 react-nativereactnativereact.jsjavascript
    RNSScreenStackHeaderConfig”wasnotfoundintheUIManager出现的原因为本地虽然安装了某些包但是并没有打包安装到手机上android使用npxreact-nativerun-androidios使用npxreact-nativerun-ios这样会让应用重新编译安装运行
  • 使用flutter控制蓝牙通讯_Android与flutter 的消息通讯 行走的瓶子Yolo 使用flutter控制蓝牙通讯
    Flutter与AndroidiOS原生的通信有以下三种方式BasicMessageChannel：用于传递字符串和半结构化的信息，Flutter和平台端进行消息数据交换时候可以使用。MethodChannel：用于传递方法调用(methodinvocation)，Flutter和平台端进行直接方法调用时候可以使用。EventChannel：用于数据流(eventstreams)的通信，Flutt
  • Flutter接入字节跳动穿山甲小说、视频内容合作
    最近字节开放了内容输出sdk，可以直接在应用中插入小说、视频内容。应小伙伴的需求开发了flutter_pangrowth插件，方便在flutter中直接使用字节提供的小说、视频等内容。体验demo仓库地址说明使用flutter_pangrowth插件，必须先接入穿山甲广告插件flutter_unionad,不然无法显示广告接入文档Androidios本地环境[✓]Flutter(Channelst
  • React Native 之 SwipeableFlatList 组件 爱吃豆包
    react-native侧滑组件SwipeableFlatList单项侧滑解决SwipeableFlatList组件是rn0.50出的提供androidios侧滑删除效果如下image.png/***SampleReactNativeApp*https://github.com/facebook/react-native**@format*@flow*/importReact,{Component
  • flutter友盟分享_Flutter中使用友盟统计 网易游戏雷火事业群 flutter友盟分享
    题记——执剑天涯，从你的点滴积累开始，所及之处，必精益求精，即是折腾每一天。重要消息可以用来加载Html页面，以实现Android中WebView或者是iOS中的UIWebView中的功能。开发插件要具备的知识：flutter_fai_umeng插件可实现的功能：同时适配于AndroidIos两个平台实现友盟多渠道统计实现页面的进入与退出统计实现自定义事件的统计实现错误信息的统计1开始使用1基本使
  • Flutter实现仿微信分享功能的示例代码
    目录1.首先去pub官网2在微信开放平台注册开发者账号以及创建你的应用程序3在分享页面3.1初始化3.2检测微信是否安装3.3分享微信消息总结本文设计到的知识点有主要问题Flutter用来快速开发AndroidiOS平台应用，在Flutter中，通过fluwx或者fluwx_no_pay插件来实现微信分享功能主要还是看自己的需求，本示例我将按照没有支付的实现。至于为什么，主要是ios打包提审比较麻
  • java责任链模式 3213213333332132 java责任链模式村民告县长
    责任链模式，通常就是一个请求从最低级开始往上层层的请求，当在某一层满足条件时，请求将被处理，当请求到最高层仍未满足时，则请求不会被处理。 就是一个请求在这个链条的责任范围内，会被相应的处理，如果超出链条的责任范围外，请求不会被相应的处理。 下面代码模拟这样的效果： 创建一个政府抽象类,方便所有的具体政府部门继承它。 package 责任链模式; /** *
  • linux、mysql、nginx、tomcat 性能参数优化 ronin47
    一、linux 系统内核参数 /etc/sysctl.conf文件常用参数 net.core.netdev_max_backlog = 32768 #允许送到队列的数据包的最大数目 net.core.rmem_max = 8388608 #SOCKET读缓存区大小 net.core.wmem_max = 8388608 #SOCKET写缓存区大
  • php命令行界面 dcj3sjt126com PHPcli
    常用选项 php -v php -i PHP安装的有关信息 php -h 访问帮助文件 php -m 列出编译到当前PHP安装的所有模块 执行一段代码 php -r 'echo "hello, world!";' php -r 'echo "Hello, World!\n";' php -r '$ts = filemtime("
  • Filter&Session 171815164 session
    Filter HttpServletRequest requ = (HttpServletRequest) req; HttpSession session = requ.getSession(); if (session.getAttribute("admin") == null) { PrintWriter out = res.ge
  • 连接池与Spring,Hibernate结合 g21121 Hibernate
            前几篇关于Java连接池的介绍都是基于Java应用的，而我们常用的场景是与Spring和ORM框架结合，下面就利用实例学习一下这方面的配置。         1.下载相关内容：     &nb
  • [简单]mybatis判断数字类型 53873039oycg mybatis
           昨天同事反馈mybatis保存不了int类型的属性,一直报错，错误信息如下:       Caused by: java.lang.NumberFormatException: For input string: "null" at sun.mis
  • 项目启动时或者启动后ava.lang.OutOfMemoryError: PermGen space 程序员是怎么炼成的 eclipsejvmtomcatcatalina.sheclipse.ini
       在启动比较大的项目时，因为存在大量的jsp页面，所以在编译的时候会生成很多的.class文件，.class文件是都会被加载到jvm的方法区中，如果要加载的class文件很多，就会出现方法区溢出异常 java.lang.OutOfMemoryError: PermGen space.     解决办法是点击eclipse里的tomcat，在
  • 我的crm小结 aijuans crm
    各种原因吧，crm今天才完了。主要是接触了几个新技术： Struts2、poi、ibatis这几个都是以前的项目中用过的。 Jsf、tapestry是这次新接触的，都是界面层的框架，用起来也不难。思路和struts不太一样，传说比较简单方便。不过个人感觉还是struts用着顺手啊，当然springmvc也很顺手，不知道是因为习惯还是什么。jsf和tapestry应用的时候需要知道他们的标签、主
  • spring里配置使用hibernate的二级缓存几步 antonyup_2006 javaspringHibernatexmlcache
    ．在spring的配置文件中 applicationContent.xml，hibernate部分加入 xml 代码 <prop key="hibernate.cache.provider_class">org.hibernate.cache.EhCacheProvider</prop> <prop key="hi
  • JAVA基础面试题 百合不是茶 抽象实现接口String类接口继承抽象类继承实体类自定义异常
    /*   * 栈（stack）：主要保存基本类型（或者叫内置类型）（char、byte、short、   *int、long、 float、double、boolean）和对象的引用，数据可以共享，速度仅次于   * 寄存器（register），快于堆。堆（heap）：用于存储对象。   */  &
  • 让sqlmap文件 "继承" 起来 bijian1013 javaibatissqlmap
            多个项目中使用ibatis , 和数据库表对应的 sqlmap文件（增删改查等基本语句)，dao, pojo 都是由工具自动生成的, 现在将这些自动生成的文件放在一个单独的工程中，其它项目工程中通过jar包来引用 ，并通过"继承"为基础的sqlmap文件，dao,pojo 添加新的方法来满足项
  • 精通Oracle10编程SQL(13)开发触发器 bijian1013 oracle数据库plsql
    /* *开发触发器 */ --得到日期是周几 select to_char(sysdate+4,'DY','nls_date_language=AMERICAN') from dual; select to_char(sysdate,'DY','nls_date_language=AMERICAN') from dual; --建立BEFORE语句触发器 CREATE O
  • 【EhCache三】EhCache查询 bit1129 ehcache
    本文介绍EhCache查询缓存中数据，EhCache提供了类似Hibernate的查询API，可以按照给定的条件进行查询。   要对EhCache进行查询，需要在ehcache.xml中设定要查询的属性   数据准备 @Before public void setUp() { //加载EhCache配置文件 Inpu
  • CXF框架入门实例 白糖_ springWeb框架webserviceservlet
    CXF是apache旗下的开源框架，由Celtix + XFire这两门经典的框架合成，是一套非常流行的web service框架。 它提供了JAX-WS的全面支持，并且可以根据实际项目的需要，采用代码优先（Code First）或者 WSDL 优先（WSDL First）来轻松地实现 Web Services 的发布和使用，同时它能与spring进行完美结合。 在apache cxf官网提供
  • angular.equals boyitech AngularJSAngularJS APIAnguarJS 中文APIangular.equals
    angular.equals   描述: 比较两个值或者两个对象是不是 相等。还支持值的类型，正则表达式和数组的比较。   两个值或对象被认为是 相等的前提条件是以下的情况至少能满足一项： 两个值或者对象能通过=== （恒等） 的比较 两个值或者对象是同样类型，并且他们的属性都能通过angular
  • java-腾讯暑期实习生-输入一个数组A[1,2,...n]，求输入B，使得数组B中的第i个数字B[i]=A[0]*A[1]*...*A[i-1]*A[i+1] bylijinnan java
    这道题的具体思路请参看 何海涛的微博：http://weibo.com/zhedahht import java.math.BigInteger; import java.util.Arrays; public class CreateBFromATencent { /** * 题目：输入一个数组A[1,2,...n]，求输入B，使得数组B中的第i个数字B[i]=A
  • FastDFS 的安装和配置 修订版 Chen.H linuxfastDFS分布式文件系统
    FastDFS Home:http://code.google.com/p/fastdfs/ 1. 安装 http://code.google.com/p/fastdfs/wiki/Setup http://hi.baidu.com/leolance/blog/item/3c273327978ae55f93580703.html 安装libevent (对libevent的版本要求为1.4.
  • [强人工智能]拓扑扫描与自适应构造器 comsci 人工智能
          当我们面对一个有限拓扑网络的时候,在对已知的拓扑结构进行分析之后,发现在连通点之后,还存在若干个子网络,且这些网络的结构是未知的,数据库中并未存在这些网络的拓扑结构数据....这个时候,我们该怎么办呢?       那么,现在我们必须设计新的模块和代码包来处理上面的问题
  • oracle merge into的用法 daizj oraclesqlmerget into
    Oracle中merge into的使用 http://blog.csdn.net/yuzhic/article/details/1896878 http://blog.csdn.net/macle2010/article/details/5980965 该命令使用一条语句从一个或者多个数据源中完成对表的更新和插入数据. ORACLE 9i 中，使用此命令必须同时指定UPDATE 和INSE
  • 不适合使用Hadoop的场景 datamachine hadoop
    转自：http://dev.yesky.com/296/35381296.shtml。 　　Hadoop通常被认定是能够帮助你解决所有问题的唯一方案。 当人们提到“大数据”或是“数据分析”等相关问题的时候，会听到脱口而出的回答：Hadoop!  实际上Hadoop被设计和建造出来，是用来解决一系列特定问题的。对某些问题来说，Hadoop至多算是一个不好的选择，对另一些问题来说，选择Ha
  • YII findAll的用法 dcj3sjt126com yii
    看文档比较糊涂，其实挺简单的： $predictions=Prediction::model()->findAll("uid=:uid",array(":uid"=>10));   第一个参数是选择条件：”uid=10″。其中:uid是一个占位符，在后面的array(“:uid”=>10)对齐进行了赋值； 更完善的查询需要
  • vim 常用 NERDTree 快捷键 dcj3sjt126com vim
    下面给大家整理了一些vim NERDTree的常用快捷键了，这里几乎包括了所有的快捷键了，希望文章对各位会带来帮助。 切换工作台和目录 ctrl + w + h 光标 focus 左侧树形目录ctrl + w + l 光标 focus 右侧文件显示窗口ctrl + w + w 光标自动在左右侧窗口切换ctrl + w + r 移动当前窗口的布局位置 o 在已有窗口中打开文件、目录或书签，并跳
  • Java把目录下的文件打印出来 蕃薯耀 列出目录下的文件文件夹下面的文件目录下的文件
    Java把目录下的文件打印出来 >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> 蕃薯耀 2015年7月11日 11:02:
  • linux远程桌面----VNCServer与rdesktop hanqunfeng Desktop
    windows远程桌面到linux，需要在linux上安装vncserver，并开启vnc服务，同时需要在windows下使用vnc-viewer访问Linux。vncserver同时支持linux远程桌面到linux。   linux远程桌面到windows，需要在linux上安装rdesktop，同时开启windows的远程桌面访问。   下面分别介绍，以windo
  • guava中的join和split功能 jackyrong java
    guava库中，包含了很好的join和split的功能，例子如下： 1） 将LIST转换为使用字符串连接的字符串    List<String> names = Lists.newArrayList("John", "Jane", "Adam", "Tom");
  • Web开发技术十年发展历程 lampcy androidWeb浏览器html5
    回顾web开发技术这十年发展历程： Ajax 03年的时候我上六年级，那时候网吧刚在小县城的角落萌生。传奇，大话西游第一代网游一时风靡。我抱着试一试的心态给了网吧老板两块钱想申请个号玩玩，然后接下来的一个小时我一直在，注，册，账，号。 彼时网吧用的512k的带宽，注册的时候，填了一堆信息，提交，页面跳转，嘣，”您填写的信息有误，请重填”。然后跳转回注册页面，以此循环。我现在时常想，如果当时a
  • 架构师之mima-----------------mina的非NIO控制IOBuffer(说得比较好) nannan408 buffer
    1.前言。   如题。 2.代码。   IoService IoService是一个接口，有两种实现：IoAcceptor和IoConnector；其中IoAcceptor是针对Server端的实现，IoConnector是针对Client端的实现；IoService的职责包括： 1、监听器管理 2、IoHandler 3、IoSession
  • ORA-00054:resource busy and acquire with NOWAIT specified Everyday都不同 oraclesessionLock
    [Oracle] 今天对一个数据量很大的表进行操作时，出现如题所示的异常。此时表明数据库的事务处于“忙”的状态，而且被lock了，所以必须先关闭占用的session。   step1，查看被lock的session：   select t2.username, t2.sid, t2.serial#, t2.logon_time from v$locked_obj
  • javascript学习笔记 tntxia JavaScript
      javascript里面有6种基本类型的值:number、string、boolean、object、function和undefined。number：就是数字值，包括整数、小数、NaN、正负无穷。string:字符串类型、单双引号引起来的内容。boolean:true、false object:表示所有的javascript对象，不用多说function:我们熟悉的方法，也就是
  • Java enum的用法详解 xieke90 enum枚举
    Java中枚举实现的分析：     示例：  public static enum SEVERITY{ INFO,WARN,ERROR }     enum很像特殊的class，实际上enum声明定义的类型就是一个类。 而这些类都是类库中Enum类的子类      (java.l
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他