山茶花开时。
山茶花开时。

[Kettle] Excel输入

Excel文件采用表格的形式，数据显示直观，操作方便

Excel文件采用工作表存储数据，一个文件有多张不同名称的工作表，分别存放相同字段或不同字段的数据

数据源

物理成绩(Kettle数据集2).xls icon-default.png?t=N7T8https://download.csdn.net/download/Hudas/88509178?spm=1001.2014.3001.5501

[Kettle] Excel输入_第1张图片

1. 建立【Excel输入】转换工程

使用Ctrl+N快捷键，创建【转换1】转换工程，单击【核心对象】选项卡，展开【输入】对象，选中【Excel输入】组件，并拖曳到右边工作区中，如下图所示

[Kettle] Excel输入_第2张图片

2. 设置【Excel输入】组件参数

双击【Excel输入】组件，弹出【Excel输入】对话框，其中显示默认的【文件】对话框，如下图所示

[Kettle] Excel输入_第3张图片

需要注意的是，【Excel输入】对话框下方的【预览记录】按钮是灰色的，表示不能单击该按钮

在【Excel输入】对话框中，包含组件的基础参数，以及【文件】【工作表】【内容】【错误处理】【字段】【其他输出字段】6个选项卡的参数

【文件】【工作表】【字段】选项卡的参数是必填项 (没有设置参数时，选项卡名称前面会显示"！"符号，表示是必填项，设置参数后"！"符号会消失)，并且必须按照【文件】【工作表】【字段】选项卡的顺序设置，其他为可选项

【文件】选项卡参数

在【文件】选项卡参数的说明如下表所示

参数名称

说明
表格类型（引擎）

表示Excel文件的表格类型，类型如下
Excel 97-2003 XLS：JXL软件后端提供向后兼容类型
Excel 2007 XLSX (Apache POI)：读取所有已知的Excel文件类型
Excel 2007 XLSX (Apache POI流)：读取大型Excel文件
Open Office ODS：使用ODFDOM引擎读取OpenOffice电子表格
默认为Excel 97-2003 XLS

文件或目录

 表示要输入的Excel文件或所在的目录，可以单击【浏览】按钮获取Excel文件或目录。默认值为空

正则表达式

 表示使用正则表达式，获取文件相应的Excel文件。使用正则表达式，可以动态匹配获取多个Excel文件。默认值为空
正则表达式（排除）

表示排除型的正则表达式，与正则表达式相反，使用排除型的正则表达式，排除掉匹配文件，而获取不匹配的Excel文件。默认值为空

password

 表示读取Excel文件的密码。一些Excel文件有读取密码，因此要输入密码才能获取，默认值为空

文件和目录

 表示选中的Excel文件或目录，单击【增加】按钮，读入经过浏览获取的文件和目录
通配符号 表示使用通配符号选中Excel文件或目录。配置符合通配符号规则的多个Excel文件
通配符号(排除) 表示使用排除性通配符号选中Excel文件或目录。配置符合通配符号（排除）规则外的其他多个Excel文件
要求 表示配置所需的源文件的位置
包括子目录 表示是否包括子目录的文件
选中的文件

表示选中的Excel文件列表。通过单击【增加】按钮将文件或目录添加到列表中，并进行参数设置，参数有：【文件/目录】【通配符号】【通配符号(排除)】【要求】【包括子目录】等参数，有关参数的说明如下表所示。至少要有一个选中的Excel文件，默认值为空
从前面的步骤获取文件名 表示是否从前面组件（步骤）读取文件名，如果选择是，则不用本组件获取Excel文件，而是从前面步骤的组件中读取文件、并保存文件的字段名。默认值为空

在【文件】选项卡中，设置参数，并导入“物理成绩.xls”文件，步骤如下所示

(1) 浏览导入Excel文件

单击【浏览(B)…】按钮，在计算机上浏览并导入“物理成绩.xls”文件，如下图所示

[Kettle] Excel输入_第4张图片

(2) 添加并编辑Excel文件

单击【增加】按钮，将【文件或目录】输入框中的"C:\Users\HP\Desktop\物理成绩.xls"文件，添加至【选中的文件】表中，如下图所示

[Kettle] Excel输入_第5张图片

如果选中的文件有问题，那么单击【删除】或【编辑】按钮，即可对选中的Excel文件进行编辑。其中，单击【选中的文件】表的行号，再单击【删除】按钮，即可删除选中所在行的文件 

(3) 查看被选中的文件名称

单击【显示文件名称…】按钮，弹出【文件读取】对话框，查看被选中读取的文件，如下图所示

[Kettle] Excel输入_第6张图片

重复步骤(1)~(3)，可以添加多个Excel文件，并查看读取的文件名称 

提示Tips

另外，如果需要导入同一个目录下的多份名称类似的文件，如导入同一个目录下名称分别为“物理成绩.xls”“物理成绩1.xls”和“物理成绩2.xls”的文件

[Kettle] Excel输入_第7张图片

我们可以使用通配符的方式导入，具体操作是在【选中的文件】参数表中，在【文件/目录】输入框中键入“C:\Users\HP\Desktop\”，在【通配符号】输入框中键入“物理成绩*.\.xls”，可以一次性读入这3个文件，如图所示

[Kettle] Excel输入_第8张图片

【工作表】选项卡参数 

单击【工作表】选项卡，如下图所示

[Kettle] Excel输入_第9张图片

在【要读取的工作表列表】表中设置工作表参数，获取导入的Excel文件的工作表，【工作表】选项卡参数的说明如下表所示

参数名称 说明
工作表名称

表示Excel文件的工作表名称。可以是一个Excel文件、多个工作表，也可以是多个Excel文件、多个工作表。不同的文件，工作表名称可以相同。默认值为空
起始行 表示要读取的工作表中的开始行，行号是从0开始。默认值为空
起始列 表示要读取的工作表中的开始列，列号是从0开始。默认值为空

在【工作表】选项卡中，设置导入的Excel文件的工作表参数，步骤如下所示

(1) 获取选中文件的工作表

单击【获取工作表名称…】按钮，弹出【输入列表】对话框，左边【可用项目】列表列出选中文件的所有工作表，如"物理成绩.xls"文件的"Sheet1"工作表，而右边【你的选择】列表列出被选中的工作表，如图所示

[Kettle] Excel输入_第10张图片

(2)选择工作表

在【输入列表】对话框中，单击中间的【>】【>>】【<】【<<】按钮，可以在左、右列表中，选中或移除工作表，有关按钮说明如下表所示

按钮 说明
> 表示右移按钮，选择左边【可用项目】列表中一个工作表，移到右边【你的选择】列表中

<

 表示左移按钮，将右边【你的选择】列表中的一个工作表移回到左边【可用项目】列表中，与【>】按钮操作相反
>> 表示右移批处理按钮，将左边【可用项目】列表中的所有工作表，移到右边【你的选择】列表中
<< 表示左移批处理按钮，将右边【你的选择】列表中的所有工作表，移回到左边【可用项目】列表中，与【>>】按钮操作相反

在【输入列表】对话框中，将左边【可用项目】工作表"Sheet1"选中移到右边【你的选择】表中 

[Kettle] Excel输入_第11张图片

[Kettle] Excel输入_第12张图片

(3) 设置选中的工作表参数

单击【确定】按钮，将【你的选择】列表选中的“Sheet1”工作表添加至【要读取的工作表列表】表中进行参数设置，【起始行】和【起始列】参数都设置为"0"，此时完成【工作表】选项卡参数的设置，如下图所示

[Kettle] Excel输入_第13张图片

提示Tips

如果导入的Excel文件中的每个工作表的字段结构都相同，那么在【要读取的工作表列表】表中的第1行，不设置任何工作表名称(即【工作表名称】输入栏留空)，只需设置第1行的【起始行】和【起始列】输入栏参数，这样的设置是读取所有的工作表，即第1行将用于所有工作表

【字段】选项卡参数

单击【字段】选项卡，如下图所示

[Kettle] Excel输入_第14张图片

在【字段】选项卡中，设置"物理成绩.xls"文件中字段的参数，步骤如下所示

(1) 获取字段

单击【获取头部数据的字段…】按钮，添加字段到【字段】表中设置字段参数，如下图所示

[Kettle] Excel输入_第15张图片

(2) 设置字段参数

对字段参数进行设置，如下图所示，此时完成【字段】选项卡参数的设置

[Kettle] Excel输入_第16张图片

当获取字段后，【Excel输入】对话框下方【预览记录】按键的字体显示为黑色，说明此时可以预览数据

提示Tips

需要说明的是，如果有些Excel文件的文件头部没有字段数据，那么系统会自动生成默认的字段名称，也可以重新编辑字段名称，字段的类型、长度等字段属性

【内容】选项卡参数

单击【内容】选项卡，如下图所示

[Kettle] Excel输入_第17张图片

对读取Excel文件内容进行参数设置，一般按照缺省值配置，参数的说明如下表所示

参数名称 说明
头部 表示对选中的工作表是否包含表头行。默认值为√
非空记录 表示是否在输出中不出现空行(记录)。默认值为√
停在空记录 表示当读取记录遇到空行时，选择是否停止读取文件的当前工作表。默认值为空
限制 表示限制生成的记录数量。当设置为0时，结果不受限制。默认值为0
编码 表示读入的文本文件编码。第一次使用时，Kettle会在系统中搜索可用的编码。使用Unicode的，请指定UTF-8或UTF-16。默认值为Kettle系统的编码

【错误处理】选项卡参数 

单击【错误处理】选项卡，如下图所示，可对获取Excel文件时产生的错误处理参数进行设置，检查和定位错误位置，一般按照缺省值配置

[Kettle] Excel输入_第18张图片

【其他输出字段】选项卡参数

单击【其他输出字段】选项卡，如下图所示

[Kettle] Excel输入_第19张图片

对Excel文件的其他输出字段参数进行设置，用于指定处理文件的附加信息，默认值为空，一般按照缺省值配置，有关参数的说明如下表所示

字段参数 说明
文件名称字段 表示指定完整的文件名称和扩展名的字段。默认值为空
工作表名称字段 表示指定要使用的工作表名称的字段。默认值为空
表单的行号列 表示指定要使用的当前工作表行号字段。默认值为空
行号列 表示指定写入行数的字段。默认值为空
文件名字段 表示指定文件名但没有路径信息、但有扩展名的字段。默认值为空
扩展字段 表示指定文件名扩展名的字段。默认值为空
路径字段 表示指定以操作系统格式包含路径的字段。默认值为空
文件大小字段 表示指定文件数据大小的字段。默认值为空
是否为文件隐藏字段 表示文件是否为隐藏的字段（布尔值）。默认值为空
Uri字段 表示指定包含Uri的字段。默认值为空
Root Uri字段 表示指定仅包含uri的根部分的字段。默认值为空

3. 预览结果数据

设置好字段参数后，单击【预览记录】按钮，弹出【预览数据数量】对话框，要预览的行数采用默认值，并单击【确定】按钮

[Kettle] Excel输入_第20张图片

弹出【预览数据】对话框，展示Excel输入的数据，如下图所示

[Kettle] Excel输入_第21张图片

你可能感兴趣的:(Kettle,Kettle,数据仓库,ETL)

  • 数据仓库——维度表一致性 墨染丶eye 背诵数据仓库
    数据仓库基础笔记思维导图已经整理完毕，完整连接为：数据仓库基础知识笔记思维导图维度一致性问题从逻辑层面来看，当一系列星型模型共享一组公共维度时，所涉及的维度称为一致性维度。当维度表存在不一致时，短期的成功难以弥补长期的错误。维度时确保不同过程中信息集成起来实现横向钻取货活动的关键。造成横向钻取失败的原因维度结构的差别，因为维度的差别，分析工作涉及的领域从简单到复杂，但是都是通过复杂的报表来弥补设计
  • 大模型训练数据库Common Crawl WindyChanChan 数据集语言模型数据库
    CommonCrawl介绍‌‌CommonCrawl是一个非营利组织，致力于通过大规模分布式爬虫系统定期抓取整个Web并将其存储在一个可公开访问的数据库中。CommonCrawl的数据收集和处理过程包括使用Python开源爬虫工具收集全球范围内的网站数据，并将其上传到‌CommonCrawl基金会的数据仓库中。该项目从2008年开始，至今已经积累了大量的原始网页数据、元数据和文本提取数据。这些数据
  • 数据仓库介绍 阿龙的代码在报错 数据分析数据仓库数据库
    数据仓库数据仓库的概念数据仓库的主要特征数据仓库的主流开发语言-sql结构化数据sql语句数据仓库的概念数据仓库（英语：DataWarehouse，简称数仓、DW）,是一个用于存储、分析、报告的数据系统。数据仓库的目的是构建面向分析的集成化数据环境，分析结果为企业提供决策支持（DecisionSupport）。就是数据仓库只分析数据并不产生数据数据仓库的主要特征1、面向主题主题是一个抽象的概念，是
  • Quartus II SDC文件建立流程 cattao1989 verilog
    QuartusIISDC文件编写教程第一步：打开TimeQuestTimingAnalyzer，也可以点击图中1所示图标。第二步：点击Netlist,点击CreateTimingNetlist第三步：按照下图所示选择。
  • 【Python】已解决：WARNING: pip is configured with locations that require TLS/SSL, however the ssl module i 屿小夏 pythonpipssl
    文章目录一、分析问题背景二、可能出错的原因三、错误代码示例四、正确代码示例五、注意事项已解决：pipSSL模块不可用导致无法连接的错误一、分析问题背景在使用pip安装Python包时，用户可能会遇到如下错误信息：WARNING:pipisconfiguredwithlocationsthatrequireTLS/SSL,howeverthesslmoduleinPythonisnotavailab
  • pip is configured with locations that require TLS/SSL, however the ssl module in Python is notable _Johnny_ Pythonpipsslpython
    现象执行pipinstall时报错：WARNING:pipisconfiguredwithlocationsthatrequireTLS/SSL,howeverthesslmoduleinPythonisnotavailable.Hint:Itlookslikeapath.Thepathdoesexist.WARNING:pipisconfiguredwithlocationsthatrequir
  • 使用 Python 和 Aria2 异步下载和解析磁力链接元数据教程 日入百万 python
    磁力链接（MagnetLinks）是一种流行的用于共享文件的链接格式。与传统的种子文件不同，磁力链接直接包含文件的哈希值，使得用户无需下载种子文件就能开始下载文件。在这篇教程中，我们将介绍如何使用Python和Aria2异步下载和解析磁力链接的元数据，并提取出文件的详细信息。步骤一：准备工作在开始之前，请确保你已经安装了以下工具和库：1.**Aria2**：一个轻量级多协议和多源命令行下载工具。你
  • 基于鸿蒙API10的RTSP播放器(二：视频切换实现) PlumCarefree 鸿蒙实战：RTSP播放器音视频华为harmonyos
    目标：设置一个播放下一个视频的按钮，通过改变url地址实现✔设置一个视频播放底部轨道，轨道左侧固定为00:00，右侧为当前已经播放的时长差✖设置音量调节按钮，再实现滑动增减音量发✖//这里为ArkTS代码，标记为ts只是为了上色好看。注意代码放置位置//1.播放位置状态变量，在结构体之外letlocationIndex:number=0;//2.设置url组，苹果测试地址，最快@Statepriv
  • 大数据之flink与hive 星辰_mya 大数据flinkhive
    其实吧我不太想写flink，因为线上经验确实不多，这也是我需要补的地方，没有条件创造条件，先来一篇吧flink：高性能低延迟流批一体的分布式计算框架基于事件时间对实时数据精准处理快速响应支持批处理，高效离线分析和数据挖掘数据仓库的引擎丰富数据源/接收器，集成多种数据存储格式和源，比较常见就是咱们今天的主题hive了checkpoint恢复机制，故障恢复快速恢复计算任务分布式弹性扩展，据业务灵活增加
  • hive血缘关系之输入表与目标表的解析 zxfBdd hive大数据治理大数据
    接了一个新需求：需要做数据仓库的血缘关系。正所谓兵来将挡水来土掩，那咱就动手吧。血缘关系是数据治理的一块，其实有专门的第三方数据治理框架，但考虑到目前的线上环境已经趋于稳定，引入新的框架无疑是劳民伤财，伤筋动骨，所以就想以最小的代价把这个事情给做了。目前我们考虑做的血缘关系呢只是做输入表和输出表，最后会形成一张表与表之间的链路图。这个东西的好处就是有助于仓库人员梳理业务，后面可能还会做字段之间的血
  • LSP协议被劫持导致不能上网 tgl182 LSP协议
    故障现象：最近有同事电脑浏览器打不开网页，DNS没问题，外网地址可以PING通，本地连接显示正常，登陆QQ显示网络连接超时，打开浏览器不能显示网页，网络丢包率达到了100%，本地连接数据包收到为0，查杀木马、病毒也不能解决问题。原因分析：WinsockLSP全称WindowsSocketLayeredServiceProvider(分层服务提供商)，它是Windows底层网络Socker通信需要经
  • 影响数据分析导致数据建模错误！你可能都没发觉的几个小细节 丨程序之道丨
    如果你有一个目标，想获得所有这些数据的可操作的见解，并一直在收集。那么，你如何确定模型的数据，以便实际上可以获得这些见解，并回答你的业务问题?你的计划。当规划阶段不充分或不完全，其结果是可怕的。那么分析和性能、数据完整性和安全性的问题接踵而至，将会使日常的维护和发展的成本达到了不必要的水平。避免常见的建模错误1.开始实施时没有明确的行动计划当涉及到的分析，如数据仓库或Elasticube建模数据资
  • 从零到一建设数据中台 - 架构概览 我码玄黄 从零到一建设数据中台架构数据中台中台架构
    数据中台功能架构概览数据中台相关名词解释1.数据仓库：数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。因此，其重点在于数据的集合。数据仓库可使用维度建模方法论从业务过程中抽象出通用维度与度量，组成数据模型，为决策分析提供通用的数据分析能力。数据仓库重在建数据，而数据中台则将建、治、管、服放到同样的高度，数据仓库只是数据中台的一个子集。用一个蔬菜储存的例子来简
  • （力扣）删除链表的倒数第N个节点———链表 爱干饭的boy 数据结构与算法题目leetcode链表算法
    方法一：暴力破解***Definitionforsingly-linkedlist.*structListNode{*intval;*structListNode*next;*};*intgetLength(structListNode*head){intlength=0;while(head){++length;head=head->next;}returnlength;}structListN
  • 数仓开发之DWD层完整使用 (第五章) 小坏讲微服务 数据仓库hadoopscalakafka
    数仓开发之DWD层完整使用一、流量域未精加工的事务事实表1、主要任务1）数据清洗（ETL）2）新老访客状态标记修复3）分流2、思路1）数据清洗（ETL）2）新老访客状态标记修复（1）前端埋点新老访客状态标记设置规则（2）新老访客状态标记修复思路3）利用侧输出流实现数据拆分（1）埋点日志结构分析（2）分流日志分类（3）分流思路3、图解4、代码1）在KafkaUtil工具类中补充getKafkaPro
  • Python基础知识进阶之正则表达式_头歌python正则表达式进阶 前端陈萨龙 程序员python学习面试
    最后硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是
  • centos8 dnf/yum报错 10095b238670
    locale命令结果：[root@0d77323f6fb2~]#locale-alocale:CannotsetLC_CTYPEtodefaultlocale:Nosuchfileordirectorylocale:CannotsetLC_MESSAGEStodefaultlocale:Nosuchfileordirectorylocale:CannotsetLC_COLLATEtodefault
  • 离线数仓VS实时数仓 james二次元 数据仓库数据仓库大数据
    离线数据仓库（OfflineDataWarehouse）和实时数据仓库（Real-timeDataWarehouse）的实施有一些相似之处，但也存在显著的差异。以下是两者在几个关键方面的对比：相同点：数据集成：都需要从多个数据源提取、转换和加载数据（ETL/ELT）。都需要处理数据清洗、去重和规范化，以保证数据的一致性和准确性。数据建模：都需要进行数据建模，设计数据仓库的星型或雪花模型，定义事实表
  • TCP/IP模型成功与OSI模型失败的深层原因：技术、理念与市场化路径的比较 kaixin_啊啊 tcp/ipphp服务器
    目录TCP/IP体系结构模型1.网络接口层（NetworkInterfaceLayer）2.互联网层（InternetLayer）3.传输层（TransportLayer）4.应用层（ApplicationLayer）TCP/IP模型与OSI模型的比较：OSI模型OSI模型的七层结构：OSI模型的优点：OSI模型与TCP/IP模型的区别：TCP/IP模型成功与OSI模型失败的深层原因1.技术适用性
  • 【机器人工具箱Robotics Toolbox开发笔记（十三）】三自由度机器人圆弧轨迹规划仿真实例 DRobot 机器人工具箱RoboticsToolbox开发笔记机器人笔记
    在实际应用场景中，我们通常预先明确了目标末端的运动轨迹，随后引导机器人进行相应的动作。本实例具体展示了如何基于给定的两个点，计算出末端的精确位姿，并以此为基础，进一步规划出一条平滑的圆弧轨迹供机器人执行。这样的流程确保了机器人能够沿着预定的路径，精准且高效地完成任务。matlab代码如下：clear;clc;%建立机器人模型%定义连杆的D-H参数%thetadaalphaoffsetL1=Link
  • 数仓建模之维度表&指标表 锵锵锵锵~蒋 数据研发数据仓库数据研发
    在数据仓库中，维度和指标是两个重要的概念。维度（Dimension）：维度是一种描述业务过程中各种属性的方法，用于对业务过程进行分析和归类。维度包括时间、地点、人员、产品、客户等各种业务属性，是数据分析的基础。指标（Measure）：指标是衡量业务过程效果的标准，是数据分析的重要指标。指标包括数量、金额、时间、比率、百分比等，用于衡量业务过程的各种结果。在数据仓库中，通常会使用维度表和指标表来进行
  • Hadoop常见面试题整理及解答 叶青舟 Linuxhdfs大数据hadooplinux
    Hadoop常见面试题整理及解答一、基础知识篇：1.把数据仓库从传统关系型数据库转到hadoop有什么优势？答：（1）关系型数据库成本高，且存储空间有限。而Hadoop使用较为廉价的机器存储数据，且Hadoop可以将大量机器构建成一个集群，并在集群中使用HDFS文件系统统一管理数据，极大的提高了数据的存储及处理能力。（2）关系型数据库仅支持标准结构化数据格式，Hadoop不仅支持标准结构化数据格式
  • 2024年最全使用Python求解方程_python解方程(1)，字节面试官迟到 2401_84569545 程序员python学习面试
    最后硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是
  • leetCode进阶算法题+解析（八十五） 唯有努力不欺人丶
    子数组按位或操作题目：我们有一个非负整数数组A。对于每个（连续的）子数组B=[A[i],A[i+1],...,A[j]]（iset=newHashSet();Setlast=newHashSet();for(inti:arr){Settemp=newHashSet();temp.add(i);for(intc:last){temp.add(c|i);}last=temp;set.addAll(te
  • 一文说清什么是数据仓库 数据分析小兵 数据中台系列spark大数据分布式数据分析数据挖掘数据仓库
    01数据仓库的概念数据仓库的概念可以追溯到20世纪80年代，当时IBM的研究人员开发出了“商业数据仓库”。本质上，数据仓库试图提供一种从操作型系统到决策支持环境的数据流架构模型。目前对数据仓库（DataWarehouse）的标准定义，业界普遍比较认可的是由数据仓库之父比尔·恩门（BillInmon）在1991年出版的“BuildingtheDataWarehouse”（《建立数据仓库》）一书中所提
  • 美团点评酒旅数据仓库建设实践 大数据金猫 数据仓库
    美团点评酒旅数据仓库建设实践：https://tech.meituan.com/2017/05/26/hotel-dw-layer-topic.html
  • string字符串进行分割 梦想患者 每天学一点字符串操作小技巧算法
    c++标准库中，对string字符串并没有提供分割操作，需要自己手动实现此功能。方式1：采用std::stringstream输入字符串，通过getline()函数，来对字符串进行分割。#includevoidgetSplit(std::strings,charcDelims,std::vector&res){std::stringstreamss;ssstrDest3;getSplit(Test
  • C# GDI+发生一般性错误（A generic error occurred in GDI+)） 黄同学real C#c#microsoft服务器
    C#GDI+发生一般性错误（AgenericerroroccurredinGDI+)）C#GDI+发生一般性错误（AgenericerroroccurredinGDI+)）解决思路：因为.netGDI+是对底层的封装。所以可以尝试用Marshal.GetLastWin32Error();函数获得底层错误代码。try{image.Save(filename,System.Drawing.Imagin
  • 大数据平台--调度系统 小瓶盖的猪猪侠
    调度系统是数据仓库的重要组成部分，也是每个银行或公司一个基础软件或服务，需要在全行或全公司层面进行规划，在全行层面统一调度工具和规范，由于数据类系统调度作业较多，交易类系统批量优先级高，调度系统的整体架构如下：调度中心对调度批次和作业进行创建、管理、监控，它负责所有批量作业的调度和编排；在整个作业过程中，作业之间关系分为触发，依赖和互斥。1、触发触发关系表示一个作业完毕后，生成另一个作业的控制文件
  • 数据库，数据仓库，数据湖，湖仓一体到底是什么区别 大数据小尘 数据库数据仓库spark
    昨天结束的一场面试，面试官问了下我对数据仓库和数据湖的理解，根据之前的理解我说了下数据湖是数据仓库某些时候的缓存，然后面试官反问说我确定这个用词对吗？没理解到位，所以去了解之后再整体输出下我自己的理解。先说下上面的答案，数据仓库和数据湖可以是互相独立存在的，不存在谁是谁的缓存一说，但是如果涉及到湖仓一体的时候，数仓是结构化的数据访问入口，而底层的数据湖是可以作为数仓的底层的存储支持。要了解各个概念
  • 算法 单链的创建与删除 换个号韩国红果果 c算法
    先创建结构体 struct student { int data; //int tag;//标记这是第几个 struct student *next; }; // addone 用于将一个数插入已从小到大排好序的链中 struct student *addone(struct student *h,int x){ if(h==NULL) //??????
  • 《大型网站系统与Java中间件实践》第2章读后感 白糖_ java中间件
           断断续续花了两天时间试读了《大型网站系统与Java中间件实践》的第2章，这章总述了从一个小型单机构建的网站发展到大型网站的演化过程---整个过程会遇到很多困难，但每一个屏障都会有解决方案，最终就是依靠这些个解决方案汇聚到一起组成了一个健壮稳定高效的大型系统。          看完整章内容，
  • zeus持久层spring事务单元测试 deng520159 javaDAOspringjdbc
    今天把zeus事务单元测试放出来,让大家指出他的毛病, 1.ZeusTransactionTest.java 单元测试   package com.dengliang.zeus.webdemo.test; import java.util.ArrayList; import java.util.List; import org.junit.Test; import
  • Rss 订阅 开发 周凡杨 htmlxml订阅rss规范
                    RSS是 Really Simple Syndication的缩写（对rss2.0而言，是这三个词的缩写，对rss1.0而言则是RDF Site Summary的缩写，1.0与2.0走的是两个体系）。   RSS
  • 分页查询实现 g21121 分页查询
    在查询列表时我们常常会用到分页，分页的好处就是减少数据交换，每次查询一定数量减少数据库压力等等。 按实现形式分前台分页和服务器分页： 前台分页就是一次查询出所有记录，在页面中用js进行虚拟分页，这种形式在数据量较小时优势比较明显，一次加载就不必再访问服务器了，但当数据量较大时会对页面造成压力，传输速度也会大幅下降。 服务器分页就是每次请求相同数量记录，按一定规则排序，每次取一定序号直接的数据
  • spring jms异步消息处理 510888780 jms
    spring JMS对于异步消息处理基本上只需配置下就能进行高效的处理。其核心就是消息侦听器容器，常用的类就是DefaultMessageListenerContainer。该容器可配置侦听器的并发数量，以及配合MessageListenerAdapter使用消息驱动POJO进行消息处理。且消息驱动POJO是放入TaskExecutor中进行处理，进一步提高性能，减少侦听器的阻塞。具体配置如下：
  • highCharts柱状图 布衣凌宇 hightCharts柱图
    第一步：导入 exporting.js,grid.js,highcharts.js;第二步：写controller   @Controller@RequestMapping(value="${adminPath}/statistick")public class StatistickController {  private UserServi
  • 我的spring学习笔记2-IoC（反向控制 依赖注入） aijuans springmvcSpring 教程spring3 教程Spring 入门
    IoC（反向控制 依赖注入）这是Spring提出来了，这也是Spring一大特色。这里我不用多说，我们看Spring教程就可以了解。当然我们不用Spring也可以用IoC，下面我将介绍不用Spring的IoC。 IoC不是框架，她是java的技术，如今大多数轻量级的容器都会用到IoC技术。这里我就用一个例子来说明： 如：程序中有 Mysql.calss 、Oracle.class 、SqlSe
  • TLS java简单实现 antlove javasslkeystoretlssecure
      1. SSLServer.java package ssl; import java.io.FileInputStream; import java.io.InputStream; import java.net.ServerSocket; import java.net.Socket; import java.security.KeyStore; import
  • Zip解压压缩文件 百合不是茶 Zip格式解压Zip流的使用文件解压
       ZIP文件的解压缩实质上就是从输入流中读取数据。Java.util.zip包提供了类ZipInputStream来读取ZIP文件,下面的代码段创建了一个输入流来读取ZIP格式的文件; ZipInputStream in = new ZipInputStream(new FileInputStream(zipFileName));     &n
  • underscore.js 学习（一） bijian1013 JavaScriptunderscore
            工作中需要用到underscore.js，发现这是一个包括了很多基本功能函数的js库，里面有很多实用的函数。而且它没有扩展 javascript的原生对象。主要涉及对Collection、Object、Array、Function的操作。       学
  • java jvm常用命令工具——jstatd命令(Java Statistics Monitoring Daemon) bijian1013 javajvmjstatd
    1.介绍         jstatd是一个基于RMI（Remove Method Invocation）的服务程序，它用于监控基于HotSpot的JVM中资源的创建及销毁，并且提供了一个远程接口允许远程的监控工具连接到本地的JVM执行命令。         jstatd是基于RMI的，所以在运行jstatd的服务
  • 【Spring框架三】Spring常用注解之Transactional bit1129 transactional
    Spring可以通过注解@Transactional来为业务逻辑层的方法(调用DAO完成持久化动作)添加事务能力，如下是@Transactional注解的定义：   /* * Copyright 2002-2010 the original author or authors. * * Licensed under the Apache License, Version
  • 我(程序员)的前进方向 bitray 程序员
    作为一个普通的程序员,我一直游走在java语言中,java也确实让我有了很多的体会.不过随着学习的深入,java语言的新技术产生的越来越多,从最初期的javase,我逐渐开始转变到ssh,ssi,这种主流的码农,.过了几天为了解决新问题,webservice的大旗也被我祭出来了,又过了些日子jms架构的activemq也开始必须学习了.再后来开始了一系列技术学习,osgi,restful.....
  • nginx lua开发经验总结 ronin47
    使用nginx lua已经两三个月了，项目接开发完毕了，这几天准备上线并且跟高德地图对接。回顾下来lua在项目中占得必中还是比较大的，跟PHP的占比差不多持平了，因此在开发中遇到一些问题备忘一下 1：content_by_lua中代码容量有限制，一般不要写太多代码，正常编写代码一般在100行左右（具体容量没有细心测哈哈，在4kb左右），如果超出了则重启nginx的时候会报 too long pa
  • java-66-用递归颠倒一个栈。例如输入栈{1,2,3,4,5}，1在栈顶。颠倒之后的栈为{5,4,3,2,1}，5处在栈顶 bylijinnan java
    import java.util.Stack; public class ReverseStackRecursive { /** * Q 66.颠倒栈。 * 题目：用递归颠倒一个栈。例如输入栈{1,2,3,4,5}，1在栈顶。 * 颠倒之后的栈为{5,4,3,2,1}，5处在栈顶。 *1. Pop the top element *2. Revers
  • 正确理解Linux内存占用过高的问题 cfyme linux
    Linux开机后，使用top命令查看，4G物理内存发现已使用的多大3.2G，占用率高达80%以上： Mem:   3889836k total,  3341868k used,   547968k free,   286044k buffers Swap:  6127608k total,&nb
  • [JWFD开源工作流]当前流程引擎设计的一个急需解决的问题 comsci 工作流
         当我们的流程引擎进入IRC阶段的时候，当循环反馈模型出现之后，每次循环都会导致一大堆节点内存数据残留在系统内存中，循环的次数越多，这些残留数据将导致系统内存溢出，并使得引擎崩溃。。。。。。       而解决办法就是利用汇编语言或者其它系统编程语言，在引擎运行时，把这些残留数据清除掉。
  • 自定义类的equals函数 dai_lm equals
    仅作笔记使用 public class VectorQueue { private final Vector<VectorItem> queue; private class VectorItem { private final Object item; private final int quantity; public VectorI
  • Linux下安装R语言 datageek R语言 linux
    命令如下：sudo gedit  /etc/apt/sources.list1、deb http://mirrors.ustc.edu.cn/CRAN/bin/linux/ubuntu/ precise/ 2、deb http://dk.archive.ubuntu.com/ubuntu hardy universesudo apt-key adv --keyserver ke
  • 如何修改mysql 并发数(连接数)最大值 dcj3sjt126com mysql
    MySQL的连接数最大值跟MySQL没关系，主要看系统和业务逻辑了   方法一：进入MYSQL安装目录 打开MYSQL配置文件 my.ini 或 my.cnf查找 max_connections=100 修改为 max_connections=1000 服务里重起MYSQL即可 　　方法二：MySQL的最大连接数默认是100客户端登录：mysql -uusername -ppass
  • 单一功能原则 dcj3sjt126com 面向对象的程序设计软件设计编程原则
    单一功能原则[ 编辑]     SOLID 原则 单一功能原则 开闭原则 Liskov代换原则 接口隔离原则 依赖反转原则 查   论   编 在面向对象编程领域中，单一功能原则（Single responsibility principle）规定每个类都应该有
  • POJO、VO和JavaBean区别和联系 fanmingxing VOPOJOjavabean
    POJO和JavaBean是我们常见的两个关键字，一般容易混淆，POJO全称是Plain Ordinary Java Object / Plain Old Java Object，中文可以翻译成：普通Java类，具有一部分getter/setter方法的那种类就可以称作POJO，但是JavaBean则比POJO复杂很多，JavaBean是一种组件技术，就好像你做了一个扳子，而这个扳子会在很多地方被
  • SpringSecurity3.X--LDAP：AD配置 hanqunfeng SpringSecurity
    前面介绍过基于本地数据库验证的方式，参考http://hanqunfeng.iteye.com/blog/1155226，这里说一下如何修改为使用AD进行身份验证【只对用户名和密码进行验证，权限依旧存储在本地数据库中】。   将配置文件中的如下部分删除： <!-- 认证管理器，使用自定义的UserDetailsService，并对密码采用md5加密-->
  • mac mysql 修改密码 IXHONG mysql
    $ sudo /usr/local/mysql/bin/mysqld_safe –user=root & //启动MySQL(也可以通过偏好设置面板来启动)$ sudo /usr/local/mysql/bin/mysqladmin -uroot password yourpassword //设置MySQL密码（注意，这是第一次MySQL密码为空的时候的设置命令，如果是修改密码，还需在-
  • 设计模式--抽象工厂模式 kerryg 设计模式
    抽象工厂模式：     工厂模式有一个问题就是，类的创建依赖于工厂类，也就是说，如果想要拓展程序，必须对工厂类进行修改，这违背了闭包原则。我们采用抽象工厂模式，创建多个工厂类，这样一旦需要增加新的功能，直接增加新的工厂类就可以了，不需要修改之前的代码。     总结：这个模式的好处就是，如果想增加一个功能，就需要做一个实现类，
  • 评"高中女生军训期跳楼” nannan408
       首先，先抛出我的观点，各位看官少点砖头。那就是，中国的差异化教育必须做起来。    孔圣人有云：有教无类。不同类型的人，都应该有对应的教育方法。目前中国的一体化教育，不知道已经扼杀了多少创造性人才。我们出不了爱迪生，出不了爱因斯坦，很大原因，是我们的培养思路错了，我们是第一要“顺从”。如果不顺从，我们的学校，就会用各种方法，罚站，罚写作业，各种罚。军
  • scala如何读取和写入文件内容？ qindongliang1922 javajvmscala
    直接看如下代码： package file import java.io.RandomAccessFile import java.nio.charset.Charset import scala.io.Source import scala.reflect.io.{File, Path} /** * Created by qindongliang on 2015/
  • C语言算法之百元买百鸡 qiufeihu c算法
    中国古代数学家张丘建在他的《算经》中提出了一个著名的“百钱买百鸡问题”，鸡翁一，值钱五，鸡母一，值钱三，鸡雏三，值钱一，百钱买百鸡，问翁，母，雏各几何？ 代码如下： #include <stdio.h> int main() { int cock,hen,chick; /*定义变量为基本整型*/ for(coc
  • Hadoop集群安全性：Hadoop中Namenode单点故障的解决方案及详细介绍AvatarNode wyz2009107220 NameNode
    正如大家所知，NameNode在Hadoop系统中存在单点故障问题，这个对于标榜高可用性的Hadoop来说一直是个软肋。本文讨论一下为了解决这个问题而存在的几个solution。 1. Secondary NameNode 原理：Secondary NN会定期的从NN中读取editlog，与自己存储的Image进行合并形成新的metadata image 优点：Hadoop较早的版本都自带，
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他