uncle_ll
uncle_ll

ChatGPT实战与私有化大模型落地

文章目录

  • 大模型现状
    • baseline底座选择
    • 数据构造
    • 迁移方法
    • 评价
    • 思考
  • 领域大模型训练技巧
    • Tokenizer
    • 分布式深度学习
      • 数据并行
      • 管道并行
      • 向量并行
      • 分布式框架——Megatron-LM
      • 分布式深度学习框架——Colossal-AI
      • 分布式深度学习框架——DeepSpeed
      • P-tuning 微调
    • 资源消耗
    • 模型推理加速
      • 模型推理加速方法——FastLLM
      • 模型推理加速方法——VLLm
  • 领域大模型产品形态及落地场景
    • ChatGPT用户视角思考
    • ChatGPT企业视角思考
    • 企业级ChatGPT的建设要素
    • 选择优质的应用场景
    • ChatGPT场景设计-工业制造
    • ChatGPT场景设计-文案编写

大模型现状

baseline底座选择

ChatGPT实战与私有化大模型落地_第1张图片

数据构造

ChatGPT实战与私有化大模型落地_第2张图片

  • 领域数据
  • 书籍数据
  • 网站数据
  • 新闻内容
  • 指令微调数据

混合数据（公用数据+领域数据，比例1：5 ）避免知识遗忘，导致通用能力下降。

迁移方法

ChatGPT实战与私有化大模型落地_第3张图片

  • 资源不充足的时候，在chat模型基础上训练
  • 资源充足的时候，在Base模型上训练
    千万级别的数据，在chat模型上不要用全量数据进行训练。

评价

ChatGPT实战与私有化大模型落地_第4张图片

思考

ChatGPT实战与私有化大模型落地_第5张图片

领域大模型训练技巧

ChatGPT实战与私有化大模型落地_第6张图片

  • ChatGPTBook：github.com/liucongg/ChatGPTBook

Tokenizer

ChatGPT实战与私有化大模型落地_第7张图片

分布式深度学习

ChatGPT实战与私有化大模型落地_第8张图片

数据并行

ChatGPT实战与私有化大模型落地_第9张图片

管道并行

ChatGPT实战与私有化大模型落地_第10张图片

向量并行

ChatGPT实战与私有化大模型落地_第11张图片
ChatGPT实战与私有化大模型落地_第12张图片

分布式框架——Megatron-LM

ChatGPT实战与私有化大模型落地_第13张图片

分布式深度学习框架——Colossal-AI

ChatGPT实战与私有化大模型落地_第14张图片

分布式深度学习框架——DeepSpeed

ChatGPT实战与私有化大模型落地_第15张图片
ChatGPT实战与私有化大模型落地_第16张图片
ChatGPT实战与私有化大模型落地_第17张图片
ChatGPT实战与私有化大模型落地_第18张图片

P-tuning 微调

ChatGPT实战与私有化大模型落地_第19张图片

资源消耗

ChatGPT实战与私有化大模型落地_第20张图片
ChatGPT实战与私有化大模型落地_第21张图片

模型推理加速

模型推理加速方法——FastLLM

ChatGPT实战与私有化大模型落地_第22张图片

模型推理加速方法——VLLm

ChatGPT实战与私有化大模型落地_第23张图片

领域大模型产品形态及落地场景

ChatGPT实战与私有化大模型落地_第24张图片

ChatGPT用户视角思考

ChatGPT实战与私有化大模型落地_第25张图片

ChatGPT企业视角思考

ChatGPT实战与私有化大模型落地_第26张图片

企业级ChatGPT的建设要素

ChatGPT实战与私有化大模型落地_第27张图片

选择优质的应用场景

ChatGPT实战与私有化大模型落地_第28张图片

ChatGPT场景设计-工业制造

ChatGPT实战与私有化大模型落地_第29张图片

ChatGPT场景设计-文案编写

ChatGPT实战与私有化大模型落地_第30张图片

你可能感兴趣的:(AIGC,#,技术分享,chatgpt,落地)

  • ChatGPT一路狂飙？ 何鲸洛
    2月2日。根据投行瑞银集团在周三发布的一份研究报告。爆红聊天机器人ChatGPT的月活跃用户在今年1月份预计达到了1亿，这距离它推出只有2个月时间，成为史上增长最快的消费者应用。①ChatGPT一路火花带闪电？▽2014年。OpenAI创始人SamAltman早年曾执掌著名的硅谷孵化器YCombinator。2015年。Altman联合马斯克、彼得·泰尔、AWS、印度Infosys和YC等作为出资
  • 过去一年，这16本好书不容错过 m0_54050778 perl
    编者按：2023年在动荡与希望中收尾，2023年注定会被载入史册。疫情寒冬结束，ChatGPT横空出世，带动了人工智能技术的飞速发展；淄博烧烤、天津大爷、尔滨之旅等充满感动与幸福。但与此同时，2023年又是动荡与不安的一年，俄乌冲突的延宕，新一轮的巴以冲突，极端天气频发。在这个大环境下，有一些经典的书籍著作诞生。本文将分享2023年最值得一读的16本书籍，文章来自翻译，希望对你有所启示。关于202
  • 项目管理工具最佳实践 水岩
    各个公司的最佳实践去哪儿jira自定义使用1.jira编号对应git分支命名，后台增加监控程序，新增一个分支，自动解析分支中的jira编号，自动落地到数据库，完成映射2.各个发布系统间信息同步，消息中心（IC）+数据中心（DC）,广播消息加一站式查询，持续集成，推进代码检查质量，分钟级反馈质量检查反思：1.项目管好：针对一线研发人员，简单易用，而不是满足管理层的“统计度量”（...）简化分类字段，
  • ChatGPT技巧大揭秘：AI写代码新境界 2401_83550420 chatgpt4.0chatgptchatgpt人工智能AI写作
    ChatGPT无限次数:点击直达ChatGPT技巧大揭秘：AI写代码新境界随着人工智能技术的不断进步，开发人员现在有了更多有趣的工具来提高他们的工作效率。其中，ChatGPT作为一种基于深度学习的自然语言处理模型，已经成为许多开发者的新宠。在本文中，我们将揭秘使用ChatGPT来帮助编写代码的技巧，探索AI在编程领域的新境界。ChatGPT简介ChatGPT是一种基于大型神经网络的对话生成模型，它
  • ChatGPT：AI合作伙伴助你成为论文写作高手 2401_83550420 chatgptchatgpt人工智能AI写作
    ChatGPT无限次数:点击直达摘要：本文将介绍ChatGPT3.5Turbo（以下简称ChatGPT），一款强大的AI合作伙伴，能够助你成为一名论文写作高手。我们将深入探讨ChatGPT的特点、优势，并提供多个示例，展示ChatGPT在论文写作中的应用。无论是开展研究、撰写论文、还是与ChatGPT进行互动交流，都能够帮助你提升写作效率和质量。引言：随着人工智能的发展，聊天型语言模型在各个领域都
  • 26/100参加二一设计线下课程前的一点思考 设计师周文斌
    再过两天就要参加21设计线下的课程了，对此很兴奋也很期待。平时很少参加线下课程，一来费用高花费的时间场成本肯定是非常大的，首先学费是6000再加上机票1500住宿1000吃饭500左右，就是总共8000元，这些年参加的线下课程也很多，但真正能落地，或者说是有实际行动的却是少之又少，所以这次线下课程是怀着一个学习的心态能落地的心态去参加的。因此要让知识课程学有所值，就一定要全新的投入进去。实习的目的
  • 【0719+0720复盘】 沙皮狗的快乐
    时间执行上的有点差，没有按照正常的安排去落地，好多事都乱了顺序去进行了。一个月了，都是各自忙自己的事，没有特别的去打扰对方的工作事情，嗯，生活自由？不是，都是为了想让彼此的对方更好，她的成长是彼此间成长的动力。小火炉就是扮演这样的角色。利他这个利他，不管是多大的事多大的知识点，有学到好的知识点，就去分享给周边有需要的或者没需要的小伙伴，这样的事不止一次两次见到过，小逸身上有，公司整个团队身上也有。
  • ChatGPT：智能论文写作指南，让您成为写作高手 AI臻蚌 chatgpt4.0chatgptchatgpt人工智能AI写作
    ChatGPT无限次数:点击直达写作是学术研究中不可或缺的一环，然而，对于许多人来说，写作往往是一项艰巨而费时的任务。但是，现在有了ChatGPT，您将能够以前所未有的速度和准确性编写高质量的论文。本文将向您介绍如何利用ChatGPT的强大功能成为写作高手，并为您提供一些示例，展示其在不同领域的应用。1.简介ChatGPT是一种基于人工智能的语言模型，它可以理解并生成人类语言。通过训练大量的语料库
  • ChatGPT神技：AI成为你的编程良友 2401_83481083 chatgpt4.0chatgptchatgpt人工智能AI写作
    ChatGPT无限次数:点击直达ChatGPT神技：AI成为你的编程良友近年来，人工智能技术的发展迅猛，ChatGPT作为其中一项创新技术，正逐渐走进我们的生活。在编程领域，AI不仅可以助力我们提高效率，还能成为我们的良友，帮助解决各种编程难题。一、ChatGPT简介ChatGPT是一种基于自然语言处理技术的人工智能模型，它能够生成类人对话。ChatGPT通过深度学习模型，能够理解输入的文本并生成
  • ChatGPT提示词大全：解锁AI对话 ai使用测评 人工智能chatgpt
    2024升级ChatGPTPLUS最快的方法一、什么是ChatGPT提示词？ChatGPT提示词是用户在与ChatGPT进行对话时，提供的一些关键词或短语，用于引导ChatGPT的回答方向和内容。通过合理的提示词设置，用户可以更加精确地获取所需信息，提高对话效率。二、如何选择合适的提示词？明确对话目的：在选择提示词之前，首先要明确对话的目的和需求。是想要了解某个概念、解决问题，还是获取建议？明确目
  • 【AIGC调研系列】kimi与其他AI助手相比的优势和劣势是什么 来自太平洋的暖湿气流 AIGC调研相关AIGC人工智能
    Kimi与其他AI助手相比，具有以下优势和劣势：优势：服务稳定性：Kimi的服务在境内，使用稳定[2]。多客户端支持：支持网页、APP、小程序等多个客户端，提高了用户的使用便捷性[2][4]。中文处理能力：Kimi在中文处理方面表现出色，这可能是因为其针对中文环境进行了优化[2]。实时联网搜索：能够实时联网搜索，与工作流结合紧密，提高了工作效率[2]。长文本处理能力：Kimi在长文本处理方面的能力
  • 如果可以重新开始，我将如何学习编码（ft. ChatGPT）,这是我在 2023 年学习编码的方式 iCloudEnd
    2023年是学习编码的好年头。为什么？那么，现在您不需要浪费时间在Google上搜索编码答案，也不需要等待数天才能在StackOverflow上找到您的问题的答案。现在，您可以全天候24小时向ChatGPT询问任何编码问题并快速获得答案。这个AI工具肯定会加快你的学习速度，但你还应该知道其他一些事情，以便在你的编码之旅中走上正确的轨道。
  • 模型设计该如何落地到数据库设计 蜜糖的代码注释
    早期项目设计在比较早期的软件程序设计中，或者说，当软件需求十分简单的时候。我们往往会按照如下的方式进行设计：分析需求文档。根据需求文档中设计到的数据进行库表设计。根据库表设计结合业务，进行程序设计。这样的操作流程是直观的，往往在进行第二步库表设计的时候，对应数据库字段中的内容就是需要展示的“列表”、“详情页“或者”表单“等内容。但是在这样的流程操作加，我们实际上是有两次对需求中的业务数据进行了两次
  • 3.13日精进 郝佳庆
    京❤️达总店：郝佳庆2022年3月13日落地真经严格就是爱，放纵既是害目标确认目标:油卡目标：10完成✅1张产值目标140000台次目标90台。体验：考虑一千次，不如去干一次；即使在干的过程中失败了，也会为以后得工作奠定基础！核心：在失败中成长！转身：遇事先去做一下，不要不尝试就说自己不行，哪怕是失败了，也比不切实际的幻想要好的多！
  • 开发chrome扩展（ 禁止指定域名使用插件） 徐同保 chrome前端
    mainfest.json:{"manifest_version":3,"name":"ChatGPT学习","version":"0.0.2","description":"ChatGPT,GPT-4,Claude3,Midjourney,StableDiffusion,AI,人工智能,AI","icons":{"16":"./images/logo.png","48":"./images/lo
  • Docker(一)：Docker入门教程 蓝胖子的白日梦丶
    如今Docker的使用已经非常普遍，特别在一线互联网公司。使用Docker技术可以帮助企业快速水平扩展服务，从而到达弹性部署业务的能力。在云服务概念兴起之后，Docker的使用场景和范围进一步发展，如今在微服务架构越来越流行的情况下，微服务+Docker的完美组合，更加方便微服务架构运维部署落地。本文详细解释介绍Docker入门相关内容，后期重点关注Docker在微服务体系中的使用。在了解Dock
  • 终极指南！3小时内用ChatGPT写完一篇论文 Him__ 人工智能chatgptgptoneapi论文笔记AI写作
    在这篇指南中，我将深入探讨如何利用ChatGPT4.0的强大能力来指导整个学术研究和写作过程。从初步探索研究主题，到撰写出一篇内容充实、结构严谨的学术论文，我会一步步展示如何在各个环节中有效运用ChatGPT。当然，这一切都是基于PLUS版本，如果你还没有的话可以参考：教程初步探索与主题的确定一开始，我置身于广阔的知识海洋中，试图找到那一片我能够深入探索的领域。ChatGPT就像是我的灯塔，通过对
  • 生成式AI竞赛：开源还是闭源，谁将主宰未来？ 新加坡内哥谈技术 人工智能
    每周跟踪AI热点新闻动向和震撼发展想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！订阅：https://rengongzhineng.io/对于一些行业观察家来说，这场战斗似乎还没开始就已结束。当ChatGPT成为有史以来增长最
  • chatgpt赋能python：Python编写一元二次方程公式 pythonxxoo ChatGptchatgptpython人工智能计算机
    Python编写一元二次方程公式在数学中，一元二次方程是指形如ax2+bx+c=0ax^2+bx+c=0ax2+bx+c=0的方程，其中xxx为未知数，a,b,ca,b,ca,b,c为已知常数，且a≠0a\neq0a=0。本文将介绍如何使用Python编写一元二次方程的解法公式。介绍公式推导要求一元二次方程ax2+bx+c=0ax^2+bx+c=0ax2+bx+c=0的解，根据求根公式：x=−b
  • 2022年12月9日日精进 曾经的年华
    京心❤️达：樊伟伟2022年12月9日日精进日落地真经严格就是爱，放纵既是害油卡目标：80张、完成12张正能量语录每一颗螺丝都有标准每一颗螺丝都是标准今日体验：当下身边很多感冒发烧的，一定要做好防护，虽然到最后极有可能会感染，也要把风险降到最低，不然都“阳”了，企业就没法运转了，任何时候，人才是根本，才是核心。
  • 一个落地灯的故事 不多小姐
    他是一个落地灯。他站在客厅沙发旁的角落里。他的左侧是一大面白格子落地窗，望出去便是洒满阳光的阳台。他的脚下有点拥挤，堆着一些小主人的玩具盒，他经常看见小主人在里面翻他的乐高和磁力片。他的近旁有一个白色的小层架，总是会有些水果，还一个木色的小圆几，上面有一盆已经长到屋顶的文竹。无聊的时候，他就一边闻着水果的香气，一边看着那盆文竹，数她长出的新枝有几根了。有时候他也会抬起头看看对面的电视柜，上面有主人
  • 最新ChatGPT支持下的PyTorch机器学习与深度学习 zkzhzy ChatGPT机器学习python机器学习深度学习pytorchchatgpt数据分析人工智能
    近年来，随着AlphaGo、无人驾驶汽车、医学影像智慧辅助诊疗、ImageNet竞赛等热点事件的发生，人工智能迎来了新一轮的发展浪潮。尤其是深度学习技术，在许多行业都取得了颠覆性的成果。另外，近年来，Pytorch深度学习框架受到越来越多科研人员的关注和喜爱。郁磊（副教授）主要从事AI人工智能、大语言模型及软件开发、生理系统建模与仿真、生物医学信号处理，具有丰富的科研经验，主编《MATLAB智能算
  • 2021-11-26 忠于我
    落地真经严格就是爱，放纵既是害11月总产值17万5今天把发动机给组装上今天把附件装装开始往上抬。
  • AR/VR/XR技术简介：探索虚拟与现实的融合 枫林晨曦 vrarxr
    尝试用chatGPT4生成一系列的科普文章，可以看下质量如何AR/VR/XR技术简介：探索虚拟与现实的融合引言在科技不断发展的今天，人类对于沉浸式体验的需求日益增长。AR（增强现实）、VR（虚拟现实）和XR（扩展现实）技术正逐渐成为满足这一需求的关键技术。本文将为您简要介绍AR、VR和XR技术，以及它们在不同领域的应用。1.AR（增强现实）增强现实技术（AR，AugmentedReality）是一
  • 2022-06-23 京心达宁威
    2022年6月23日落地真经严格就是爱，放纵既是害目标确认目标:油卡目标：10张、完成10张6月标产值目16万台次目标95台今日体验:一定要有目标！有追求，明确自己的方向！知道向个方向走！有目标有动力！不能像一谭死水！要有精、气、神！
  • 看见光，追逐光，成为光~ 默涵在当下
    高屋建瓴的人，散发着高贵气质，周遭牛人很多，咬紧他们~杜总，从看网知网背景出发，讲到发现流量痛点，讲到站点布局，讲到下一步机会，从而又契合到自动驾驶网络。从如何构建五级驾驶，到如何结合现状落地~研究字节跳动对神经网络的改造，注入人的干预分类，优化再到聚类，让算法匹配人的干预能力~基础操作效能提升达到90%，告警防护率达到90%，两者交叉防护有效率达到多少？99%一切皆可AI~一切皆可AI~优秀自觉
  • 如何使用ChatGPT快速写出一篇完美论文？ 慢腾腾的小蜗牛 chatgpt人工智能大预言模型深度学习机器学习AI
    原文链接：如何使用ChatGPT快速写出一篇完美论文？https://mp.weixin.qq.com/s?__biz=MzUzNTczMDMxMg==&mid=2247597847&idx=2&sn=eaad4282191a165c08a78fbf5c6a47aa&chksm=fa823ef0cdf5b7e619433e27b1249a3d57384dc052276bfb86c681e2069e
  • 什么是架构？架构设计原则是哪些？什么是设计模式？设计模式有哪些？ 代码讲故事 架构师成长之路架构设计模式原则原理设计案例场景
    什么是架构？架构设计原则是哪些？什么是设计模式？设计模式有哪些？架构的本质架构本身是一种抽象的、来自建筑学的体系结构，其在企业及IT系统中被广泛应用。架构的本质是对事物复杂性的管理，是对一个企业、一个公司、一个系统复杂的内部关系进行结构化、体系化的抽象，并把相关的目标和当前现状通过不同的视图进行直观展示，方便相关人员达成共识，指导和驱动数字化项目落地实施。那到底什么是架构？下面我们先来看几个定义。
  • 数据科学简讯 2023-04-14 数科每日
    头条埃隆·马斯克(ElonMusk)正在Twitter上推进一个AIGC项目尽管最近支持暂停人工智能培训，埃隆·马斯克似乎正在Twitter上酝酿一个人工智能项目。他购买了大约10,000个GPU，并且一直在聘请AI专家，同时探索与ChatGPT竞争的可能性。Twitter的这种生成式AI的确切用途尚不清楚，但它有可能用于增强搜索功能或广告。免费的Dolly，商业上可行的指令调整模型在发布Doll
  • chatgpt赋能python：Python长度转换-从毫米到厘米、米和英寸 shengcaiy123 ChatGptchatgpt人工智能计算机
    Python长度转换-从毫米到厘米、米和英寸将长度从一个单位转换为另一个单位是编程中常见的任务，尤其是在建筑、制造和工程项目中。Python提供了一种简便的方式来实现这一任务，让我们来看看如何将长度从毫米转换为厘米、米和英寸。毫米到厘米长度单位“毫米”和“厘米”之间的转换非常简单，因为它们只相差一个数量级。要将长度从毫米转换为厘米，只需要将其除以10。以下是将一个长度变量“length_in_mm
  • 用MiddleGenIDE工具生成hibernate的POJO（根据数据表生成POJO类） AdyZhang POJOeclipseHibernateMiddleGenIDE
    推荐:MiddlegenIDE插件,   是一个Eclipse   插件.     用它可以直接连接到数据库,   根据表按照一定的HIBERNATE规则作出BEAN和对应的XML ，用完后你可以手动删除它加载的JAR包和XML文件!     今天开始试着使用
  • .9.png Cb123456 android
      “点九”是andriod平台的应用软件开发里的一种特殊的图片形式，文件扩展名为：.9.png 　　智能手机中有自动横屏的功能,同一幅界面会在随着手机(或平板电脑)中的方向传感器的参数不同而改变显示的方向,在界面改变方向后,界面上的图形会因为长宽的变化而产生拉伸,造成图形的失真变形。 　　我们都知道android平台有多种不同的分辨率，很多控件的切图文件在被放大拉伸后，边
  • 算法的效率 天子之骄 算法效率复杂度最坏情况运行时间大O阶平均情况运行时间
    算法的效率 效率是速度和空间消耗的度量。集中考虑程序的速度，也称运行时间或执行时间，用复杂度的阶(O)这一标准来衡量。空间的消耗或需求也可以用大O表示，而且它总是小于或等于时间需求。   以下是我的学习笔记：   1.求值与霍纳法则，即为秦九韶公式。   2.测定运行时间的最可靠方法是计数对运行时间有贡献的基本操作的执行次数。运行时间与这个计数成正比。
  • java数据结构 何必如此 java数据结构
    Java 数据结构 Java工具包提供了强大的数据结构。在Java中的数据结构主要包括以下几种接口和类： 枚举（Enumeration） 位集合（BitSet） 向量（Vector） 栈（Stack） 字典（Dictionary） 哈希表（Hashtable） 属性（Properties） 以上这些类是传统遗留的，在Java2中引入了一种新的框架-集合框架(Collect
  • MybatisHelloWorld 3213213333332132
    //测试入口TestMyBatis package com.base.helloworld.test; import java.io.IOException; import org.apache.ibatis.io.Resources; import org.apache.ibatis.session.SqlSession; import org.apache.ibat
  • Java|urlrewrite|URL重写|多个参数 7454103 javaxmlWeb工作
     个人工作经验！ 如有不当之处，敬请指点 1.0  web -info 目录下建立     urlrewrite.xml  文件 类似如下： <?xml version="1.0" encoding="UTF-8" ?>   <!DOCTYPE u
  • 达梦数据库+ibatis darkranger sqlmysqlibatisSQL Server
    --插入数据方面 如果您需要数据库自增... 那么在插入的时候不需要指定自增列. 如果想自己指定ID列的值, 那么要设置 set identity_insert  数据库名.模式名.表名; ----然后插入数据; example: create table zhabei.test( id bigint identity(1,1) primary key, nam
  • XML 解析 四种方式 aijuans android
    XML现在已经成为一种通用的数据交换格式,平台的无关性使得很多场合都需要用到XML。本文将详细介绍用Java解析XML的四种方法。 XML现在已经成为一种通用的数据交换格式,它的平台无关性,语言无关性,系统无关性,给数据集成与交互带来了极大的方便。对于XML本身的语法知识与技术细节,需要阅读相关的技术文献,这里面包括的内容有DOM(Document Object
  • spring中配置文件占位符的使用 avords
    1.类 <?xml version="1.0" encoding="UTF-8"?><!DOCTYPE beans PUBLIC "-//SPRING//DTD BEAN//EN" "http://www.springframework.o
  • 前端工程化-公共模块的依赖和常用的工作流 bee1314 webpack
    题记： 一个人的项目，还有工程化的问题嘛？   我们在推进模块化和组件化的过程中，肯定会不断的沉淀出我们项目的模块和组件。对于这些沉淀出的模块和组件怎么管理？另外怎么依赖也是个问题？ 你真的想这样嘛？   var BreadCrumb = require(‘../../../../uikit/breadcrumb’); //真心ugly。  
  • 上司说「看你每天准时下班就知道你工作量不饱和」，该如何回应？ bijian1013 项目管理沟通IT职业规划
    问题：上司说「看你每天准时下班就知道你工作量不饱和」，如何回应         正常下班时间6点，只要是6点半前下班的，上司都认为没有加班。   Eno-Bea回答，注重感受，不一定是别人的         虽然我不知道你具体从事什么工作与职业，但是我大概猜测，你是从事一项不太容易出现阶段性成果的工作
  • TortoiseSVN，过滤文件 征客丶 SVN
    环境： TortoiseSVN 1.8 配置： 在文件夹空白处右键 选择  TortoiseSVN -> Settings 在 Global ignote pattern 中添加要过滤的文件： 多类型用英文空格分开 *name ： 过滤所有名称为 name 的文件或文件夹 *.name ： 过滤所有后缀为 name 的文件或文件夹 --------
  • 【Flume二】HDFS sink细说 bit1129 Flume
    1. Flume配置   a1.sources=r1 a1.channels=c1 a1.sinks=k1 ###Flume负责启动44444端口 a1.sources.r1.type=avro a1.sources.r1.bind=0.0.0.0 a1.sources.r1.port=44444 a1.sources.r1.chan
  • The Eight Myths of Erlang Performance bookjovi erlang
    erlang有一篇guide很有意思： http://www.erlang.org/doc/efficiency_guide 里面有个The Eight Myths of Erlang Performance： http://www.erlang.org/doc/efficiency_guide/myths.html   Myth: Funs are sl
  • java多线程网络传输文件(非同步)-2008-08-17 ljy325 java多线程socket
    利用 Socket 套接字进行面向连接通信的编程。客户端读取本地文件并发送；服务器接收文件并保存到本地文件系统中。 使用说明:请将TransferClient, TransferServer, TempFile三个类编译，他们的类包是FileServer. 客户端: 修改TransferClient: serPort, serIP, filePath, blockNum,的值来符合您机器的系
  • 读《研磨设计模式》-代码笔记-模板方法模式 bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.ResultSet;
  • 配置心得 chenyu19891124 配置
    时间就这样不知不觉的走过了一个春夏秋冬，转眼间来公司已经一年了，感觉时间过的很快，时间老人总是这样不停走，从来没停歇过。 作为一名新手的配置管理员，刚开始真的是对配置管理是一点不懂，就只听说咱们公司配置主要是负责升级，而具体该怎么做却一点都不了解。经过老员工的一点点讲解，慢慢的对配置有了初步了解，对自己所在的岗位也慢慢的了解。 做了一年的配置管理给自总结下： 1.改变 从一个以前对配置毫无
  • 对“带条件选择的并行汇聚路由问题”的再思考 comsci 算法工作软件测试嵌入式领域模型
    2008年上半年，我在设计并开发基于”JWFD流程系统“的商业化改进型引擎的时候，由于采用了新的嵌入式公式模块而导致出现“带条件选择的并行汇聚路由问题”(请参考2009-02-27博文)，当时对这个问题的解决办法是采用基于拓扑结构的处理思想，对汇聚点的实际前驱分支节点通过算法预测出来，然后进行处理，简单的说就是找到造成这个汇聚模型的分支起点，对这个起始分支节点实际走的路径数进行计算，然后把这个实际
  • Oracle 10g 的clusterware 32位 下载地址 daizj oracle
    Oracle 10g 的clusterware 32位 下载地址 http://pan.baidu.com/share/link?shareid=531580&uk=421021908 http://pan.baidu.com/share/link?shareid=137223&uk=321552738 http://pan.baidu.com/share/l
  • 非常好的介绍：Linux定时执行工具cron dongwei_6688 linux
    Linux经过十多年的发展，很多用户都很了解Linux了，这里介绍一下Linux下cron的理解，和大家讨论讨论。cron是一个Linux 定时执行工具，可以在无需人工干预的情况下运行作业，本文档不讲cron实现原理，主要讲一下Linux定时执行工具cron的具体使用及简单介绍。 新增调度任务推荐使用crontab -e命令添加自定义的任务（编辑的是/var/spool/cron下对应用户的cr
  • Yii assets目录生成及修改 dcj3sjt126com yii
    assets的作用是方便模块化，插件化的，一般来说出于安全原因不允许通过url访问protected下面的文件，但是我们又希望将module单独出来，所以需要使用发布，即将一个目录下的文件复制一份到assets下面方便通过url访问。 assets设置对应的方法位置 \framework\web\CAssetManager.php   assets配置方法 在m
  • mac工作软件推荐 dcj3sjt126com mac
    mac上的Terminal + bash ＋ screen组合现在已经非常好用了，但是还是经不起iterm＋zsh＋tmux的冲击。在同事的强烈推荐下，趁着升级mac系统的机会，顺便也切换到iterm＋zsh＋tmux的环境下了。 我为什么要要iterm2 切换过来也是脑袋一热的冲动，我也调查过一些资料，看了下iterm的一些优点： * 兼容性好，远程服务器 vi 什么的低版本能很好兼
  • Memcached(三)、封装Memcached和Ehcache frank1234 memcachedehcachespring ioc
    本文对Ehcache和Memcached进行了简单的封装，这样对于客户端程序无需了解ehcache和memcached的差异，仅需要配置缓存的Provider类就可以在二者之间进行切换，Provider实现类通过Spring IoC注入。 cache.xml <?xml version="1.0" encoding="UTF-8"?>
  • Remove Duplicates from Sorted List II hcx2013 remove
    Given a sorted linked list, delete all nodes that have duplicate numbers, leaving only distinct numbers from the original list. For example,Given 1->2->3->3->4->4->5,
  • Spring4新特性——注解、脚本、任务、MVC等其他特性改进 jinnianshilongnian spring4
    Spring4新特性——泛型限定式依赖注入 Spring4新特性——核心容器的其他改进 Spring4新特性——Web开发的增强 Spring4新特性——集成Bean Validation 1.1(JSR-349)到SpringMVC  Spring4新特性——Groovy Bean定义DSL Spring4新特性——更好的Java泛型操作API  Spring4新
  • MySQL安装文档 liyong0802 mysql
      工作中用到的MySQL可能安装在两种操作系统中，即Windows系统和Linux系统。以Linux系统中情况居多。   安装在Windows系统时与其它Windows应用程序相同按照安装向导一直下一步就即，这里就不具体介绍，本文档只介绍Linux系统下MySQL的安装步骤。   Linux系统下安装MySQL分为三种：RPM包安装、二进制包安装和源码包安装。二
  • 使用VS2010构建HotSpot工程 p2p2500 HotSpotOpenJDKVS2010
    1. 下载OpenJDK7的源码：      http://download.java.net/openjdk/jdk7      http://download.java.net/openjdk/      2. 环境配置     ▶
  • Oracle实用功能之分组后列合并 seandeng888 oracle分组实用功能合并
    1       实例解析 由于业务需求需要对表中的数据进行分组后进行合并的处理，鉴于Oracle10g没有现成的函数实现该功能，且该功能如若用JAVA代码实现会比较复杂，因此，特将SQL语言的实现方式分享出来，希望对大家有所帮助。如下： 表test 数据如下： ID,SUBJECTCODE,DIMCODE,VALUE 1&nbs
  • Java定时任务注解方式实现 tuoni javaspringjvmxmljni
    Spring 注解的定时任务，有如下两种方式： 第一种： <?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans"  xmlns:xsi="http
  • 11大Java开源中文分词器的使用方法和分词效果对比 yangshangchuan word分词器ansj分词器Stanford分词器FudanNLP分词器HanLP分词器
    本文的目标有两个： 1、学会使用11大Java开源中文分词器 2、对比分析11大Java开源中文分词器的分词效果 本文给出了11大Java开源中文分词的使用方法以及分词结果对比代码，至于效果哪个好，那要用的人结合自己的应用场景自己来判断。 11大Java开源中文分词器，不同的分词器有不同的用法，定义的接口也不一样，我们先定义一个统一的接口： /** * 获取文本的所有分词结果, 对比
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他