songyuc
songyuc

【书生·浦语大模型实战营01】《书生·浦语大模型全链路开源体系》

《书生·浦语大模型全链路开源体系》

1. 大模型成为热门关键词

LLM发展时间轴

【书生·浦语大模型实战营01】《书生·浦语大模型全链路开源体系》_第1张图片

2. 书生·浦语全链条开源开放体系

【书生·浦语大模型实战营01】《书生·浦语大模型全链路开源体系》_第2张图片

微调：XTuner

  • 支持全参数微调
  • 支持LoRA等低成本微调

评测：OpenCompass

  • 全方位评测，性能可复现
  • 80套评测集， 40万道题目

3. 全链条开源开放体系｜微调

【书生·浦语大模型实战营01】《书生·浦语大模型全链路开源体系》_第3张图片

3.1 高效微调框架XTuner

3.1.1 适配多种生态

自动优化加速

开发者无需关注复杂的显存优化与计算加速细节

3.1.1 适配多种硬件

  • 训练方案覆盖 NVIDIA 20系以上所有显卡
  • 最低只需8GB显存即可微调7B模型

你可能感兴趣的:(LLM)

  • DeepSeek总是崩？教你本地部署离线DeepSeek R1，保姆级教程 朱卫军 AI AI编程ai人工智能python
    最近DeepSeek由于受到大量DDOS攻击，加上访问过热，总是会出现服务器繁忙、无法加载的情况，于是乎我测试在本地电脑部署DeepSeekR1模型，居然测试成功了，而且速度并不比APP慢。下面会讲到部署本地LLM（大模型）需要的软件，以及相应的电脑配置，这里以DeepSeeKR1各种版本为例。软件配置我选择了Ollama作为本地运行LLM的工具，这是一个非常出名的开源软件，Github上有12万
  • 一文读懂自动编码器：类型、原理与应用 人工智能
    一文读懂自动编码器：类型、原理与应用近日热文：全网最全的神经网络数学原理（代码和公式）直观解释欢迎关注知乎和公众号的专栏内容LLM架构专栏知乎LLM专栏知乎【柏企】公众号【柏企科技说】【柏企阅文】目录自动编码器稀疏自动编码器K稀疏自动编码器收缩式自动编码器卷积自动编码器SequencetoSequence自动编码器降噪自动编码器变分自动编码器遮罩自动编码器自动编码器自动编码器是一种用于无监督学习和
  • ️ 在 Windows WSL 上部署 Ollama 和大语言模型的完整指南20241206 Narutolxy 技术干货分享智浪初航windows语言模型人工智能
    ️在WindowsWSL上部署Ollama和大语言模型的完整指南引言随着大语言模型（LLM）和人工智能的飞速发展，越来越多的开发者尝试在本地环境中部署大模型进行实验。然而，由于资源需求高、网络限制多以及工具复杂性，部署过程常常充满挑战。本指南基于实际经验，详细讲解如何在WindowsWSL（WindowsSubsystemforLinux）上部署Ollama和大语言模型，同时解决端口转发等常见痛点
  • 深度学习：基于MindNLP的RAG应用开发 Landy_Jay 深度学习人工智能
    什么是RAG？RAG（Retrieval-AugmentedGeneration，检索增强生成）是一种结合检索（Retrieval）和生成（Generation）的技术，旨在提升大语言模型（LLM）生成内容的准确性、相关性和时效性。基本思想：通过外部知识库动态检索与用户查询相关的信息，并将检索结果作为上下文输入生成模型，辅助生成更可靠的回答。与传统LLM的区别：传统LLM仅依赖预训练参数中的静态知
  • 大型语言模型（LLM）压缩技术：如何让庞然大物更轻巧？ 空间机器人 LLM语言模型学习笔记语言模型人工智能自然语言处理
    大型语言模型（LLM）压缩技术：如何让庞然大物更轻巧？随着大模型在各个领域的广泛应用，我们面临的一个核心问题是——如何让这些庞大的模型在硬件资源有限的环境下运行？这就需要我们运用一系列的技术来“压缩”这些模型，使其在保持精度的同时，能够适应不同的硬件设备。那么，LLM压缩到底是如何实现的呢？让我们从几个关键技术开始讲解：剪枝（Pruning）、知识蒸馏（KnowledgeDistillation）
  • M-Ped: Multi-Prompt Ensemble Decoding for Large Language Models UnknownBody LLMDailyLLMPromptprompt语言模型人工智能
    本文是LLM系列文章，针对《M-Ped:Multi-PromptEnsembleDecodingforLargeLanguageModels》的翻译。M-Ped：大型语言模型的多提示集成解码摘要1引言2方法3实验4研究5相关工作6结论摘要随着大型语言模型（LLMs）在自然语言处理（NLP）领域的广泛应用，提高其性能已成为研究热点。本文提出了一种新的多提示集成解码方法，旨在通过利用多个提示的结果聚合
  • SlimGPT: Layer-wise Structured Pruning for Large Language Models UnknownBody LLMDailyLLMPruning剪枝语言模型人工智能
    本文是LLM系列文章，针对《SlimGPT:Layer-wiseStructuredPruningforLargeLanguageModels》的翻译。SlimGPT：大型语言模型的分层结构化修剪摘要1引言2相关工作3前言4方法5实验6结论摘要大型语言模型（LLM）因其在各个领域的卓越能力而受到广泛关注，其巨大的参数规模为实际部署带来了挑战。结构化修剪是一种平衡模型性能和效率的有效方法，但在计算资
  • 使用Colpali架构掌握多模态RAG技术 大模型之路 RAGRAG多模态多模态RAG检索增强生成LLM
    传统的LLM面临着“幻觉”问题，即它们可能生成听起来合理但实际上错误或未经证实的信息。为了解决这个问题，检索增强生成（RAG）模型应运而生。RAG（语义缓存：提升RAG性能的关键策略）通过将LLM的生成能力与外部知识检索系统相结合，实现了更准确、更可靠的输出。然而，传统的RAG主要局限于文本数据，无法充分利用多模态信息。为了应对这一挑战，多模态RAG应运而生，其中Colpali架构成为这一领域的佼
  • 什么是MOE架构？哪些大模型使用了MOE？ 明哲AI AIGC架构人工智能大模型MOE
    在人工智能快速发展的今天，大语言模型（LLM）的规模越来越大，参数量动辄上千亿甚至万亿。然而，更大的模型往往意味着更高的计算成本和更多的资源消耗。混合专家模型（MixtureofExperts，简称MoE）作为一种创新的架构设计，为解决这一难题提供了一个优雅的解决方案。什么是混合专家模型？想象一下，如果把一个大语言模型比作一所综合性大学，传统的模型就像是让所有教授（参数）都参与每一次教学活动。而M
  • NotebookLM：Google 最新 AI 笔记助理解析与实战应用 赵大仁 人工智能技术大语言模型深度学习人工智能语言模型自然语言处理机器学习笔记
    NotebookLM：Google最新AI笔记助理解析与实战应用在AI驱动的生产力工具不断进化的今天，Google推出的NotebookLM（NotebookLanguageModel）成为了一款备受关注的智能笔记助理。它结合了Google的大语言模型（LLM）能力，帮助用户更高效地整理、理解和生成知识内容。本文将全面解析NotebookLM的技术原理、核心功能、应用场景，并提供实际使用指南，帮助
  • 从零开始大模型开发与微调：汉字拼音数据集处理 AGI大模型与大数据研究院 大数据AI人工智能计算科学神经计算深度学习神经网络大数据人工智能大型语言模型AIAGILLMJavaPython架构设计AgentRPA
    从零开始大模型开发与微调：汉字拼音数据集处理1.背景介绍1.1问题的由来在人工智能领域，自然语言处理（NLP）是一项基础且重要的研究方向。随着深度学习技术的飞速发展，大规模语言模型（LargeLanguageModel，LLM）在NLP领域取得了显著的成果。然而，LLM的训练与微调过程往往需要海量的文本数据，而这些数据通常以自然语言形式存在，难以直接用于模型训练。因此，如何从自然语言数据中提取结构
  • AI大模型部署：Ollama与vLLM部署对比：哪个更合适？ 大模型部署 langchain人工智能dockerllamaLLM程序员Ollama
    前言近年来，大语言模型（LLM）的应用日益广泛，而高效的部署方案至关重要。Ollama和vLLM作为两种流行的LLM部署工具，各有优劣。本文将深入比较Ollama和vLLM的部署方式，帮助选择最合适的方案。Ollama：简单易用的LLM部署工具Ollama以其简洁的安装和易于使用的特性而闻名。其官方文档清晰易懂，即使是新手也能快速上手。Ollama支持多种LLM模型，并提供便捷的命令行界面进行管理
  • 本地部署LLM工具大比拼：谁才是你的智能之选？ Python_金钱豹 microsoftocr人工智能cnntransformer分类
    在人工智能的浪潮中，本地部署LLM工具为我们开启了个性化智能交互的新大门。今天，就带大家深入对比几款热门的本地部署LLM工具：ollama、Llamafile、jan、LLaMa.cpp、GPT4All、LMStudio，从多个关键角度剖析它们的特点与优势，助你挑选出最契合自身需求的智能伙伴。一、安装使用便捷性大排名1.ollama：轻松上手的智能先锋ollama的安装便捷性堪称一流。只需一条简单
  • LLM - 大模型 ScallingLaws 的设计 100B 预训练方案(PLM) 教程(5) ManonLegrand 大模型(LLM)人工智能LLMScalingLaws100B预训练DeepNormEGS
    欢迎关注我的CSDN：https://spike.blog.csdn.net/本文地址：https://spike.blog.csdn.net/article/details/145356022免责声明：本文来源于个人知识与公开资料，仅用于学术交流，欢迎讨论，不支持转载。ScalingLaws(缩放法则)是大模型领域中，用于描述模型性能(Loss)与模型规模N、数据量D、计算资源C之间关系的经验规
  • 微调特定于域的搜索的文本嵌入：附Python代码详解 人工智能
    微调特定于域的搜索的文本嵌入：附Python代码详解阅读时长：20分钟发布时间：2025-02-02近日热文：全网最全的神经网络数学原理（代码和公式）直观解释欢迎关注知乎和公众号的专栏内容LLM架构专栏知乎LLM专栏知乎【柏企】公众号【柏企科技说】【柏企阅文】嵌入模型将文本表示为具有语义意义的向量。尽管它们可以很容易地用于无数的用例（例如检索、分类），但通用嵌入模型在特定领域的任务上可能表现不佳。
  • AI大模型基于LLM的Agent架构图解 AI产品经理 人工智能深度学习语言模型学习
    Agent定义Agent是什么？Agent是一种能够自主决策、采取行动以达到某种目标的实体。AIAgent的确定义：基于人工智能（尤其是大模型）技术，能够感知和理解环境，并采取行动以完成目标的智能实体。Agent能干什么？AIAgent主要依托LLM模型和具体的业务场景来调用相应的工具来完成任务目标，智能化程度和行业贴合度会更明显。典型案例有什么？智能核保应用，如果解决方案搭载AIAgent能力，
  • 什么是LLM？看这一篇就够了！ Python程序员罗宾 人工智能语言模型AIGC自然语言处理
    前言自从2022年12月ChatGPT横空面世以来，AI领域获得了十足的关注和资本，其实AI的概念在早些年也火过一波，本轮AI热潮相比于之前的AI，最大的区别在于：生成式。本文主要介绍大语言模型（LargeLanguageModel，简称LLM）。大语言模型介绍什么是大语言模型（LLM）通过海量文本训练的、能识别人类语言、执行语言类任务、拥有大量参数的模型，称之为大语言模型。GPT、LLaMA、M
  • 【llm对话系统】大模型 Llama 源码分析之并行训练方案 kakaZhui llama人工智能AIGCchatgpt
    1.引言训练大型语言模型(LLM)需要巨大的计算资源和内存。为了高效地训练这些模型，我们需要采用各种并行策略，将计算和数据分布到多个GPU或设备上。Llama作为当前最流行的开源大模型之一，其训练代码中采用了多种并行技术。本文将深入Llama的训练代码，分析其并行训练方案，主要关注参数并行和部分结构参数共享。2.并行训练策略概述常见的并行训练策略包括：数据并行(DataParallelism,DP
  • 【llm对话系统】大模型 Llama 源码分析之 LoRA 微调 kakaZhui llama深度学习pytorchAIGCchatgpt
    1.引言微调(Fine-tuning)是将预训练大模型(LLM)应用于下游任务的常用方法。然而，直接微调大模型的所有参数通常需要大量的计算资源和内存。LoRA(Low-RankAdaptation)是一种高效的微调方法，它通过引入少量可训练参数，固定预训练模型的权重，从而在保持性能的同时大大减少了计算开销。本文将深入分析LoRA的原理，并结合Llama源码解读其实现逻辑，最后探讨LoRA的优势。2
  • 【llm对话系统】大模型 Llama 源码分析之 Flash Attention kakaZhui llama人工智能AIGCchatgpt
    1.写在前面近年来，基于Transformer架构的大型语言模型(LLM)在自然语言处理(NLP)领域取得了巨大的成功。Transformer的核心组件是自注意力(Self-Attention)机制，它允许模型捕捉输入序列中不同位置之间的关系。然而，标准的自注意力机制的计算复杂度与序列长度的平方成正比，这使得它在处理长序列时效率低下。为了解决这个问题，FlashAttention被提出，它是一种高
  • llama.cpp LLM_CHAT_TEMPLATE_DEEPSEEK_3 Yongqiang Cheng ggml-llama.cpp-whisper.cppllama.cppDEEPSEEK_3
    llama.cppLLM_CHAT_TEMPLATE_DEEPSEEK_31.`LLAMA_VOCAB_PRE_TYPE_DEEPSEEK3_LLM`2.`staticconststd::mapLLM_CHAT_TEMPLATES`3.`LLM_CHAT_TEMPLATE_DEEPSEEK_3`References不宜吹捧中国大语言模型的同时，又去贬低美国大语言模型。水是人体的主要化学成分，约占体
  • 【llm对话系统】大模型 Llama、Qwen 和 ChatGLM 的网络结构和训练方法对比 kakaZhui llama人工智能AIGCchatgptpython
    1.引言近年来，大型语言模型(LLM)取得了令人瞩目的进展，其中Llama、Qwen和ChatGLM是三个备受关注的开源模型。它们都在Transformer架构的基础上进行了改进和优化，并在各种NLP任务上取得了优异的性能。本文将深入分析Llama、Qwen和ChatGLM的网络结构和训练方法，比较它们的异同以及各自的优势。2.模型结构对比特性LlamaQwenChatGLM基础架构Decoder
  • LLM的实时性：迈向毫秒级响应的AI AI大模型应用之禅 AI大模型与大数据javapythonjavascriptkotlingolang架构人工智能
    LargeLanguageModel(LLM),实时性,响应时间,微服务架构,并行处理,知识图谱,优化算法,延迟最小化1.背景介绍大型语言模型(LLM)在自然语言处理领域取得了令人瞩目的成就，展现出强大的文本生成、翻译、摘要和问答能力。然而，现有的LLM模型通常面临着响应时间较慢的问题，这限制了其在实时应用场景中的应用。例如，在聊天机器人、实时翻译和智能客服等领域，用户期望能够获得即时响应，而传统
  • [系统安全] 六十一.恶意软件分析 (12)LLM赋能Lark工具提取XLM代码的抽象语法树（初探） Eastmount 系统安全与恶意代码分析系统安全抽象语法树Lark大模型XLM
    您可能之前看到过我写的类似文章，为什么还要重复撰写呢？只是想更好地帮助初学者了解病毒逆向分析和系统安全，更加成体系且不破坏之前的系列。因此，我重新开设了这个专栏，准备系统整理和深入学习系统安全、逆向分析和恶意代码检测，“系统安全”系列文章会更加聚焦，更加系统，更加深入，也是作者的慢慢成长史。换专业确实挺难的，逆向分析也是块硬骨头，但我也试试，看看自己未来四年究竟能将它学到什么程度，漫漫长征路，偏向
  • 开源LLMs导览：工作原理、顶级LLM列表对比 万俟淋曦 SomeInsights人工智能AI生成式人工智能大模型LLMchatgpt大语言模型
    机器人、人工智能相关领域news/events（专栏目录）本文目录一、开源LLM是什么意思？二、开源LLM如何工作？2.1预训练2.2代币化2.3开源LLM的微调2.4输入编码2.5训练与优化2.6推理三、开源LLM对组织的好处3.1增强的数据安全和隐私3.2节约成本3.3减少供应商依赖性3.4代码透明度四、哪种LLM模式最好？4.1BERT4.2LLaMA(LargeLanguageModelM
  • 揭秘大语言模型：什么是LLM大模型？ AGI-杠哥 程序人生兼职副业web安全语言模型人工智能自然语言处理
    前言自从去年chatgpt横空出世以来，它火爆也让大语言模型这个词变的很流行，到底什么是大语言模型，今天从初学者的角度介绍一下大语言模型的基本概念、组成部分和基本工作流程等。下面的介绍中如果涉及到一些专业术语不太理解，也没关系，只要有一个感性认识即可，毕竟我们不打算造车，只要做到自己部署开源大模型的时候，不至于脸盲就可以了。一、大语言模型特点和基本组成大语言模型（LargeLanguageMode
  • LearnLM: Improving Gemini for Learning UnknownBody LLMDaily语言模型人工智能自然语言处理
    本文是LLM系列文章，针对《LearnLM:ImprovingGeminiforLearning》的翻译。LearnLM：提升Gemini的学习能力摘要1引言2建模3人类评价设计4结果5结论摘要今天的生成式人工智能系统默认情况下会呈现信息，而不是像人类导师那样让用户参与学习服务。为了解决这些系统的广泛潜在教育用例，我们将注入教学行为的挑战重新定义为一种教学指导，其中培训和评估示例包括描述后续模型中
  • LitGPT - 20多个高性能LLM，具有预训练、微调和大规模部署的recipes 伊织产研 #AI开源项目LitGPT预训练微调部署
    文章目录一、关于LitGPT二、快速启动安装LitGPT高级安装选项从20多个LLM中进行选择三、工作流程1、所有工作流程2、微调LLM3、部署LLM4、评估LLM5、测试LLM6、预训练LLM7、继续预训练LLM四、最先进的功能五、训练方法示例六、项目亮点教程一、关于LitGPTLitGPT用于使用、微调、预训练和部署LLMLightning快速⚡⚡每个LLM都是从头开始实现的，没有抽象和完全控
  • Meta首席科学家Yann LeCun预言：5年内AI架构将颠覆，当前大模型的4大核心缺陷 机器小乙 人工智能
    ✨引言：一场颠覆AI行业的预言在2025冬季达沃斯“技术辩论”现场，Meta首席AI科学家、图灵奖得主杨立昆（YannLeCun）抛出一个震撼观点：“当前的大语言模型（LLM）范式将在3-5年内被淘汰。”这位深度学习先驱的论断，不仅直指ChatGPT等明星产品的技术天花板，更揭示了下一代AI进化的核心路径——构建理解物理世界的“世界模型”（WorldModel）。作为Meta人工智能实验室负责人，
  • 【AI人工智能】DeepSeek R1：你需要知道的一切 大名顶顶 人工智能人工智能AIDeepSeek程序员计算机编程开源
    我们将在本博客中介绍的关于DeepSeekR1的所有你需要知道的一切内容，请坚持认真读完，必有收获：DeepSeekR1简要概述主要特点与能力开源与可访问性模型架构强化学习训练变体与精简模型使用案例与应用从专有模型迁移到开源模型1.DeepSeekR1简要概述大语言模型（LLM）研究领域正在迅速发展，每一个新模型都在推动机器能力的边界。DeepSeekR1是由DeepSeek于2025年1月20日
  • Java序列化进阶篇 g21121 java序列化
            1.transient         类一旦实现了Serializable 接口即被声明为可序列化，然而某些情况下并不是所有的属性都需要序列化，想要人为的去阻止这些属性被序列化，就需要用到transient 关键字。
  • escape()、encodeURI()、encodeURIComponent()区别详解 aigo JavaScriptWeb
    原文：http://blog.sina.com.cn/s/blog_4586764e0101khi0.html   JavaScript中有三个可以对字符串编码的函数，分别是： escape,encodeURI,encodeURIComponent，相应3个解码函数：,decodeURI,decodeURIComponent 。 下面简单介绍一下它们的区别 1 escape()函
  • ArcgisEngine实现对地图的放大、缩小和平移 Cb123456 添加矢量数据对地图的放大、缩小和平移Engine
    ArcgisEngine实现对地图的放大、缩小和平移:  个人觉得是平移，不过网上的都是漫游，通俗的说就是把一个地图对象从一边拉到另一边而已。就看人说话吧.  具体实现: 一、引入命名空间    using ESRI.ArcGIS.Geometry;    using ESRI.ArcGIS.Controls; 二、代码实现.
  • Java集合框架概述 天子之骄 Java集合框架概述
       集合框架 集合框架可以理解为一个容器，该容器主要指映射(map)、集合(set)、数组(array)和列表(list)等抽象数据结构。 从本质上来说，Java集合框架的主要组成是用来操作对象的接口。不同接口描述不同的数据类型。   简单介绍：   Collection接口是最基本的接口，它定义了List和Set，List又定义了LinkLi
  • 旗正4.0页面跳转传值问题 何必如此 javajsp
    跳转和成功提示 a)        成功字段非空forward 成功字段非空forward，不会弹出成功字段，为jsp转发，页面能超链接传值,传输变量时需要拼接。接拼接方式list.jsp?test="+strweightUnit+"或list.jsp?test="+weightUnit+&qu
  • 全网唯一:移动互联网服务器端开发课程 cocos2d-x小菜 web开发移动开发移动端开发移动互联程序员
        移动互联网时代来了！     App市场爆发式增长为Web开发程序员带来新一轮机遇，近两年新增创业者，几乎全部选择了移动互联网项目！传统互联网企业中超过98%的门户网站已经或者正在从单一的网站入口转向PC、手机、Pad、智能电视等多端全平台兼容体系。据统计，AppStore中超过85%的App项目都选择了PHP作为后端程
  • Log4J通用配置|注意问题 笔记 7454103 DAOapachetomcatlog4jWeb
    关于日志的等级 那些去 百度就知道了！ 这几天 要搭个新框架  配置了 日志 记下来 ！做个备忘！ #这里定义能显示到的最低级别,若定义到INFO级别,则看不到DEBUG级别的信息了~! log4j.rootLogger=INFO,allLog # DAO层 log记录到dao.log 控制台 和 总日志文件 log4j.logger.DAO=INFO,dao,C
  • SQLServer TCP/IP 连接失败问题 ---SQL Server Configuration Manager darkranger sqlcwindowsSQL ServerXP
    当你安装完之后,连接数据库的时候可能会发现你的TCP/IP 没有启动.. 发现需要启动客户端协议 : TCP/IP  需要打开 SQL Server Configuration Manager... 却发现无法打开 SQL Server Configuration Manager..?? 解决方法:  C:\WINDOWS\system32目录搜索framedyn.
  • [置顶] 做有中国特色的程序员 aijuans 程序员
    从出版业说起 网络作品排到靠前的，都不会太难看，一般人不爱看某部作品也是因为不喜欢这个类型，而此人也不会全不喜欢这些网络作品。究其原因，是因为网络作品都是让人先白看的，看的好了才出了头。而纸质作品就不一定了，排行榜靠前的，有好作品，也有垃圾。 许多大牛都是写了博客，后来出了书。这些书也都不次，可能有人让为不好，是因为技术书不像小说，小说在读故事，技术书是在学知识或温习知识，有些技术书读得可
  • document.domain 跨域问题 avords document
    document.domain用来得到当前网页的域名。比如在地址栏里输入：javascript:alert(document.domain); //www.315ta.com我们也可以给document.domain属性赋值，不过是有限制的，你只能赋成当前的域名或者基础域名。比如：javascript:alert(document.domain = "315ta.com");
  • 关于管理软件的一些思考 houxinyou 管理
    工作好多看年了,一直在做管理软件,不知道是我最开始做的时候产生了一些惯性的思维,还是现在接触的管理软件水平有所下降.换过好多年公司,越来越感觉现在的管理软件做的越来越乱. 在我看来,管理软件不论是以前的结构化编程,还是现在的面向对象编程,不管是CS模式,还是BS模式.模块的划分是很重要的.当然,模块的划分有很多种方式.我只是以我自己的划分方式来说一下. 做为管理软件,就像现在讲究MVC这
  • NoSQL数据库之Redis数据库管理(String类型和hash类型) bijian1013 redis数据库NoSQL
    一.Redis的数据类型 1.String类型及操作         String是最简单的类型，一个key对应一个value，string类型是二进制安全的。Redis的string可以包含任何数据，比如jpg图片或者序列化的对象。         Set方法：设置key对应的值为string类型的value
  • Tomcat 一些技巧 征客丶 javatomcatdos
    以下操作都是在windows 环境下 一、Tomcat 启动时配置 JAVA_HOME 在 tomcat 安装目录，bin 文件夹下的 catalina.bat 或 setclasspath.bat 中添加 set JAVA_HOME=JAVA 安装目录 set JRE_HOME=JAVA 安装目录/jre 即可； 二、查看Tomcat 版本 在 tomcat 安装目
  • 【Spark七十二】Spark的日志配置 bit1129 spark
    在测试Spark Streaming时，大量的日志显示到控制台，影响了Spark Streaming程序代码的输出结果的查看(代码中通过println将输出打印到控制台上)，可以通过修改Spark的日志配置的方式，不让Spark Streaming把它的日志显示在console   在Spark的conf目录下，把log4j.properties.template修改为log4j.p
  • Haskell版冒泡排序 bookjovi 冒泡排序haskell
    面试的时候问的比较多的算法题要么是binary search，要么是冒泡排序，真的不想用写C写冒泡排序了，贴上个Haskell版的，思维简单，代码简单，下次谁要是再要我用C写冒泡排序，直接上个haskell版的，让他自己去理解吧。     sort [] = [] sort [x] = [x] sort (x:x1:xs) | x>x1 = x1:so
  • java 路径 配置文件读取 bro_feng java
    这几天做一个项目，关于路径做如下笔记，有需要供参考。 取工程内的文件，一般都要用相对路径，这个自然不用多说。 在src统计目录建配置文件目录res,在res中放入配置文件。 读取文件使用方式： 1. MyTest.class.getResourceAsStream("/res/xx.properties") 2. properties.load(MyTest.
  • 读《研磨设计模式》-代码笔记-简单工厂模式 bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ package design.pattern; /* * 个人理解：简单工厂模式就是IOC; * 客户端要用到某一对象，本来是由客户创建的，现在改成由工厂创建，客户直接取就好了 */ interface IProduct {
  • SVN与JIRA的关联 chenyu19891124 SVN
    SVN与JIRA的关联一直都没能装成功，今天凝聚心思花了一天时间整合好了。下面是自己整理的步骤： 一、搭建好SVN环境，尤其是要把SVN的服务注册成系统服务 二、装好JIRA，自己用是jira-4.3.4破解版 三、下载SVN与JIRA的插件并解压，然后拷贝插件包下lib包里的三个jar，放到Atlassian\JIRA 4.3.4\atlassian-jira\WEB-INF\lib下，再
  • JWFDv0.96 最新设计思路 comsci 数据结构算法工作企业应用公告
                       随着工作流技术的发展，工作流产品的应用范围也不断的在扩展，开始进入了像金融行业(我已经看到国有四大商业银行的工作流产品招标公告了)，实时生产控制和其它比较重要的工程领域，而
  • vi 保存复制内容格式粘贴 daizj vi粘贴复制保存原格式不变形
        vi是linux中非常好用的文本编辑工具，功能强大无比，但对于复制带有缩进格式的内容时，粘贴的时候内容错位很严重，不会按照复制时的格式排版，vi能不能在粘贴时，按复制进的格式进行粘贴呢？ 答案是肯定的，vi有一个很强大的命令可以实现此功能 。     在命令模式输入:set paste，则进入paste模式，这样再进行粘贴时
  • shell脚本运行时报错误：/bin/bash^M: bad interpreter 的解决办法 dongwei_6688 shell脚本
    出现原因：windows上写的脚本，直接拷贝到linux系统上运行由于格式不兼容导致 解决办法： 1. 比如文件名为myshell.sh，vim myshell.sh 2. 执行vim中的命令 : set ff?查看文件格式，如果显示fileformat=dos，证明文件格式有问题 3. 执行vim中的命令 :set fileformat=unix 将文件格式改过来就可以了，然后:w
  • 高一上学期难记忆单词 dcj3sjt126com wordenglish
    honest 诚实的；正直的 argue 争论 classical 古典的 hammer 锤子 share  分享；共有 sorrow 悲哀；悲痛 adventure 冒险 error 错误；差错 closet 壁橱；储藏室 pronounce 发音；宣告 repeat 重做；重复 majority 大多数；大半   native 本国的，本地的，本国
  • hibernate查询返回DTO对象，DTO封装了多个pojo对象的属性 frankco POJOhibernate查询DTO
          DTO-数据传输对象；pojo-最纯粹的java对象与数据库中的表一一对应。       简单讲：DTO起到业务数据的传递作用，pojo则与持久层数据库打交道。         有时候我们需要查询返回DTO对象，因为DTO
  • Partition List hcx2013 partition
    Given a linked list and a value x, partition it such that all nodes less than x come before nodes greater than or equal to x. You should preserve the original relative order of th
  • Spring MVC测试框架详解——客户端测试 jinnianshilongnian
    上一篇《Spring MVC测试框架详解——服务端测试》已经介绍了服务端测试，接下来再看看如果测试Rest客户端，对于客户端测试以前经常使用的方法是启动一个内嵌的jetty/tomcat容器，然后发送真实的请求到相应的控制器；这种方式的缺点就是速度慢；自Spring 3.2开始提供了对RestTemplate的模拟服务器测试方式，也就是说使用RestTemplate测试时无须启动服务器，而是模拟一
  • 关于推荐个人观点 liyonghui160com 推荐系统关于推荐个人观点
        回想起来，我也做推荐了3年多了，最近公司做了调整招聘了很多算法工程师，以为需要多么高大上的算法才能搭建起来的，从实践中走过来，我只想说【不是这样的】     第一次接触推荐系统是在四年前入职的时候，那时候，机器学习和大数据都是没有的概念，什么大数据处理开源软件根本不存在，我们用多台计算机web程序记录用户行为，用.net的w
  • 不间断旋转的动画 pangyulei 动画
    CABasicAnimation* rotationAnimation; rotationAnimation = [CABasicAnimation animationWithKeyPath:@"transform.rotation.z"]; rotationAnimation.toValue = [NSNumber numberWithFloat: M
  • 自定义annotation sha1064616837 javaenumannotationreflect
    对象有的属性在页面上可编辑，有的属性在页面只可读，以前都是我们在页面上写死的，时间一久有时候会混乱，此处通过自定义annotation在类属性中定义。越来越发现Java的Annotation真心很强大，可以帮我们省去很多代码，让代码看上去简洁。 下面这个例子 主要用到了 1.自定义annotation：@interface，以及几个配合着自定义注解使用的几个注解 2.简单的反射 3.枚举
  • Spring 源码 up2pu spring
    1.Spring源代码 https://github.com/SpringSource/spring-framework/branches/3.2.x 注：兼容svn检出 2.运行脚本 import-into-eclipse.bat 注：需要设置JAVA_HOME为jdk 1.7 build.gradle compileJava { sourceCompatibilit
  • 利用word分词来计算文本相似度 yangshangchuan wordword分词文本相似度余弦相似度简单共有词
    word分词提供了多种文本相似度计算方式： 方式一：余弦相似度，通过计算两个向量的夹角余弦值来评估他们的相似度 实现类：org.apdplat.word.analysis.CosineTextSimilarity 用法如下： String text1 = "我爱购物"; String text2 = "我爱读书"; String text3 =
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他