谷歌开发者
谷歌开发者

Google Cloud 线上课堂 | Cloud TPU: 加速企业深度学习训练

Google Cloud 线上课堂 | Cloud TPU: 加速企业深度学习训练_第1张图片

AI 正成为科技公司业务创新的最大驱动力，在麦肯锡发布的《The state of AI》报告中，调研了 2,395 位企业技术高管，有近半数表示已经通过机器学习，实现了降本增效。基于机器学习、深度学习技术架构的重要性不言而喻，但复杂的模型、庞大的参数都成为快速实施的障碍。

Cloud TPU 作为 Google 专为机器学习打造的 ASIC 产品，解决了企业在部署人工智能应用中的痛点。Cloud TPU 有着稳定、优质的性能保证，同时与 Google Cloud 全面集成的特性，使得用户在 Cloud TPU 上运行机器学习工作负载时，可充分利用 GCP 行业领先的存储、网络及数据分析技术优势。

Google Cloud 线上课堂 | Cloud TPU: 加速企业深度学习训练_第2张图片

Cloud TPU 还提供了大量优化模型库，在图片分类、对象检测、语言建模、语音识别上都有亮眼的表现，帮助企业更快地迭代机器学习解决方案，在人工智能时代快速占据优势地位。

*《The state of AI in 2020》由麦肯锡于 2020 年底发布

观看本次课程，您将收获:

| Cloud TPU 产品功能概览

| Cloud TPU 最佳实践和案例分析

| 实用演示: 用 Cloud TPU 训练 Transformer 模型

Google Cloud 线上课堂 | Cloud TPU: 加速企业深度学习训练_第3张图片

Google Cloud 线上课堂 | Cloud TPU: 加速企业深度学习训练_第4张图片

Google Cloud 线上课堂 | Cloud TPU: 加速企业深度学习训练_第5张图片

你可能感兴趣的:(人工智能,机器学习,大数据,深度学习,数据分析)

  • 如今传统企业如何做数字化转型？ 年少有为2025 saas小程序开发bigdata人工智能大数据产品运营架构
    什么是数字化转型？“数字化转型”实际上就是对业务过程进行的重塑，通过重塑使其默认就更加适应更全面的在线环境，从最终用户的接触到后端的办公室工作，全面实现无需人工接入的过程自动化。广义上的数字化，强调的是数字技术对商业网的重塑，信息技术能力。不只是单纯的解决企业的降本增效的问题，而是成为赋能企业商业模式创新和突破的核心力量。“数字化转型就是利用数字化技术，如云计算、大数据、人工智能、物联网、区块链等
  • 基于matlab开发的图书馆信息管理系统 2201_75931014 matlab
    《基于MatlabGUI的图书管理系统》是一套完备的代码实现方案，专为热衷于数据分析的爱好者以及潜心学习的人士量身打造。Matlab（矩阵实验室）作为一款功能强大的编程环境，在数值计算、数据分析以及可视化展示等方面展现出了卓越的优势。本系统借助Matlab的图形用户界面（GUI）功能，精心构建了一个直观且易于操作的图书管理平台，能够便捷地助力用户开展图书的录入、查询、修改以及删除等各类操作。Mat
  • 大学生知识库人工智能知识助手泉舟创新中心【产品经理】 一米九五的猪
    1、授课：张思鹏sunnyact(泉舟时代创新创业中心)参考：2、主要文章内容：大学生知识库（专升本）1.福建统招专升本考试大纲及参考用书http://fj.offcn.com/html/2018/11/108847.html2.福建省教育考试院2019年普通高校专升本考试报名工作的通知http://jyt.fujian.gov.cn/xxgk/zywj/201812/t20181228_4728
  • c++ 智能指针_超详细 C/C++ 学习路线分析：学好 C/C++，走遍天下都不怕 weixin_39637919 c++智能指针c++构造函数数组c++标准异常类层次结构c++图形界面编程c++基于mfc之地图量算c++电视遥控(静态+友元)
    C/C++遍布的领域有后端服务器，移动互联网后端，经典Windows界面开发，移动互联网端界面开发，跨平台界面开发，图形分析，系统架构，应用设计，分布架构，还有现在最为流行的人工智能等一些新的技术领域。所以说：C/C++俨然已成为一门贵族语言，成为了编程界最重要的语言之一。如果大家如果在自学遇到困难，想找一个C++学习环境，可以加入我们的C++学习圈，点击我加入吧，会节约很多时间，减少很多在学习中
  • python 基于aiohttp的异步爬虫实战 钢铁知识库 python教程python爬虫开发语言
    钢铁知识库，一个学习python爬虫、数据分析的知识库。人生苦短，快用python。之前我们使用requests库爬取某个站点的时候，每发出一个请求，程序必须等待网站返回响应才能接着运行，而在整个爬虫过程中，整个爬虫程序是一直在等待的，实际上没有做任何事情。像这种占用磁盘/内存IO、网络IO的任务，大部分时间是CPU在等待的操作，就叫IO密集型任务。对于这种情况有没有优化方案呢，当然有，那就是使用
  • AI 平台技术架构设计方案 数研妙手 AI技术实践人工智能
    一、引言随着人工智能技术的广泛应用，构建一个高效、灵活且可扩展的AI平台至关重要。本方案旨在提供一个全面的AI平台技术架构设计，以满足不同场景下的AI开发、训练、部署和管理需求。二、设计目标高效性：确保在训练和推理过程中能够充分利用计算资源，快速处理大量数据，缩短训练时间和推理延迟。灵活性：支持多种AI框架、算法和模型，能够适应不同的业务场景和需求变化。可扩展性：易于扩展计算资源、存储容量和功能模
  • 泛微全面接入DeepSeek大模型，助力组织升级数智化应用场景 泛微OA办公系统 泛微DeepSeek
    近日，泛微公司旗下所有产品全面接入DeepSeek大模型，借助泛微2024年发布的数智大脑Xiaoe.AI，可快捷方便为客户搭建“DeepSeek大模型+专业小模型+智能体”的数智底座，并可量身定制更安全、高效、国产化的数智化解决方案，助力组织管理与业务、财务一体化数智运营升级。在接入DeepSeek大模型后，泛微将借助DeepSeek强大的自然语言处理、机器学习、推理等能力，显著提升泛微各项产品
  • 深度学习的前沿与挑战：从基础到最新进展 Jason_Orton 深度学习人工智能数据挖掘机器学习
    目录引言什么是深度学习？深度学习的工作原理深度学习的关键技术1.卷积神经网络（CNN）2.循环神经网络（RNN）3.生成对抗网络（GAN）4.变分自编码器（VAE）5.自注意力机制与Transformer深度学习的应用1.计算机视觉2.自然语言处理（NLP）3.语音识别与合成4.推荐系统5.医学影像分析深度学习面临的挑战结语引言深度学习（DeepLearning）近年来成为人工智能领域的核心技术之
  • 【2024软考架构案例题】你知道 Es 的几种分词器吗？Standard、Simple、WhiteSpace、Keyword 四种分词器你知道吗？ 激流丶 日常elasticsearch大数据搜索引擎
    博主介绍：博主从事应用安全和大数据领域，有8年研发经验，5年面试官经验，Java技术专家，WEB架构师，阿里云专家博主，华为云云享专家，51CTO专家博主⛪️个人社区：个人社区个人主页：个人主页专栏地址：✅Java中级八股文专题：剑指大厂，手撕Java八股文文章目录1.什么是Standard分词器？2.什么是Simple分词器？3.什么是WhiteSpace分词器？4.什么是Keyword分词器？
  • 第十三站：卷积神经网络（CNN）的优化 武狐肆骸 机器学习cnn人工智能神经网络
    前言：在上一期我们构建了基本的卷积神经网络之后，接下来我们将学习一些提升网络性能的技巧和方法。这些优化技术包括数据增强、网络架构的改进、正则化技术。1.数据增强（DataAugmentation）数据增强是提升深度学习模型泛化能力的一种常见手段。通过对训练数据进行各种随机变换，可以生成更多的训练样本，帮助模型避免过拟合。常见的数据增强方法：旋转（Rotation）：随机旋转图像，增强模型对旋转变换
  • 量子计算与人工智能的未来交响曲 Echo_Wish 前沿技术人工智能量子计算人工智能
    量子计算与人工智能的未来交响曲大家好，我是Echo_Wish，今天我们来聊聊一个既前沿又令人兴奋的话题——量子计算与人工智能的交叉领域。这两大尖端科技的结合，不仅为科学研究带来了新的可能性，更可能彻底改变我们的生活方式。本文将深入探讨这一交叉领域，并通过代码示例展示其实际应用。量子计算与人工智能的现状首先，我们来了解一下量子计算和人工智能的基本概念。量子计算利用量子力学的基本原理，如叠加态和纠缠态
  • 量子计算如何改变加密技术：颠覆与变革的前沿 Echo_Wish 人工智能前沿技术量子计算
    量子计算如何改变加密技术：颠覆与变革的前沿大家好，我是Echo_Wish，一名专注于人工智能和Python的自媒体创作者。今天，我们来探讨一个前沿且引人深思的话题——量子计算如何改变加密技术。随着量子计算的快速发展，传统的加密技术面临前所未有的挑战和机遇。本文将详细介绍量子计算对加密技术的影响，并通过实际代码示例展示其可能的应用。一、量子计算的基本概念量子计算是一种基于量子力学原理的新型计算方式，
  • Hive SQL 使用及进阶详解 小四的快乐生活 hivesqlhadoop
    一、Hive简介Hive是建立在Hadoop之上的数据仓库基础架构，它提供了类似于SQL的查询语言HiveSQL（也称为HQL），用于对存储在Hadoop分布式文件系统（HDFS）中的大规模数据进行数据查询和分析。Hive将SQL查询转换为MapReduce、Tez或Spark等分布式计算任务，使得不熟悉Java编程的数据分析人员也能方便地处理大规模数据。二、HiveSQL基础使用（一）环境准备在
  • 巨型计算机是未来新型计算机吗,未来计算机技术展望 国观智库 巨型计算机是未来新型计算机吗
    未来计算机技术展望1、前言计算机的发展将趋向巨型化、微型化、网络化多媒体化和智能化。自从1944年世界上第一台电子计算机诞生以来，计算机技术迅猛发展，传统计算机的性能受到挑战，开始从基本原理上寻找计算机发展的突破口，新型计算机的研发应运而生。未来量子、光子、分子和纳米计算机将具有感知、思考、判断、学习以及一定的自然语言能力，使计算机进人人工智能时代。这种新型计算机将推动新一轮计算技术革命，对人类社
  • 智能算法的全面应用：量子计算与自动化学习在各行业的创新路径探索 智能计算研究中心 其他
    内容概要在现代社会，智能算法的应用逐渐渗透到各个行业，成为推动科技进步的重要力量。自动化机器学习算法通过简化模型训练和调优的过程，为数据科学家节省了大量时间。可解释性算法则旨在让模型的决策过程更加透明，从而提高用户对算法决策的信任。此外，量子算法以其独特的计算能力，展现出在处理复杂问题时潜在的优势。金融风控领域通过运用金融风险预测模型，不仅提高了风险管理效率，还提升了预警能力。医疗影像分析则借助卷
  • 大数据SQL调优专题——调优切入 黄雪超 技术基础大数据sql数据仓库
    引入我们都知道大数据的SQL优化，并非一蹴而就的简单任务，而是一个涉及多个环节的复杂过程。从需求提出到最终交付，任何一个环节的微小偏差都可能影响最终成果。虽然我们的专栏名字叫大数据SQL调优，但是实际调优并不是简单对SQL优化，而是一个涉及多个环节的复杂过程。实际上从需求接入到最终交付，任何一个环节的都可能影响最终成果。而调优的本质并非对任务进行大规模重构，而是通过各种监控工具，排查梳理出瓶颈点在
  • 使用Python和Vosk库实现语音识别 车载testing python语音识别开发语言
    使用Python和Vosk库实现语音识别在人工智能和机器学习领域，语音识别技术正变得越来越重要。Python作为一种强大的编程语言，拥有丰富的库和框架，可以方便地实现语音识别功能。今天，我们将介绍如何使用Python中的SpeechRecognition库和Vosk模型来实现语音识别。一、SpeechRecognition库的安装SpeechRecognition库是Python中一个简单易用的语
  • LayoutInflater & Factory2 Android西红柿 Android基础java开发语言android
    关于作者：CSDN内容合伙人、技术专家，从零开始做日活千万级APP。专注于分享各领域原创系列文章，擅长java后端、移动开发、商业变现、人工智能等，希望大家多多支持。未经允许不得转载目录一、导读二、概览三、使用3.1LayoutInflater实例获取3.2调用inflate方法解析3.3四、LayoutInflater.Factory(2)4.1使用4.2注意点五、推荐阅读一、导读我们继续总结学
  • uml类图 Android西红柿 工具-效率androidflutter
    关于作者：CSDN内容合伙人、技术专家，从零开始做日活千万级APP，带领团队单日营收超千万。专注于分享各领域原创系列文章，擅长java后端、移动开发、商业化变现、人工智能等，希望大家多多支持。目录一、导读二、概览三、推荐阅读一、导读我们继续总结学习基础知识，温故知新。二、概览无他，唯记录尔！publicvoidtest(){System.out.println("HelloWorld");}fun
  • Python库Numpy学习+代码实例 海绵宝宝 pythonnumpy学习机器学习
    前言Numpy是python语言的一个扩充程序库，支持高端大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库，现已成为机器学习的必备模块。本文章对Numpy库的原文档进行了学习，可作为文档阅读理解来进行阅读。附原文档链接如下：Numpy库文档库的介绍该库中的对象为多维数组，原名为ndarray，因此经常被叫做array。python中也有一个库叫做array，但是与这里的ndarra
  • Python+whisper/vosk实现语音识别 唯余木叶下弦声 pythonwhisper语音识别人工智能
    目录一、Whisper1、Whisper介绍2、安装Whisper3、使用Whisper-base模型4、使用Whisper-large-v3-turbo模型二、vosk1、Vosk介绍2、vosk安装3、使用vosk三、总结一、Whisper1、Whisper介绍Whisper是一个由OpenAI开发的人工智能语音识别模型，它能够将语音转换为文本。Whisper模型特别之处在于它的设计目标是能够
  • DeepSeek R1、Kimi k1.5与OpenAI o1：技术架构、性能对比及应用前景深度剖析 WilsonShiiii 语言模型gpt
    在人工智能的浪潮中，大型语言模型（LLMs）已成为推动技术变革的核心引擎。DeepSeekR1、Kimik1.5和OpenAIo1作为这一领域的先锋代表，以其独特的技术架构和卓越的性能，引领着行业的发展方向。深入剖析这三款模型，不仅能让我们把握LLMs的技术脉搏，更能为未来的技术创新和应用拓展提供有力支撑。深度拆解技术架构DeepSeekR1：强化学习驱动的革新之路DeepSeekR1的核心在于对
  • 【AI+智造】基于DeepSeek的船舶海工设备多维度数据分析技术方案——以南通船舶制造企业为例 邹工转型手札 企业信息化Duodoo开源Odoo18开源人工智能制造数据分析
    作者：Odoo技术开发/资深信息化负责人日期：2025年2月25日以下技术方案基于南通市制造业特点，结合船舶海工行业实际应用场景，针对设备数据量化分析需求展开论述。全文以技术可行性、行业适配性及实施路径为核心，深度整合区域产业特征与数字化技术解决方案。一、南通制造业特点与船舶海工行业背景1.南通制造业特征分析南通市作为长三角制造业重镇，已形成"传统产业+新兴产业+未来产业"的三级发展体系，2024
  • 深度学习：从神经网络到智能应用 Jason_Orton 深度学习神经网络人工智能机器学习
    目录引言一.什么是深度学习？二.深度学习的基本原理1.神经网络的组成2.激活函数3.反向传播（Backpropagation）三.深度学习的常见模型四.深度学习的应用场景五.深度学习的挑战与未来结语引言深度学习（DeepLearning）作为机器学习的一个分支，近年来在人工智能领域取得了革命性的进展。无论是语音识别、图像识别，还是自动驾驶、自然语言处理，深度学习都在推动着技术的发展和行业的变革。那
  • 云上玩转DeepSeek系列之五：实测优化16%, 体验FlashMLA加速DeepSeek-V2-Lite推理 deepseekllm人工智能
    2月25日，DeepSeek-AI面向社区开源了其技术成果FlashMLA（https://github.com/deepseek-ai/FlashMLA），这是一个面向推理优化的高效多层注意力（Multi-HeadLatentAttention）解码内核。该技术通过优化多头潜在注意力机制和分页KV缓存系统，显著提升了大语言模型的长序列处理能力与推理效率。我们第一时间在人工智能平台PAI上进行拆箱
  • 《深度揭秘：生成对抗网络如何重塑遥感图像分析精度》 程序猿阿伟 生成对抗网络人工智能机器学习
    在当今数字化时代，遥感图像作为获取地球表面信息的重要数据源，广泛应用于城市规划、农业监测、环境评估等诸多领域。然而，如何从海量的遥感数据中提取高精度的信息，一直是学术界和工业界共同面临的挑战。生成对抗网络（GAN）的出现，为提升人工智能在遥感图像分析中的精度开辟了全新的路径。生成对抗网络：技术基石剖析生成对抗网络由生成器（Generator）和判别器（Discriminator）组成，二者通过对抗
  • 软件开发：创新与挑战并存的旅程 javascriptphp
    在当今数字化时代，软件开发已成为推动社会进步和经济发展的核心力量，它宛如一座桥梁，连接着现实世界与数字世界，为人们的生活和工作带来了前所未有的便利和效率。编程基础：基石与翅膀编程语言精通：开发人员需熟练掌握至少一门编程语言，如Java、Python或C++等。不同的编程语言适用于不同的应用场景，如Java常用于企业级应用开发，Python在数据科学和人工智能领域应用广泛，C++则在性能要求极高的系
  • 如何利用GPT创作诗歌与短篇故事赚钱
    在当今社会，人工智能技术已经广泛应用于各个领域，其中包括创意写作。GenerativePre-trainedTransformer（GPT）作为一种强大的自然语言处理工具，为普通人提供了创作诗歌和短篇故事的新途径，并能够通过这些创作实现赚钱的机会。如何利用GPT进行诗歌和短篇故事创作？生成创作：GPT能够根据输入的提示或主题生成连贯、富有想象力的文本。对于诗歌，你可以给出一些词语或主题，让GPT根
  • 《深度揭秘：生成对抗网络如何重塑遥感图像分析精度》 人工智能深度学习
    在当今数字化时代，遥感图像作为获取地球表面信息的重要数据源，广泛应用于城市规划、农业监测、环境评估等诸多领域。然而，如何从海量的遥感数据中提取高精度的信息，一直是学术界和工业界共同面临的挑战。生成对抗网络（GAN）的出现，为提升人工智能在遥感图像分析中的精度开辟了全新的路径。生成对抗网络：技术基石剖析生成对抗网络由生成器（Generator）和判别器（Discriminator）组成，二者通过对抗
  • 基于 YOLO 进行车道线检测与目标检测算法研究及开发的一般步骤 pk_xz123456 python算法深度学习YOLO目标检测算法
    基于深度学习的车道线检测与目标检测在自动驾驶等领域有着重要应用，使用YOLO（YouOnlyLookOnce）进行开发是一种常见且高效的方式。以下是关于基于YOLO进行车道线检测与目标检测算法研究及开发的一般步骤和相关内容：1.环境搭建首先确保你的开发环境安装了必要的软件和库，推荐使用Python语言，以下是一些关键库：PyTorch：YOLO通常基于PyTorch实现，安装适合你系统的PyTor
  • LeetCode[位运算] - #137 Single Number II Cwind javaAlgorithmLeetCode题解位运算
    原题链接：#137 Single Number II  要求： 给定一个整型数组，其中除了一个元素之外，每个元素都出现三次。找出这个元素 注意：算法的时间复杂度应为O(n)，最好不使用额外的内存空间   难度：中等   分析： 与#136类似，都是考察位运算。不过出现两次的可以使用异或运算的特性 n XOR n = 0, n XOR 0 = n，即某一
  • 《JavaScript语言精粹》笔记 aijuans JavaScript
    0、JavaScript的简单数据类型包括数字、字符创、布尔值（true/false）、null和undefined值，其它值都是对象。 1、JavaScript只有一个数字类型，它在内部被表示为64位的浮点数。没有分离出整数，所以1和1.0的值相同。 2、NaN是一个数值，表示一个不能产生正常结果的运算结果。NaN不等于任何值，包括它本身。可以用函数isNaN(number)检测NaN,但是
  • 你应该更新的Java知识之常用程序库 Kai_Ge java
    在很多人眼中，Java 已经是一门垂垂老矣的语言，但并不妨碍 Java 世界依然在前进。如果你曾离开 Java，云游于其它世界，或是每日只在遗留代码中挣扎，或许是时候抬起头，看看老 Java 中的新东西。 Guava Guava[gwɑ:və]，一句话，只要你做Java项目，就应该用Guava（Github）。 guava 是 Google 出品的一套 Java 核心库，在我看来，它甚至应该
  • HttpClient 120153216 httpclient
    /** * 可以传对象的请求转发，对象已流形式放入HTTP中 */ public static Object doPost(Map<String,Object> parmMap,String url) { Object object = null; HttpClient hc = new HttpClient(); String fullURL
  • Django model字段类型清单 2002wmj django
    Django 通过 models 实现数据库的创建、修改、删除等操作，本文为模型中一般常用的类型的清单，便于查询和使用： AutoField：一个自动递增的整型字段，添加记录时它会自动增长。你通常不需要直接使用这个字段；如果你不指定主键的话，系统会自动添加一个主键字段到你的model。(参阅自动主键字段) BooleanField：布尔字段,管理工具里会自动将其描述为checkbox。 Cha
  • 在SQLSERVER中查找消耗CPU最多的SQL 357029540 SQL Server
    返回消耗CPU数目最多的10条语句 SELECT TOP 10    total_worker_time/execution_count AS avg_cpu_cost, plan_handle,    execution_count,    (SELECT SUBSTRING(text, statement_start_of
  • Myeclipse项目无法部署，Undefined exploded archive location 7454103 eclipseMyEclipse
    做个备忘！ 错误信息为：       Undefined exploded archive location 原因：           在工程转移过程中，导致工程的配置文件出错； 解决方法：    
  • GMT时间格式转换 adminjun GMT时间转换
    普通的时间转换问题我这里就不再罗嗦了，我想大家应该都会那种低级的转换问题吧，现在我向大家总结一下如何转换GMT时间格式，这种格式的转换方法网上还不是很多，所以有必要总结一下，也算给有需要的朋友一个小小的帮助啦。 1、可以使用 SimpleDateFormat SimpleDateFormat    EEE-三位星期 d-天 MMM-月 yyyy-四位年
  • Oracle数据库新装连接串问题 aijuans oracle数据库
    割接新装了数据库，客户端登陆无问题，apache/cgi-bin程序有问题，sqlnet.log日志如下： Fatal NI connect error 12170.   VERSION INFORMATION:         TNS for Linux: Version 10.2.0.4.0 - Product
  • 回顾java数组复制 ayaoxinchao java数组
    在写这篇文章之前，也看了一些别人写的，基本上都是大同小异。文章是对java数组复制基础知识的回顾，算是作为学习笔记，供以后自己翻阅。首先，简单想一下这个问题：为什么要复制数组？我的个人理解：在我们在利用一个数组时，在每一次使用，我们都希望它的值是初始值。这时我们就要对数组进行复制，以达到原始数组值的安全性。java数组复制大致分为3种方式：①for循环方式 ②clone方式 ③arrayCopy方
  • java web会话监听并使用spring注入 bewithme Java Web
            在java web应用中，当你想在建立会话或移除会话时，让系统做某些事情，比如说，统计在线用户，每当有用户登录时，或退出时，那么可以用下面这个监听器来监听。        import java.util.ArrayList; import java.ut
  • NoSQL数据库之Redis数据库管理(Redis的常用命令及高级应用) bijian1013 redis数据库NoSQL
    一 .Redis常用命令         Redis提供了丰富的命令对数据库和各种数据库类型进行操作，这些命令可以在Linux终端使用。         a.键值相关命令         b.服务器相关命令 1.键值相关命令       &
  • java枚举序列化问题 bingyingao java枚举序列化
    对象在网络中传输离不开序列化和反序列化。而如果序列化的对象中有枚举值就要特别注意一些发布兼容问题: 1.加一个枚举值 新机器代码读分布式缓存中老对象，没有问题，不会抛异常。 老机器代码读分布式缓存中新对像，反序列化会中断，所以在所有机器发布完成之前要避免出现新对象，或者提前让老机器拥有新增枚举的jar。 2.删一个枚举值 新机器代码读分布式缓存中老对象，反序列
  • 【Spark七十八】Spark Kyro序列化 bit1129 spark
    当使用SparkContext的saveAsObjectFile方法将对象序列化到文件，以及通过objectFile方法将对象从文件反序列出来的时候，Spark默认使用Java的序列化以及反序列化机制，通常情况下，这种序列化机制是很低效的，Spark支持使用Kyro作为对象的序列化和反序列化机制，序列化的速度比java更快，但是使用Kyro时要注意，Kyro目前还是有些bug。 Spark
  • Hybridizing OO and Functional Design bookjovi erlanghaskell
      推荐博文： Tell Above, and Ask Below - Hybridizing OO and Functional Design 文章中把OO和FP讲的深入透彻，里面把smalltalk和haskell作为典型的两种编程范式代表语言，此点本人极为同意，smalltalk可以说是最能体现OO设计的面向对象语言，smalltalk的作者Alan kay也是OO的最早先驱，
  • Java-Collections Framework学习与总结-HashMap BrokenDreams Collections
            开发中常常会用到这样一种数据结构，根据一个关键字，找到所需的信息。这个过程有点像查字典，拿到一个key，去字典表中查找对应的value。Java1.0版本提供了这样的类java.util.Dictionary(抽象类)，基本上支持字典表的操作。后来引入了Map接口，更好的描述的这种数据结构。  &nb
  • 读《研磨设计模式》-代码笔记-职责链模式-Chain Of Responsibility bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ /** * 业务逻辑：项目经理只能处理500以下的费用申请，部门经理是1000，总经理不设限。简单起见，只同意“Tom”的申请 * bylijinnan */ abstract class Handler { /*
  • Android中启动外部程序 cherishLC android
    1、启动外部程序 引用自： http://blog.csdn.net/linxcool/article/details/7692374 //方法一 Intent intent=new Intent(); //包名 包名+类名（全路径） intent.setClassName("com.linxcool", "com.linxcool.PlaneActi
  • summary_keep_rate coollyj SUM
    BEGIN /*DECLARE minDate varchar(20) ; DECLARE maxDate varchar(20) ;*/ DECLARE stkDate varchar(20) ; DECLARE done int default -1; /* 游标中 注册服务器地址 */ DE
  • hadoop hdfs 添加数据目录出错 daizj hadoophdfs扩容
    由于原来配置的hadoop data目录快要用满了，故准备修改配置文件增加数据目录，以便扩容，但由于疏忽，把core-site.xml, hdfs-site.xml配置文件dfs.datanode.data.dir 配置项增加了配置目录，但未创建实际目录，重启datanode服务时，报如下错误： 2014-11-18 08:51:39,128 WARN org.apache.hadoop.h
  • grep 目录级联查找 dongwei_6688 grep
           在Mac或者Linux下使用grep进行文件内容查找时，如果给定的目标搜索路径是当前目录，那么它默认只搜索当前目录下的文件，而不会搜索其下面子目录中的文件内容，如果想级联搜索下级目录，需要使用一个“-r”参数： grep -n -r "GET" .   上面的命令将会找出当前目录“.”及当前目录中所有下级目录
  • yii 修改模块使用的布局文件 dcj3sjt126com yiilayouts
    方法一：yii模块默认使用系统当前的主题布局文件，如果在主配置文件中配置了主题比如: 'theme'=>'mythm', 那么yii的模块就使用 protected/themes/mythm/views/layouts 下的布局文件； 如果未配置主题，那么 yii的模块就使用  protected/views/layouts 下的布局文件， 总之默认不是使用自身目录 pr
  • 设计模式之单例模式 come_for_dream 设计模式单例模式懒汉式饿汉式双重检验锁失败无序写入
                    今天该来的面试还没来，这个店估计不会来电话了，安静下来写写博客也不错，没事翻了翻小易哥的博客甚至与大牛们之间的差距，基础知识不扎实建起来的楼再高也只能是危楼罢了，陈下心回归基础把以前学过的东西总结一下。   *********************************
  • 8、数组 豆豆咖啡 二维数组数组一维数组
      一、概念       数组是同一种类型数据的集合。其实数组就是一个容器。   二、好处       可以自动给数组中的元素从0开始编号，方便操作这些元素   三、格式   //一维数组 1,元素类型[] 变量名 = new 元素类型[元素的个数] int[] arr =
  • Decode Ways hcx2013 decode
    A message containing letters from A-Z is being encoded to numbers using the following mapping: 'A' -> 1 'B' -> 2 ... 'Z' -> 26 Given an encoded message containing digits, det
  • Spring4.1新特性——异步调度和事件机制的异常处理 jinnianshilongnian spring 4.1
    目录 Spring4.1新特性——综述 Spring4.1新特性——Spring核心部分及其他 Spring4.1新特性——Spring缓存框架增强 Spring4.1新特性——异步调用和事件机制的异常处理 Spring4.1新特性——数据库集成测试脚本初始化 Spring4.1新特性——Spring MVC增强 Spring4.1新特性——页面自动化测试框架Spring MVC T
  • squid3(高命中率)缓存服务器配置 liyonghui160com
        系统:centos 5.x   需要的软件:squid-3.0.STABLE25.tar.gz 1.下载squid wget http://www.squid-cache.org/Versions/v3/3.0/squid-3.0.STABLE25.tar.gz tar zxf squid-3.0.STABLE25.tar.gz &&
  • 避免Java应用中NullPointerException的技巧和最佳实践 pda158 java
    1) 从已知的String对象中调用equals()和equalsIgnoreCase()方法，而非未知对象。 　　总是从已知的非空String对象中调用equals()方法。因为equals()方法是对称的，调用a.equals(b)和调用b.equals(a)是完全相同的，这也是为什么程序员对于对象a和b这么不上心。如果调用者是空指针，这种调用可能导致一个空指针异常 Object unk
  • 如何在Swift语言中创建http请求 shoothao httpswift
    概述：本文通过实例从同步和异步两种方式上回答了”如何在Swift语言中创建http请求“的问题。 如果你对Objective-C比较了解的话，对于如何创建http请求你一定驾轻就熟了，而新语言Swift与其相比只有语法上的区别。但是，对才接触到这个崭新平台的初学者来说，他们仍然想知道“如何在Swift语言中创建http请求？”。 在这里,我将作出一些建议来回答上述问题。常见的
  • Spring事务的传播方式 uule spring事务
    传播方式：        新建事务       required       required_new   - 挂起当前         非事务方式运行       supports   &nbs
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他