weixin_34092455
weixin_34092455

Hadoop学习资源集合

Hadoop是一个由Apache基金会所开发的开源分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。Hadoop得以在大数据处理应用中广泛应用得益于其自身在数据提取、变形和加载(ETL)方面上的天然优势。Hadoop的分布式架构，将大数据处理引擎尽可能的靠近存储。

为了帮助大家进一步了解Hadoop，云栖社区组织翻译了GitHub Awesome Hadoop 资源，涵盖Hadoop中常见的库与工具、存储方式、数据库，以及相关的书籍、网站等资源。

目录：

  • Awesome Hadoop
    • Hadoop
    • YARN
    • NoSQL
    • Hadoop上的SQL
    • 数据管理
    • 工作流、生命周期及管理
    • 数据提取与整合
    • DSL
    • 库和工具
    • 实时数据处理
    • 分布式计算和编程 
    • 包装、配置和监测
    • 监测
    • 搜索
    • 安全性
    • 基准
    • 机器学习和大数据分析
    • 其他
  • 资源
    • 网站
    • 演示
    • 书籍
    • Hadoop & 大数据事件

Hadoop

  •   Apache Tez – 它是一个针对Hadoop数据处理应用程序的新分布式执行框架，该框架基于YARN；
  •   SpatialHadoop – SpatialHadoop是Apache Hadoop的MapReduce扩展，专门用于处理空间数据；
  •   GIS Tools for Hadoop –用于Hadoop框架的大数据空间分析；
  •   Elasticsearch Hadoop – Elasticsearch与Hadoop深度集成，可用于实时搜索和分析，支持Map/Reduce、 Cascading、Apache Hive和Apache Pig；
  •   dumbo - Python模块，使Hadoop程序的编写和运行更为容易；
  •   hadoopy – 用Cython写的Python MapReduce库；
  •   mrjob - mrjob是一个Python2.5+程序包，可以帮助编写和运行Hadoop工作流；
  •   pydoop -为Hadoop提供Python API的程序包；
  •   hdfs-du -Hadoop分布式文件系统（HDFS）的交互可视化；
  •   White Elephant - Hadoop的日志聚合器和仪表板；
  •   Kiji Project
  •   Genie - Genie提供REST-ful API，以便运行Hadoop、Hive和Pig jobs，还管理多个Hadoop资源，并在它们之间进行作业提交；
  •   Apache Kylin –最初来自eBay公司的开源分布式分析引擎，能提供Hadoop之上的SQL查询接口及多维分析（OLAP），以支持超大规模数据集；
  •   Crunch -基于Go的工具包，用于在Hadoop上的ETL和特征提取；
  •   Apache Ignite -分布式内存平台。

YARN

  •   Apache Slider - Apache Slider是Apache软件基金会的孵化项目，旨在能够轻松地实现现有应用程序到YARN集群的部署；
  •   Apache Twill - Apache Twill是Apache Hadoop® YARN的抽象层，降低了开发分布式应用程序的复杂度，让开发者更专注于自己的应用逻辑；
  •   mpich2-yarn –在YARN上运行MPICH2。

NoSQL

下一代数据库大多定位于以下几点：非关系型、分布式、开放源码和横向扩展。

  •   Apache HBase - Apache HBase；
  •   Apache Phoenix – Hbase的SQL驱动，支持辅助索引；
  •   happybase -一个开发者友好型的Python库，用于Apache HBase的交互；
  •   Hannibal –用于监测和维护HBase 集群的工具；
  •   Haeinsa –用于HBase的线性可扩展多行多表交易库；
  •   hindex – Hbase的辅助索引；
  •   Apache Accumulo - Apache Accumulo可排序分布式键/值存储，是一个强大的、可扩展高性能数据存储和检索系统；
  •   OpenTSDB -可扩展时间序列数据库；
  •   Apache Cassandra

Hadoop中的SQL

  •   Apache Hive
  •   Apache Phoenix - Hbase的SQL驱动，支持辅助索引；
  •   Pivotal HAWQ – Hadoop上的并行数据库；
  •   Lingual -用于级联的SQL接口（MR / TEZ工作发生器）；
  •   Cloudera Impala
  •   Presto –用于大数据的分布式SQL查询引擎，该查询引擎由Facebook开发，现已开源；
  •   Apache Tajo - Apache Hadoop的数据仓库系统；
  •   Apache Drill

数据管理

  •   Apache Calcite -动态数据管理框架；
  •   Apache Atlas -用于元数据标记及类群捕获，支持复杂的商业数据分类。 

工作流，生命周期及管理

  •   Apache Oozie - Apache Oozie；
  •   Azkaban
  •   Apache Falcon -数据管理与处理平台；
  •   Apache NiFi -数据流系统；
  •   AirFlow – AirFlow是以编程方式建立、调度和监控数据管道的平台；
  •   Luigi - Python包，用于构建批处理作业的复杂管道。

数据提取及整合

  •   Apache Flume - Apache Flume；
  •   Suro - Netflix分布式数据管道；
  •   Apache Sqoop - Apache Sqoop；
  •   Apache Kafka - Apache Kafka；
  •   Gobblin from LinkedIn – Hadoop的通用数据提取框架；

DSL

  •   Apache Pig - Apache Pig
  •   Apache DataFu – Hadoop中用于处理大规模数据的库的集合；
  •   vahara –基于Apache Pig的机器学习和自然语言处理；
  •   packetpig -用于开源大数据安全性分析；
  •   akela – Mozilla的实用工具库，用于Hadoop、HBase、Pig等等；
  •   seqpig -Hadoop中用于大型定序数据集的简单可扩展脚本（bioinfomation除外）；
  •   Lipstick – Pig工作流程可视化工具；A(pache)的Lipstick简介；
  •   PigPen - PigPen 是Clojure或分布式Clojure的Map-reduce，能够编译Apache Pig，但是不需要过多了解Pig也可以使用PigPen。

库和工具

  •   Kite Software Development Kit –一组库、工具、示例和文档；
  •   gohadoop - Apache Hadoop YARN的本地Go客户端；
  •   Hue – 用Apache Hadoop分析数据的Web界面；
  •   Apache Zeppelin -基于Web的笔记，可进行交互式数据分析；
  •   Jumbune - Jumbune是为分析Hadoop集群和MapReduce作业而构建的开源产品；
  •   Apache Thrift
  •   Apache Avro - Apache Avro是一个数据序列化系统；
  •   Elephant Bird – Twitter中LZO、缓冲协议相关的Hadoop、Pig、Hive和HBase代码的集合；
  •   Spring for Apache Hadoop
  •   hdfs - A native go client for HDFS
  •   Oozie Eclipse Plugin -Eclipse中用于编辑Apache Oozie工作流的图形编辑器。

实时数据处理

  •   Apache Storm
  •   Apache Samza
  •   Apache Spark
  •   Apache Flink - Apache Flink是高效的分布式通用数据处理的平台，用于精准的流处理。

分布式计算和编程

  •   Apache Spark
    •   Spark Packages - Apache Spark中程序包的community（社区）索引；
    •   SparkHub - Apache Spark的社区；
  •   Apache Crunch
  •   Cascading - Cascading是在Hadoop上构建数据应用的成熟的应用开发平台；
  •   Apache Flink - Apache Flink是高效的分布式通用数据处理的平台；
  •   Apache Apex (incubating) -企业级的统一流处理和批处理引擎。 

包装，配置与监测

  •   Apache Bigtop - 用于Apache Hadoop生态系统的包装和测试；
  •   Apache Ambari - Apache Ambari
  •   Ganglia Monitoring System
  •   ankush -一个大数据集群管理工具，用于创建和管理不同的技术集群；
  •   Apache Zookeeper - Apache Zookeeper
  •   Apache Curator - 用于ZooKeeper的客户端简化包装和丰富ZooKeeper框架； 
  •   Buildoop - Hadoop生态系统生成器；
  •   Deploop - Hadoop的部署系统；
  •   Jumbune -一个用于开源MapReduce分析，MapReduce流程调试，HDFS数据质量校验和Hadoop集群监测的工具；
  •   inviso - Inviso是一个轻量级的工具，它提供搜索Hadoop作业，可视化性能，查看集群利用率的能力。

搜索

  •   ElasticSearch
  •   SenseiDB
  •   Apache Solr -开源、分布式、实时、半结构化的数据库；
  •   Banana - Apache Solr的Kibana端口。

搜索引擎框架

  •   Apache Nutch –Apache Nutch是一个高度可扩展的，可伸缩的开源网络爬虫软件项目。

安全性

  •   Apache Ranger - Ranger是一个框架，能够跨Hadoop平台启用、监控和全面管理数据安全性；
  •   Apache Sentry - Hadoop的一个授权模块；
  •   Apache Knox Gateway –用于与Hadoop集群交互的REST API网关。

基准

  •   Big Data Benchmark
  •   HiBench
  •   Big-Bench
  •   hive-benchmarks
  •   hive-testbench –一个测试平台，用于进行任何规模数据的Apache Hive实验；
  •   YCSB -雅虎云服务基准（YCSB）是一个开源规范和程序套件，用于评估计算机程序的检索和维护功能；它常被用于比较NoSQL数据库管理系统的相对性能。

机器学习和大数据分析

  •   Apache Mahout
  •   Oryx 2 –基于Spark、Kafka的Lambda架构，用于实时大规模的机器学习；
  •   MLlib - MLlib是Apache Spark的可扩展机器学习库；
  •   R - R是用于统计计算和图形的自由软件环境；
  •   RHadoop -包括RHDFS、RHBase、RMR2和plyrmr；
  •   RHive –用于从R中开始Hive查询；
  •   Apache Lens

其它

  •   Hive Plugins
    •   UDF
      •   http://nexr.github.io/hive-udf/
      •   https://github.com/edwardcapriolo/hive_cassandra_udfs
      •   https://github.com/livingsocial/HiveSwarm
      •   https://github.com/ThinkBigAnalytics/Hive-Extensions-from-Think-Big-Analytics
      •   https://github.com/karthkk/udfs
      •   https://github.com/twitter/elephant-bird - Twitter
      •   https://github.com/lovelysystems/ls-hive
      •   https://github.com/stewi2/hive-udfs
      •   https://github.com/klout/brickhouse
      •   https://github.com/markgrover/hive-translate (PostgreSQL translate())
      •   https://github.com/deanwampler/HiveUDFs
      •   https://github.com/myui/hivemall (Machine Learning UDF/UDAF/UDTF)
      •   https://github.com/edwardcapriolo/hive-geoip (GeoIP UDF)
      •   https://github.com/Netflix/Surus
    •   Storage Handler
      •   https://github.com/dvasilen/Hive-Cassandra
      •   https://github.com/yc-huang/Hive-mongo
      •   https://github.com/balshor/gdata-storagehandler
      •   https://github.com/karthkk/hive-hbase-json
      •   https://github.com/sunsuk7tp/hive-hbase-integration
      •   https://bitbucket.org/rodrigopr/redisstoragehandler
      •   https://github.com/zhuguangbin/HiveJDBCStorageHanlder
      •   https://github.com/chimpler/hive-solr
      •   https://github.com/bfemiano/accumulo-hive-storage-manager
    •   SerDe
    •   https://github.com/rcongiu/Hive-JSON-Serde
    •   https://github.com/mochi/hive-json-serde
    •   https://github.com/ogrodnek/csv-serde
    •   https://github.com/parag/HiveJsonSerde
    •   https://github.com/johanoskarsson/hive-json-serde
    •   https://github.com/electrum/hive-serde - JSON
    •   https://github.com/karthkk/hive-hbase-json
    •   Libraries and tools
      •   https://github.com/forward3d/rbhive
      •   https://github.com/synctree/activerecord-hive-adapter
      •   https://github.com/hrp/sequel-hive-adapter
      •   https://github.com/forward/node-hive
      •   https://github.com/recruitcojp/WebHive
      •   shib - WebUI for query engines: Hive and Presto
      •   clive - Clojure library for interacting with Hive via Thrift
      •   https://github.com/anjuke/hwi
      •   https://code.google.com/a/apache-extras.org/p/hipy/
      •   https://github.com/dmorel/Thrift-API-HiveClient2 (Perl - HiveServer2)
      •   PyHive - Python interface to Hive and Presto
      •   https://github.com/recruitcojp/OdbcHive
      •   Hive-Sharp
      •   HiveRunner - An Open Source unit test framework for hadoop hive queries based on JUnit4
      •   Beetest - A super simple utility for testing Apache Hive scripts locally for non-Java developers.
      •   Hive_test- Unit test framework for hive and hive-service
  •   Flume Plugins
    •   Flume MongoDB Sink
    •   Flume HornetQ Channel
    •   Flume MessagePack Source
    •   Flume RabbitMQ source and sink
    •   Flume UDP Source
    •   Stratio Ingestion - Custom sinks: Cassandra, MongoDB, Stratio Streaming and JDBC
    •   Flume Custom Serializers
    •   Real-time analytics in Apache Flume
    •   .Net FlumeNG Clients

资源

还有各种书籍、网站和文章等相关的资源，列表如下：

网站

有用的网站和文章

  •   Hadoop Weekly（译：Hadoop周刊）
  •   The Hadoop Ecosystem Table（译：Hadoop生态系统表）
  •   Hadoop 1.x vs 2（译：Hadoop的1.x vs 2）
  •   Apache Hadoop YARN: Yet Another Resource Negotiator（Apache Hadoop YARN：另一种资源谈判）
  •   Introducing Apache Hadoop YARN（译：Apache Hadoop YARN简介）
  •   Apache Hadoop YARN - Background and an Overview（译：Apache Hadoop YARN——背景和概述）
  •   Apache Hadoop YARN - Concepts and Applications（译：Apache Hadoop YARN——概念与应用）
  •   Apache Hadoop YARN - ResourceManager（译：Apache Hadoop YARN - ResourceManager）
  •   Apache Hadoop YARN - NodeManager（译：Apache Hadoop YARN - NodeManager）
  •   Migrating to MapReduce 2 on YARN (For Users)（译：迁移到YARN上的MapReduce 2（针对用户））
  •   Migrating to MapReduce 2 on YARN (For Operators) （译：迁移到YARN上的MapReduce 2（针对运营商））
  •   Hadoop and Big Data: Use Cases at Salesforce.com（译：Hadoop和大数据：Salesforce.com中的用例）
  •   All you wanted to know about Hadoop, but were too afraid to ask: genealogy of elephants.（译：你想了解却不敢询问的Hadoop知识：大象的家谱）
  •   What is Bigtop, and Why Should You Care?（译：什么是Bigtop？为什么要关注Bigtop？）
  •   Hadoop - Distributions and Commercial Support（译：Hadoop的分布和商业支持）
  •   Ganglia configuration for a small Hadoop cluster and some troubleshooting（译：小型Hadoop集群的Ganglia配置和检修）
  •   Hadoop illuminated - Open Source Hadoop Book（译：Hadoop启示——开源Hadoop书）
  •   NoSQL Database（译：NoSQL数据库）
  •   10 Best Practices for Apache Hive（译：Apache Hive的10个最佳实践）
  •   Hadoop Operations at Scale
  •   AWS BigData Blog（译：AWS大数据博客）
  •   Hadoop360

演示

  •   Hadoop Summit Presentations - Slide decks from Hadoop Summit（译：Hadoop的峰会展示）
  •   Hadoop 24/7
  •   An example Apache Hadoop Yarn upgrade（译：Apache Hadoop Yarn更新实例）
  •   Apache Hadoop In Theory And Practice（译：Apache Hadoop的理论和实践）
  •   Hadoop Operations at LinkedIn（译：Hadoop在LinkedIn的操作）
  •   Hadoop Performance at LinkedIn（译：Hadoop在LinkedIn的性能）
  •   Docker based Hadoop provisioning（译：基于Docker的Hadoop配置）

书籍

  •   Hadoop: The Definitive Guide（译：Hadoop权威指南）
  •   Hadoop Operations（译：Hadoop运营）
  •   Apache Hadoop Yarn（译：Apache Hadoop Yarn）
  •   HBase: The Definitive Guide（译：HBase权威指南）
  •   Programming Pig（译：Pig程序设计）
  •   Programming Hive（译：Hive程序设计）
  •   Hadoop in Practice, Second Edition（译：Hadoop实践，第二版）
  •   Hadoop in Action, Second Edition（译：Hadoop实战，第二版）

Hadoop&大数据事件

  •   ApacheCon
  •   Strata + Hadoop World
  •   Hadoop Summit
以上为Hadoop学习资源集合的全部内容，更多精彩敬请期待。

编译自： https://github.com/youngwookim/awesome-hadoop
译者：刘崇鑫   校对：王殿进

如果发现原文翻译有误，请邮件通知云栖社区（[email protected]），感谢您的支持。

你可能感兴趣的:(Hadoop学习资源集合)

  • Spark任务读取hive表数据导入es 小小小小小小小小小小码农 hiveelasticsearchsparkjava
    使用elasticsearch-hadoop将hive表数据导入es，超级简单1.引入pomorg.elasticsearchelasticsearch-hadoop9.0.0-SNAPSHOT2.创建sparkconf//spark参数设置SparkConfsparkConf=newSparkConf();//要写入的索引sparkConf.set("es.resource","");//es集
  • 1-绪论- 重生之我是冯诺依曼 数据结构数据结构
    一-数据结构的基本概念1-数据数据是信息的载体，是描述客观事物属性的数、字符及所有能输入到计算机中并被计算机程序识别和处理的符号的集合。数据是计算机程序加工的原料。2-数据元素数据元素是数据的基本单位，通常作为一个整体进行考虑和处理。3-数据项一个数据元素可由若干数据项组成，数据项是构成数据元素的不可分割的最小单位。4-数据对象数据对象是具有相同性质的数据元素的集合，是数据的一个子集5-数据结构数
  • 2025年三个月自学手册 网络安全（黑客技术） 网安kk web安全安全网络网络安全python
    基于入门网络安全/黑客打造的：黑客&网络安全入门&进阶学习资源包什么是网络安全网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。如何成为一名黑客很多朋友在学习安全方面都会半路转行，因为不知如何去学，在这里，我将这个整份答案分为黑客（网络安全）入门必备、黑客（网络安全）职业指南、黑客（网络安全）学习导航
  • ChatGPT智能聊天机器人实现 云端源想 chatgpt机器人
    以下是一个从零实现类ChatGPT智能聊天机器人的完整开发指南，包含技术选型、核心代码逻辑和推荐学习资源：—云端平台整理一、技术架构与工具核心模型基座模型：HuggingFaceTransformers库（如GPT-2/GPT-3.5TurboAPI/LLaMA2）轻量化方案：微软DeepSpeed或MetaFairScale（降低显存占用）训练框架PyTorchLightning+Acceler
  • Python入门到精通（三）：数据结构第一部分 love9599 Python入门到精通python开发语言
    python的常用数据结构类型字符型字典列表元组、集合一、序列序列：是python中的一类数据类型，比如字符串、列表序列类型的对象是可以进行循环变例的1.1序列特性索引：指的是在序列中找到指定元素的索引编号切片：指的是从序列中提取一部分内容加法：序列对象可以将多个序列合并成一个乘法：可以将序列通过乘法输出多个相同的1.2序列操作索引操作格式：序列名[索引值]#案例1：str1="hello"#定义
  • （十一）CSharp-LINQ-标准查询运算符（3） CRongQ CSharplinqc#
    一、标准查询运算符1、概念标准查询运算符由一系列API方法组成，API能让我们查询任何.NET数组或集合。标准运算符的要点：标准查询运算符使用方法语法。一些运算符返回Ienumerable对象（或其他序列），而其他运算符返回标量。返回标量的运算符立即执行查询，并返回一个值，而不是一个可枚举类型对象。ToArray()、ToList()等ToCollection运算符也会立即执行。很多操作都以一个谓
  • Linq的理解 It_sharp C#Linq匿名类型
    前面的话这篇文章主要是在工具书中linq的基础上，我做了一些归纳。目录什么是Linq方法语法和查询语法查询表达式的结构标准查询运算符什么是Linq?Linq（link）代表语言集成查询（LanguageIntegratedQuery）Linq是.NET框架的扩展，它允许我们以使用SQL查询数据库的方式来查询数据集合。使用Linq，你可以从数据库、程序对象的集合以及XML文档中查询数据。一个例子st
  • java数组 TwitCoder java算法
    目录一、数组概念二、数组的声明与初始化三、数组操作示例四、数组属性与注意事项五、内存结构分析六、常见操作七、二维数组八、稀疏数组一、数组概念数组是Java中用于存储相同类型数据的有序集合，具有以下特性：类型一致性：所有元素必须属于同一数据类型有序性：元素按顺序排列，通过索引访问长度固定：创建后无法改变容量二、数组的声明与初始化声明数组//推荐写法int[]numbers;初始化方式：动态初始化nu
  • 【2025年春季】全国CTF夺旗赛-从零基础入门到竞赛，看这一篇就稳了！ 白帽子凯哥 web安全学习安全CTF夺旗赛网络安全
    基于入门网络安全/黑客打造的：黑客&网络安全入门&进阶学习资源包目录一、CTF简介二、CTF竞赛模式三、CTF各大题型简介四、CTF学习路线4.1、初期1、html+css+js（2-3天）2、apache+php（4-5天）3、mysql（2-3天）4、python(2-3天)5、burpsuite（1-2天）4.2、中期1、SQL注入（7-8天）2、文件上传（7-8天）3、其他漏洞（14-15
  • hive-进阶版-1 数据牧马人 hivehadoop数据仓库
    第6章hive内部表与外部表的区别Hive是一个基于Hadoop的数据仓库工具，用于对大规模数据集进行数据存储、查询和分析。Hive支持内部表（ManagedTable）和外部表（ExternalTable）两种表类型，它们在数据存储、管理方式和生命周期等方面存在显著区别。以下是内部表和外部表的主要区别：1.数据存储位置内部表：数据存储在Hive的默认存储目录下，通常位于HDFS（HadoopDi
  • python 重构 Python 代码 隔壁小红馆 pythoncpythonpython面试pythoncpython
    将for循环转换为list/dictionary/set表达式我们在时经常遇到的一个情况是，创建一个值的集合。比如我们创建一个列表，然后迭代地用值填充它，这里我们想创建一个立方数字的列表。大多数语言的标准方法如下：cubes=[]foriinrange(20):cubes.append(i**3)在Python中，我们可以使用列表表达式，生成需要的数据。就可以将代码简化为一行，省去定义列表，然后再
  • 优化 Java 数据结构选择与使用，提升程序性能与可维护性 chenOnlyOne 学习java数据结构开发语言
    优化Java数据结构选择与使用，提升程序性能与可维护性引言在软件开发中，数据结构的选择是影响程序性能、内存使用以及代码可维护性的关键因素之一。Java作为一门广泛使用的编程语言，提供了丰富的内置数据结构，如数组、链表、栈、队列、树、图以及集合框架中的各种接口实现（如List,Set,Map等）。然而，面对不同的应用场景，如何合理地选择和优化数据结构，成为了一个值得深入探讨的话题。本文将介绍几种常见
  • 【从零开始学习计算机科学】软件工程（二）软件工程方法学 贫苦游商 学习软件工程hadoop面向过程面向对象软件开发敏捷开发
    【从零开始学习计算机科学】软件工程（二）软件工程方法学软件工程方法学结构化/面向过程结构化编程结构化设计结构化分析结构化方法的常见问题面向对象软件工程方法学我们通常把在软件生命周期全过程中使用的一整套技术方法的集合称为方法学(methodology)，也称为范型(paradigm)。软件工程中有许多方法：结构化/面向过程对于结构化方法，其又被称为传统方法学，也称为生命周期方法学或结构化范型。它采用
  • Java高频面试之集合-11 牛马baby java面试哈希算法
    hello啊，各位观众姥爷们！！！本baby今天来报道了！哈哈哈哈哈嗝面试官：详细说说hashmap的put和get操作HashMap的put和get操作是核心功能，其底层通过数组+链表/红黑树实现，结合哈希计算与冲突处理完成键值对的存取。以下是详细流程和关键逻辑分析：一、put操作流程publicVput(Kkey,Vvalue){returnputVal(hash(key),key,value
  • mongodb基本使用（四） dibisha7239 数据库javascript数据结构与算法ViewUI
    MongoDB条件操作符描述条件操作符用于比较两个表达式并从mongoDB集合中获取数据。MongoDB中条件操作符有：(>)大于-$gt(=)大于等于-$gte(db.col.insert({title:'PHP教程',description:'PHP是一种创建动态交互性站点的强有力的服务器端脚本语言。',by:'菜鸟教程',url:'http://www.runoob.com',tags:['
  • MongoDB集合（表）自动创建机制 zpjing~.~ mongodb数据库
    开发项目时，要整理上线涉及的表，MongoDB里新创建的表是不用整理发给运维的，因为代码中插入数据时，MongoDB会自动创建哦MongoDB中的集合（表）是在插入数据时自动创建的。当你第一次向一个不存在的集合插入文档时，MongoDB会自动创建该集合。你不需要像在关系型数据库中那样预先定义表结构。例如，执行以下操作时：db.myCollection.insertOne({name:"Alice"
  • 【算法手记04】回溯算法 Xeno Li 算法java
    回溯是递归的副产品，只要有递归，就会有对应的回溯过程。回溯实际上就是“撤销上一次递归操作”的一个过程。回溯法是由递归+循环组成的，其中每次循环执行的次数应该是可知的。每一次完成递归都会收集一次可能的结果，因此结果集的大小是不确定的，需要使用递归去找，我们称之为纵向搜索；而每次循环会从待找集合中依次遍历，是一个横向搜索的过程。模板voidbacktracking(参数){if(终止条件){收集结果r
  • Java 枚举类的使用指南 HoroMin java开发语言
    在Java中，枚举（enum）是一种特殊的数据类型，用于定义一组常量。它的使用可以提高代码的可读性和类型安全性。本文将介绍如何定义和使用枚举类，并回答有关枚举值格式的问题。1.什么是枚举？枚举是一种数据类型，允许你定义变量为特定值的集合。与普通常量相比，枚举提供了更多特性，包括字段、方法和构造器。2.如何定义枚举值使用enum关键字可以定义一个枚举类。以下是一个示例，展示了如何定义表示HTTP状态
  • SpringBoot实战系列之发送短信验证码 m0_67401660 面试学习路线阿里巴巴android前端后端
    大家好，我是??大二在读作业侠系列最新文章??Java实现聊天程序SpringBoot实战系列??SpringBoot实战系列之发送短信验证码一起刷算法与数据结构最新文章??一起刷算法与数据结构-树篇1环境搭建大集合环境搭建大集合(持续更新）内容速览:1.短信验证码平台选择考虑点2.短信平台3.实战发送短信验证码1.短信验证码平台选择考虑点各个类型短信价格短信到达率、到达时间短信内容变量灵活，便持
  • 大数据手册(Spark)--Spark安装配置 WilenWu 数据分析(DataAnalysis)大数据spark分布式
    本文默认在zsh终端安装配置，若使用bash终端，环境变量的配置文件相应变化。若安装包下载缓慢，可复制链接到迅雷下载，亲测极速～准备工作Spark的安装过程较为简单，在已安装好Hadoop的前提下，经过简单配置即可使用。假设已经安装好了hadoop（伪分布式）和hive，环境变量如下JAVA_HOME=/usr/opt/jdkHADOOP_HOME=/usr/local/hadoopHIVE_HO
  • 新手村：混淆矩阵 嘉羽很烦 机器学习机器学习
    新手村：混淆矩阵一、前置条件知识点要求学习资源分类模型基础理解分类任务（如二分类、多分类）和常见分类算法（如逻辑回归、决策树）。《Hands-OnMachineLearningwithScikit-Learn》Python基础熟悉变量、循环、函数、列表、字典等基本语法。《PythonCrashCourse》或在线教程（如Codecademy）scikit-learn基础掌握模型训练、预测、评估的基
  • Android手机中各类安全相关知识总结 数据知道 2025年爬虫和逆向教程android智能手机安全
    更多内容请见：爬虫和逆向教程-专栏介绍和目录文章目录1.Android安全威胁2.Android安全防护措施3.Android安全建议和最佳实践4.Android安全工具推荐5.Android安全常见问题5.1如何检测设备是否感染恶意软件？5.2如何防止应用滥用权限？5.3如何保护设备免受网络攻击？5.4设备丢失后如何保护数据？6.学习资源7.总结Android手机作为全球使用最广泛的移动操作系统
  • 《java性能调优》2.Stream如何提高遍历集合效率 just_one_wk java性能调优
    在Java8中，Collection新增了两个流方法，分别是Stream()和parallelStream()。什么是Stream？在Java8之前，我们通常是通过for循环或者Iterator迭代来重新排序合并数据，又或者通过重新定义Collections.sorts的Comparator方法来实现，这两种方式对于大数据量系统来说，效率并不是很理想。Java8中添加了一个新的接口类Stream，
  • 十一、数组（1）-----定义及特点、创建及初始化、访问与遍历 圆响石 JavaSE算法java
    （一）数组的定义及特点定义：数组是存储相同数据类型元素的有序集合，可以看成相同类型元素的集合，在内存中是一段连续的空间。通过索引访问元素，且索引从0开始。特点：1.数组中存放的元素其类型相同（可以是基本类型或对象类型）。2.数组的空间，即内存，连续分配，访问高效。3.每个空间都有自己的编号，起始位置的编号为0，即数组的下标，也叫索引。（二）数组的创建及初始化数组的创建：方式一（推荐）：数据类型[]
  • Java——Stream流的peek方法详解 Mcband javapython开发语言
    Java8中引入了StreamAPI，极大地简化了集合操作，使得开发者可以使用流的方式进行数据处理。Stream提供了一系列非常强大的操作方法，其中之一就是peek()方法。peek()是一个中间操作，它可以用来在操作流的过程中查看元素的处理状态。本文将详细介绍peek()方法的使用场景和原理，并配合代码示例帮助大家深入理解。一、peek()方法简介peek()方法的定义在java.util.st
  • MySQL数据库笔记 艽掵猫 数据库mysql笔记
    一、数据库基础概念1.数据库定义数据库：统一管理、长期存储、有组织的相关数据集合。特征：数据按模型组织（冗余小、独立性高、易扩展、可共享）。2.实际应用数据存储：高效管理大量结构化数据。数据管理：增删改查（CRUD）与权限控制。数据分析：整合数据源，支持决策。3.常见数据库系统数据库特点MySQL开源、高性能、易用，适用于Web应用。Oracle企业级、高可靠，支持大型应用。SQLServer微软
  • 华为OD机试 - 事件推送（Python/JS/C/C++ 2023 B卷 100分） 哪 吒 华为odpythonjavascript
    华为OD机试2024E卷题库疯狂收录中，刷题点这里专栏导读本专栏收录于《华为OD机试真题（Python/JS/C/C++）》。刷的越多，抽中的概率越大，私信哪吒，备注华为OD，加入华为OD刷题交流群，每一题都有详细的答题思路、详细的代码注释、3个测试用例、为什么这道题采用XX算法、XX算法的适用场景，发现新题目，随时更新。一、题目描述同一个数轴X上有两个点的集合A={A1,A2,…,Am}和B={
  • element UI 2.15.13和 vue2.0表格勾选回显 前端vue.js
    弹窗回显勾选的项关键代码//函数名叫什么无所谓，函数的参数值data是要回显表格的所有数据//数据改变放在this.$nextTick中handleSelection(data){this.$nextTick(()=>{//selectedArr是所有需要勾选的项的集合constselectedArr=data.filter(item=>item.userId);selectedArr.forEa
  • 详解PriorityQueue 27xixi 算法数据结构java
    PriorityQueue是Java集合框架中的一个类，它实现了优先级队列的数据结构。优先级队列是一种特殊的队列，其中的元素按照优先级顺序出队，而不是按照插入顺序（FIFO）。默认情况下，PriorityQueue是一个最小堆，即优先级最小的元素最先出队。1.PriorityQueue的特点基于堆实现:PriorityQueue通常基于二叉堆（最小堆或最大堆）实现。无界队列:PriorityQue
  • Java集合进阶 27xixi java开发语言
    在Java中，集合框架（CollectionsFramework）是用于存储和操作一组对象的强大工具。它提供了多种接口和类，用于处理不同类型的集合（如列表、集合、队列、映射等）。1.Java集合框架概述Java集合框架主要包括以下接口和类：核心接口Collection:所有集合类的根接口。List:有序集合，允许重复元素（如ArrayList,LinkedList）。Set:无序集合，不允许重复元
  • 分享100个最新免费的高匿HTTP代理IP mcj8089 代理IP代理服务器匿名代理免费代理IP最新代理IP
      推荐两个代理IP网站：   1. 全网代理IP：http://proxy.goubanjia.com/   2. 敲代码免费IP：http://ip.qiaodm.com/     120.198.243.130:80,中国/广东省 58.251.78.71:8088,中国/广东省 183.207.228.22:83,中国/
  • mysql高级特性之数据分区 annan211 java数据结构mongodb分区mysql
    mysql高级特性 1 以存储引擎的角度分析，分区表和物理表没有区别。是按照一定的规则将数据分别存储的逻辑设计。器底层是由多个物理字表组成。 2 分区的原理 分区表由多个相关的底层表实现，这些底层表也是由句柄对象表示，所以我们可以直接访问各个分区。存储引擎管理分区的各个底层 表和管理普通表一样(所有底层表都必须使用相同的存储引擎)，分区表的索引只是
  • JS采用正则表达式简单获取URL地址栏参数 chiangfai js地址栏参数获取
    GetUrlParam:function GetUrlParam(param){ var reg = new RegExp("(^|&)"+ param +"=([^&]*)(&|$)"); var r = window.location.search.substr(1).match(reg); if(r!=null
  • 怎样将数据表拷贝到powerdesigner (本地数据库表) Array_06 powerDesigner
    ================================================== 1、打开PowerDesigner12，在菜单中按照如下方式进行操作 file->Reverse Engineer->DataBase 点击后，弹出 New Physical Data Model 的对话框 2、在General选项卡中 Model name:模板名字，自
  • logbackのhelloworld 飞翔的马甲 日志logback
    一、概述 1.日志是啥？ 当我是个逗比的时候我是这么理解的：log.debug()代替了system.out.print(); 当我项目工作时，以为是一堆得.log文件。 这两天项目发布新版本，比较轻松，决定好好地研究下日志以及logback。 传送门1：日志的作用与方法： http://www.infoq.com/cn/articles/why-and-how-log 上面的作
  • 新浪微博爬虫模拟登陆 随意而生 新浪微博
    转载自：http://hi.baidu.com/erliang20088/item/251db4b040b8ce58ba0e1235     近来由于毕设需要，重新修改了新浪微博爬虫废了不少劲，希望下边的总结能够帮助后来的同学们。      现行版的模拟登陆与以前相比，最大的改动在于cookie获取时候的模拟url的请求
  • synchronized 香水浓 javathread
        Java语言的关键字，可用来给对象和方法或者代码块加锁，当它锁定一个方法或者一个代码块的时候，同一时刻最多只有一个线程执行这段代码。当两个并发线程访问同一个对象object中的这个加锁同步代码块时，一个时间内只能有一个线程得到执行。另一个线程必须等待当前线程执行完这个代码块以后才能执行该代码块。然而，当一个线程访问object的一个加锁代码块时，另一个线程仍然
  • maven 简单实用教程 AdyZhang maven
    1. Maven介绍  1.1. 简介 java编写的用于构建系统的自动化工具。目前版本是2.0.9，注意maven2和maven1有很大区别，阅读第三方文档时需要区分版本。 1.2. Maven资源 见官方网站；The 5 minute test，官方简易入门文档；Getting Started Tutorial，官方入门文档；Build Coo
  • Android 通过 intent传值获得null aijuans android
    我在通过intent 获得传递兑现过的时候报错，空指针,我是getMap方法进行传值，代码如下 1 2 3 4 5 6 7 8 9 public void getMap(View view){            Intent i =
  • apache 做代理 报如下错误：The proxy server received an invalid response from an upstream baalwolf response
    网站配置是apache＋tomcat,tomcat没有报错，apache报错是： The proxy server received an invalid response from an upstream server. The proxy server could not handle the request GET /. Reason: Error reading fr
  • Tomcat6 内存和线程配置 BigBird2012 tomcat6
    1、修改启动时内存参数、并指定JVM时区 （在windows server 2008 下时间少了8个小时） 在Tomcat上运行j2ee项目代码时，经常会出现内存溢出的情况，解决办法是在系统参数中增加系统参数：  window下， 在catalina.bat最前面 set JAVA_OPTS=-XX:PermSize=64M -XX:MaxPermSize=128m -Xms5
  • Karam与TDD bijian1013 KaramTDD
    一.TDD         测试驱动开发（Test-Driven Development,TDD）是一种敏捷（AGILE）开发方法论，它把开发流程倒转了过来，在进行代码实现之前，首先保证编写测试用例，从而用测试来驱动开发（而不是把测试作为一项验证工具来使用）。         TDD的原则很简单： a.只有当某个
  • [Zookeeper学习笔记之七]Zookeeper源代码分析之Zookeeper.States bit1129 zookeeper
    public enum States { CONNECTING, //Zookeeper服务器不可用，客户端处于尝试链接状态 ASSOCIATING, //？？？ CONNECTED, //链接建立，可以与Zookeeper服务器正常通信 CONNECTEDREADONLY, //处于只读状态的链接状态，只读模式可以在
  • 【Scala十四】Scala核心八：闭包 bit1129 scala
    Free variable A free variable of an expression is a variable that’s used inside the expression but not defined inside the expression. For instance, in the function literal expression (x: Int) => (x
  • android发送json并解析返回json ronin47 android
    package com.http.test; import org.apache.http.HttpResponse; import org.apache.http.HttpStatus; import org.apache.http.client.HttpClient; import org.apache.http.client.methods.HttpGet; import
  • 一份IT实习生的总结 brotherlamp PHPphp资料php教程php培训php视频
    今天突然发现在不知不觉中自己已经实习了 3 个月了，现在可能不算是真正意义上的实习吧，因为现在自己才大三，在这边撸代码的同时还要考虑到学校的功课跟期末考试。让我震惊的是，我完全想不到在这 3 个月里我到底学到了什么，这是一件多么悲催的事情啊。同时我对我应该 get 到什么新技能也很迷茫。所以今晚还是总结下把，让自己在接下来的实习生活有更加明确的方向。最后感谢工作室给我们几个人这个机会让我们提前出来
  • 据说是2012年10月人人网校招的一道笔试题-给出一个重物重量为X,另外提供的小砝码重量分别为1，3，9。。。3^N。 将重物放到天平左侧，问在两边如何添加砝码 bylijinnan java
    public class ScalesBalance { /** * 题目： * 给出一个重物重量为X,另外提供的小砝码重量分别为1，3，9。。。3^N。 （假设N无限大，但一种重量的砝码只有一个） * 将重物放到天平左侧，问在两边如何添加砝码使两边平衡 * * 分析： * 三进制 * 我们约定括号表示里面的数是三进制，例如 47=(1202
  • dom4j最常用最简单的方法 chiangfai dom4j
    要使用dom4j读写XML文档,需要先下载dom4j包,dom4j官方网站在 http://www.dom4j.org/目前最新dom4j包下载地址:http://nchc.dl.sourceforge.net/sourceforge/dom4j/dom4j-1.6.1.zip 解开后有两个包,仅操作XML文档的话把dom4j-1.6.1.jar加入工程就可以了,如果需要使用XPath的话还需要
  • 简单HBase笔记 chenchao051 hbase
     一、Client-side write buffer 客户端缓存请求 描述：可以缓存客户端的请求，以此来减少RPC的次数，但是缓存只是被存在一个ArrayList中，所以多线程访问时不安全的。 可以使用getWriteBuffer()方法来取得客户端缓存中的数据。 默认关闭。 二、Scan的Caching 描述： next( )方法请求一行就要使用一次RPC,即使
  • mysqldump导出时出现when doing LOCK TABLES daizj mysqlmysqdump导数据
    　　执行　mysqldump -uxxx -pxxx -hxxx -Pxxxx database tablename > tablename.sql　 导出表时，会报 mysqldump: Got error: 1044: Access denied for user 'xxx'@'xxx' to database 'xxx' when doing LOCK TABLES 解决
  • CSS渲染原理 dcj3sjt126com Web
      从事Web前端开发的人都与CSS打交道很多，有的人也许不知道css是怎么去工作的，写出来的css浏览器是怎么样去解析的呢？当这个成为我们提高css水平的一个瓶颈时，是否应该多了解一下呢？          一、浏览器的发展与CSS           
  • 《阿甘正传》台词 dcj3sjt126com
    Part Ⅰ: 《阿甘正传》Forrest Gump经典中英文对白 Forrest: Hello! My names Forrest. Forrest Gump. You wanna Chocolate? I could eat about a million and a half othese. My momma always said life was like a box ochocol
  • Java处理JSON dyy_gusi json
    Json在数据传输中很好用，原因是JSON 比 XML 更小、更快，更易解析。 在Java程序中，如何使用处理JSON，现在有很多工具可以处理，比较流行常用的是google的gson和alibaba的fastjson，具体使用如下： 1、读取json然后处理 class ReadJSON { public static void main(String[] args)
  • win7下nginx和php的配置 geeksun nginx
    1.  安装包准备 nginx :  从nginx.org下载nginx-1.8.0.zip php： 从php.net下载php-5.6.10-Win32-VC11-x64.zip， php是免安装文件。 RunHiddenConsole: 用于隐藏命令行窗口   2. 配置 # java用8080端口做应用服务器，nginx反向代理到这个端口即可 p
  • 基于2.8版本redis配置文件中文解释 hongtoushizi redis
    转载自： http://wangwei007.blog.51cto.com/68019/1548167        在Redis中直接启动redis-server服务时, 采用的是默认的配置文件。采用redis-server   xxx.conf 这样的方式可以按照指定的配置文件来运行Redis服务。下面是Redis2.8.9的配置文
  • 第五章 常用Lua开发库3-模板渲染 jinnianshilongnian nginxlua
    动态web网页开发是Web开发中一个常见的场景，比如像京东商品详情页，其页面逻辑是非常复杂的，需要使用模板技术来实现。而Lua中也有许多模板引擎，如目前我在使用的lua-resty-template，可以渲染很复杂的页面，借助LuaJIT其性能也是可以接受的。   如果学习过JavaEE中的servlet和JSP的话，应该知道JSP模板最终会被翻译成Servlet来执行；而lua-r
  • JZSearch大数据搜索引擎 颠覆者 JavaScript
    系统简介： 大数据的特点有四个层面：第一，数据体量巨大。从TB级别，跃升到PB级别；第二，数据类型繁多。网络日志、视频、图片、地理位置信息等等。第三，价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。第四，处理速度快。最后这一点也是和传统的数据挖掘技术有着本质的不同。业界将其归纳为4个“V”——Volume，Variety，Value，Velocity。大数据搜索引
  • 10招让你成为杰出的Java程序员 pda158 java编程框架
    如果你是一个热衷于技术的  Java 程序员， 那么下面的 10 个要点可以让你在众多 Java 开发人员中脱颖而出。 　　 1. 拥有扎实的基础和深刻理解 OO 原则 　　对于 Java 程序员，深刻理解 Object Oriented Programming（面向对象编程）这一概念是必须的。没有 OOPS 的坚实基础，就领会不了像 Java 这些面向对象编程语言
  • tomcat之oracle连接池配置 小网客 oracle
    tomcat版本7.0 配置oracle连接池方式： 修改tomcat的server.xml配置文件： <GlobalNamingResources> <Resource name="utermdatasource" auth="Container" type="javax.sql.DataSou
  • Oracle 分页算法汇总 vipbooks oraclesql算法.net
        这是我找到的一些关于Oracle分页的算法，大家那里还有没有其他好的算法没？我们大家一起分享一下！ -- Oracle 分页算法一 select * from ( select page.*,rownum rn from (select * from help) page -- 20 = (currentPag
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他