普修罗双战士
普修罗双战士

初识大数据，一文掌握大数据必备知识文集(8)

在这里插入图片描述

作者简介，普修罗双战士，一直追求不断学习和成长，在技术的道路上持续探索和实践。
多年互联网行业从业经验，历任核心研发工程师，项目技术负责人。
欢迎 点赞✍评论⭐收藏

大数据知识专栏学习

大数据知识云集 访问地址 备注
大数据知识点(1) https://blog.csdn.net/m0_50308467/article/details/134989969 大数据专栏
大数据知识点(2) https://blog.csdn.net/m0_50308467/article/details/135109787 大数据专栏
大数据知识点(3) https://blog.csdn.net/m0_50308467/article/details/135164698 大数据专栏
大数据知识点(4) https://blog.csdn.net/m0_50308467/article/details/135164812 大数据专栏
大数据知识点(5) https://blog.csdn.net/m0_50308467/article/details/135164812 大数据专栏
大数据知识点(6) https://blog.csdn.net/m0_50308467/article/details/135313184 大数据专栏
大数据知识点(7) https://blog.csdn.net/m0_50308467/article/details/135322179 大数据专栏
大数据知识点(8) https://blog.csdn.net/m0_50308467/article/details/135323118 大数据专栏

文章目录

  • 初识大数据应用知识
    • 一、初识大数据应用知识(8)
      • 01、Hive使用版本有哪些？
      • 02、谈谈数据倾斜如何发生的，并给出相应的解决办法？
      • 03、hive为何分区，有哪些分区？
      • 04、Hbase的rowKey怎么创建比较好？列簇怎么创建比较好？
      • 05、Varhadooppids用于做什么？
      • 06、说明NameNode恢复过程？
      • 07、哪些RDD需要cache？
      • 08、Hive有哪些方式保存元数据，各有哪些优点？
      • 09、Hive如何控制权限？
      • 10、Hadoop中有哪些地方使用到了缓存机制，作用分别是什么？
      • 11、Hadoop进程名？
      • 12、请说下HDFS读写流程？
      • 13、在Hadoop_PID_DIR中，PID代表了什么？
      • 14、RDD有哪些缺陷？
      • 15、在2.5亿个整数中找出不重复的整数，注：内存不足以容纳这2.5亿个整数？

初识大数据应用知识

一、初识大数据应用知识(8)

01、Hive使用版本有哪些？

以下是一些常见的Hive版本：

版本 发行日期 注释
Hive 0.13.0 2014年3月 该版本引入了最新的Hive-on-Tez执行引擎
Hive 1.2.0 2015年7月 添加了许多新功能和改进，包括CBO（Cost-Based Optimizer）
Hive 2.3.0 2017年4月 支持ACID（原子性、一致性、隔离性和耐用性）表操作
Hive 3.1.0 2018年6月 引入了Hive-on-Spark执行引擎，以及更好的性能和优化
Hive 3.1.2 2019年8月 修复了一些BUG并进行了一些改进
Hive 3.1.4 2020年6月 改进了性能和稳定性，修复了一些重要的问题
Hive 3.1.5 2021年1月 修复了一些Bug，并进行了一些改进
Hive 4.0.0 2022年7月 添加了许多新功能和改进，包括Hive Indexes和SQL兼容性

这只是一部分Hive版本的列表，仅用于参考。请注意，随着时间的推移，Hive不断进行更新和改进，可能会有新的版本发布。你可以在Hive官方网站或源代码仓库中找到更多关于不同版本的详细信息。

02、谈谈数据倾斜如何发生的，并给出相应的解决办法？

数据倾斜是指在数据处理过程中，某些特定的数据分布不均匀，导致计算资源无法充分利用或某些节点负载过重的情况。数据倾斜通常是由以下几个原因导致的：

1. 数据分布不均匀：数据在分布式系统中的分布不均匀，某些键值（或分区）的数据量远大于其他键值，导致负载不平衡。

2. 键冲突：某些键值可能存在冲突，即多个键值被哈希到同一个分区/节点，造成该分区/节点负载过重。

3. 数据倾斜操作：某些特定的数据操作（如JOIN、GROUP BY等）可能引发数据倾斜，特定键值集中在某个操作中。

针对数据倾斜的问题，可以采取一些解决办法来进行优化：

1. 预处理和数据调整：

  • 数据预处理：对数据进行预处理和清洗，确保数据的分布较为均匀。

  • 数据重分区：根据键值进行数据重分区，将数据均匀分布到不同的分区，以平衡负载。

2. 使用随机前缀：

  • 针对哈希冲突问题，可以在键前添加随机字符串或数字前缀，以增加哈希的随机性，从而减少冲突。

3. 使用Salting技术：

  • Salting是指在数据中添加随机的盐（salt），将数据分散到不同的盐值分区中。这样可以减少特定键值的集中度。

4. 倾斜数据单独处理：

  • 针对特定的倾斜键值或操作，可以对其进行单独处理。例如，对于JOIN操作，可以将倾斜键的数据单独拆分成多个任务，以减轻倾斜的影响。

  • 使用广播变量：将小数据集广播到所有节点上，避免特定操作中的倾斜影响。

5. 动态优化：

  • 监控作业运行并检测数据倾斜的情况，根据实际情况动态调整任务的并行度和资源分配，以提高整体性能和负载平衡。

6. 数据倾斜限制与优化：

  • 数据倾斜限制：设置阈值，当某个分区/节点负载超过阈值时，限制该分区/节点的处理数据量，将其分配给其他节点进行处理。

  • 数据倾斜优化：基于统计信息和采样分析，将倾斜较严重的键值进行重分布、过滤或提前处理。

这些解决办法可以根据具体的数据倾斜情况进行选择和组合使用，以达到负载均衡和更好的性能。然而，解决数据倾斜问题可能是一项挑战性的任务，需要根据具体的场景和数据特点进行调整和优化。

03、hive为何分区，有哪些分区？

Hive使用分区是为了在大规模数据集上提高查询效率和简化数据管理。通过将数据划分为不同的分区，可以减少需要扫描的数据量，从而提高查询性能和降低IO开销。

在Hive中，可以使用以下几种类型的分区：

1. 静态分区（Static Partitioning）：

  • 静态分区是在数据导入Hive之前就确定的，将数据按照预定义的分区键值进行划分。每个分区都存在于文件系统中的一个独立目录中，可以通过在查询时指定特定分区来定位数据。

2. 动态分区（Dynamic Partitioning）：

  • 动态分区是在数据导入Hive时根据实际数据内容自动进行分区划分。Hive会根据分区键值动态创建和管理分区，无需事先定义所有分区。动态分区能够避免手动维护大量分区的麻烦，但在数据导入过程中可能会引起数据倾斜的问题。

3. 分桶（Bucketing）：

  • 分桶是将数据划分为固定数量的桶（Bucket），每个桶都包含特定的数据。桶是在表级别上定义的，可以根据业务需求和数据均衡性决定桶的数目。分桶可以在查询过程中加速连接操作（如JOIN），特别是在较大数据集上。

分区和分桶可以结合使用，以更好地组织和管理数据。通过避免全局扫描，分区和分桶可以显著提高查询效率，并支持更复杂的数据分析操作。

需要注意的是，分区和分桶都需要在创建表时进行定义，并选择适当的分区键和分桶列。数据导入和查询时需要遵循相应的分区和分桶策略，以便正确获得各个分区或桶的数据。

04、Hbase的rowKey怎么创建比较好？列簇怎么创建比较好？

在Hbase中，rowKey的设计非常重要，不仅影响到HBase数据的访问效率，而且还关系到数据分布的均衡性和可扩展性。以下是一些rowKey设计的最佳实践：

1. 选择唯一的ID：

  • 为了保证rowKey的唯一性，可以选择使用全局唯一ID，比如使用UUID或时间戳作为rowKey。

  • 选择自然键时，确保数据的分布不会倾斜，可以使用哈希函数对其哈希，让数据分布均匀。

2. 排序合理：

  • HBase中的行是一个有序的字节数组。为了提高扫描和遍历的效率，通常将rowKey按照字典序进行排序，保证相邻的行在物理存储上也是相邻的。

  • 另外，如果有范围查询的需求，可以将相关字段包含在rowKey中，并将其排序，以便更高效地检索数据。

3. 避免随机写：

  • 将频繁更新的数据分散到多个Region中，可以减少HBase系统的压力。

  • 可以使用“随机前缀”的方法，让HBase自动完成数据分散。

对于列簇的设计，需要考虑以下两个方面：

1. 区分数据频率和访问模式：

  • 列簇应该根据数据使用频率和访问模式进行设计，更频繁地访问的数据应该放在比较小的列簇中。

  • 尽量避免在同一个列族中存储访问频率、访问量差别很大的数据，避免一些数据扫描的开销。

2. 避免“超级列族”和长列簇：

  • 不建议过多使用“超级列族”，这会带来一些维护和查询效率上的问题。在设计时应该尽量少用或者避免使用。

  • 长列簇会导致数据文件上的行数变少，使得随机读和其他操作的效率降低，应该避免。

总的来说，rowKey和列簇的设计需要根据具体的场景来决定。需要根据数据的属性和业务需求，对其进行适当的优化和调整，以达到更好的性能和可扩展性。

05、Varhadooppids用于做什么？

Varhadoop是一个用于管理Hadoop集群上的进程标识符（PID）和日志的工具。它的主要用途是为了简化和优化Hadoop集群的运维和调试工作。

Varhadoop的功能包括：

1. 进程标识符（PID）管理：

  • Varhadoop可以自动记录和管理Hadoop集群中各个组件（如NameNode、DataNode、ResourceManager、NodeManager等）的进程标识符（PID）。

  • Varhadoop可以启动、停止、重启和监控这些组件的进程，并能够自动处理进程的异常退出和错误。

2. 日志管理：

  • Varhadoop能够自动聚合、收集和处理Hadoop集群中各个组件的日志，包括标准输出和错误日志。

  • Varhadoop提供日志检索、统计和过滤等功能，使得对Hadoop集群的日志进行管理和分析更加方便和高效。

3. 健康度检测：

  • Varhadoop能够自动监控Hadoop集群中各个组件的运行状态，检测并报告任何错误或异常情况，帮助管理员及时发现和解决问题。

  • Varhadoop还提供对Hadoop集群资源利用率、吞吐量和性能等指标的监控和统计。

总的来说，Varhadoop是一个集中化、自动化和集成化的工具，它可以帮助管理员更轻松地管理和维护Hadoop集群，提高集群的可靠性、稳定性和性能。通过Varhadoop，管理员可以更好地监控和管理Hadoop集群的各个组件，并快速定位和解决潜在的问题。

06、说明NameNode恢复过程？

当Hadoop集群中的NameNode发生故障或意外关闭时，需要进行NameNode的恢复过程。恢复过程主要包括以下几个步骤：

1. 启动NameNode进程：

  • 首先，需要启动NameNode进程，可以使用Hadoop的脚本或工具来启动NameNode。

  • 在启动过程中，NameNode会从持久化存储（如本地磁盘或远程存储系统）中读取之前保存的元数据。

2. 恢复内存数据结构：

  • 一旦NameNode进程启动，它会使用之前保存的内存数据结构（如FsImage和Edit Logs）来构建命名空间的内存表示。

  • FsImage是一个镜像文件，包含文件系统的完整状态，而Edit Logs是NameNode将文件系统中的任何更改追加到日志文件中。

3. 日志重放（Log Replay）：

  • 在内存数据结构恢复完成后，NameNode会对Edit Logs进行重放操作，将其中的操作重新应用到内存数据结构中。

  • 通过重放日志，NameNode可以将之前未完成的写操作和元数据更改应用到命名空间内存表示中，确保数据的一致性。

4. 完成恢复：

  • 一旦Edit Logs的日志重放完成，NameNode恢复过程就基本完成了。

  • 此时，NameNode会向DataNodes发送心跳请求，以获取存储在它们上面的块报告，从而获取数据块的位置和状态信息。

5. 客户端连接与操作：

  • 一旦NameNode恢复，客户端就可以与其重新建立连接，并继续进行文件系统的读写操作。

  • 此时，NameNode会为每个客户端请求提供最新的文件系统视图，以保持集群中的一致性。

需要注意的是，NameNode的恢复过程可能需要较长的时间，特别是如果Edit Logs非常大或系统的负载较高时。因此，在设计Hadoop集群时，可以采取一些措施来加速和优化NameNode的恢复过程，如增加硬件资源、优化网络连接等。此外，建议使用备份和高可用性机制来防止单点故障，并提供更可靠的NameNode恢复能力。

07、哪些RDD需要cache？

在Spark中，可以通过调用cache()方法将RDD（弹性分布式数据集）缓存在内存中，以便在后续操作中快速访问。然而，并不是所有的RDD都适合进行缓存，以下是一些常见的情况下适合缓存的RDD：

1. 频繁重用的RDD：

  • 如果一个RDD在后续的多个操作中被频繁使用，那么将其缓存在内存中可以避免重复计算，提高性能。

  • 例如，多次对同一个RDD进行转换或多个action操作依赖于同一个RDD的结果。

2. 窄依赖的RDD：

  • 窄依赖的RDD是指子RDD只有一个父RDD，这样的RDD在计算过程中可以更高效地重用数据，因为不需要进行Shuffle操作。

  • 缓存窄依赖的RDD可以避免重复计算，并加速后续操作。

3. 迭代算法中的中间数据：

  • 在迭代算法中，可能会多次使用相同的数据进行迭代计算，将迭代过程中产生的中间结果缓存可以提高迭代算法的性能。

  • 例如，在机器学习的迭代算法中，将迭代过程中的特征矩阵或模型参数缓存可以加速算法的收敛。

需要注意的是，缓存RDD会占用集群的内存资源，因此需要根据集群的可用内存和数据大小进行合理的缓存管理，避免因为内存不足导致缓存失效或性能下降。

另外，RDD的缓存也可以通过不同级别的持久化进行，包括MEMORY_ONLY（缓存在内存中）、MEMORY_AND_DISK（缓存在内存和磁盘中）、MEMORY_ONLY_SER（序列化对象的内存缓存）等选项，根据实际情况选择适合的缓存级别。

08、Hive有哪些方式保存元数据，各有哪些优点？

Hive是建立在Hadoop之上的数据仓库工具，它提供了一种类似于SQL的查询语言（HiveQL）来处理和分析大规模数据。Hive使用元数据来描述数据表、分区、列等信息，并支持多种方式来保存元数据。下面是Hive常用的元数据存储方式和它们的优点：

1. 嵌入式Derby数据库方式：

  • Hive可以使用内置的Derby数据库来保存元数据，默认情况下会把元数据存储在本地文件系统的/metastore_db目录下。

  • 优点：简单、易用，不需要额外的配置和依赖。

  • 缺点：不适合高并发和大规模的生产环境，性能和扩展性较差。

2. 外部数据库方式：

  • Hive还支持使用外部数据库（如MySQL、PostgreSQL等）来保存元数据。

  • 优点：能够支持更高的并发和扩展性，适用于生产环境。

  • 缺点：配置和管理外部数据库可能需要额外的工作量，增加了部署和维护成本。

3. 远程数据库方式：

  • Hive可以通过配置Hive Metastore来连接到远程的数据库服务器，将元数据存储在远程数据库中。

  • 优点：能够集中管理多个Hive实例共享的元数据，方便统一管理和维护。

  • 缺点：需要配置和管理远程数据库服务器，可能会增加网络延迟和依赖性。

4. 自定义元数据存储方式：

  • Hive还提供了自定义元数据存储方式的扩展机制，可以根据特定需求实现自定义的元数据存储方案。

  • 优点：灵活自定义，可以根据实际需求选择合适的元数据存储方式。

  • 缺点：需要开发和维护自定义存储方案，工作量可能较大。

需要根据实际情况和需求选择适合的元数据存储方式。对于小规模和测试环境，嵌入式Derby数据库方式是最简单方便的选择；而对于生产环境和大规模部署，使用外部数据库或远程数据库方式能够提供更好的性能和扩展性。此外，自定义元数据存储方式适用于具有特殊需求的场景。

以下是各种 Hive 元数据存储方式的优点和缺点的表格说明：

存储方式 优点 缺点
嵌入式 Derby 数据库方式 简单、易用 不适合高并发和大规模生产环境，性能和扩展性较差
外部数据库方式 支持高并发和扩展性 需要额外的配置和管理外部数据库，增加部署和维护成本
远程数据库方式 集中管理多个 Hive 实例共享的元数据，方便统一管理和维护 需要配置和管理远程数据库服务器，可能增加网络延迟和依赖性
自定义元数据存储方式 灵活自定义 需要开发和维护自定义存储方案，可能工作量较大

09、Hive如何控制权限？

Hive提供了一个基于SQL的授权模式，在授权方面主要涉及以下三个层次：

1. 数据库级别（Database level）：

用户可以对整个数据库进行授权，包括创建、删除、修改和查询等操作。

2. 表级别（Table level）：

用户可以对单个表进行授权，包括对表的读、写、修改、删除等操作，也可以在表级别上定义列层次授权（Column level）。

3. HDFS文件级别（HDFS file level）：

Hive表通常是存储在HDFS上的，因此用户可以在HDFS文件级别上进行授权，包括读写文件、创建和删除目录等操作。

在Hive中，授权的语法格式如下：

GRANT <privilege> ON <object> TO <user>[, <user> ...] [WITH GRANT OPTION]

其中，表示授权的权限，如SELECT、INSERT、UPDATE、DELETE等；表示授权的对象，可以是数据库、表或文件等；表示被授权的用户或角色名；WITH GRANT OPTION表示授予被授权者将权限授予其他用户或角色的权利。

例如，授权用户user1对数据库mydb进行SELECT和INSERT操作的语句如下：

GRANT SELECT, INSERT ON DATABASE mydb TO user1;

Hive还支持授权撤销（REVOKE）操作，用于收回已有的授权，其语法与GRANT类似：

REVOKE  ON  FROM [,  ...]


例如，撤销用户user1对数据库mydb进行SELECT和INSERT操作的语句如下：


REVOKE SELECT, INSERT ON DATABASE mydb FROM user1;



通过授权和撤销操作，可以在Hive中实现对不同用户和角色的精细化权限管理，确保数据安全和隐私。


 10、Hadoop中有哪些地方使用到了缓存机制，作用分别是什么？


在Hadoop中，有几个地方使用了缓存机制，它们的作用如下：


1. HDFS 缓存：


HDFS支持在数据节点（DataNode）上设置缓存目录，即通过dfs.datanode.data.dir配置项指定的目录。这个缓存机制可以帮助提高数据读取的效率。当客户端请求读取某个文件时，如果该文件已经被缓存到数据节点上，那么读取操作可以直接在本地缓存中进行，提高读取速度。


2. MapReduce 输出缓存：


在MapReduce任务中，可以将任务的输出缓存到本地磁盘或内存中，这样可以避免重复计算和IO开销。输出缓存可以通过配置mapreduce.job.output.compression和mapreduce.job.output.compress.codec来启用。


3. MapReduce 分布式缓存：


分布式缓存是将一些数据或文件缓存在各个节点上，使得任务可以从本地加载这些数据而不需要通过网络传输。这样可以减少网络传输的开销和数据的读取延迟。分布式缓存可以通过DistributedCache类实现，可以通过addCacheFile()方法将文件添加到缓存中，然后可以在Mapper和Reducer任务中使用。


这些缓存机制的作用是提高数据访问和计算效率，减少IO开销和网络传输开销，从而加速数据处理和计算的速度。通过合理使用缓存机制，可以提高Hadoop的性能和效率。


 11、Hadoop进程名？


Hadoop由许多不同的组件和进程组成，每个组件和进程都有不同的名称。以下是一些常见的Hadoop进程名称：


1. NameNode：


NameNode是HDFS的主要组件之一，负责管理文件系统的命名空间和元数据。NameNode的进程名称为namenode。


2. DataNode：


DataNode是HDFS的另一个关键组件，负责存储和管理实际的数据块。每个数据节点上都运行着一个DataNode进程，其进程名称为datanode。


3. SecondaryNameNode：


SecondaryNameNode是NameNode的辅助节点，用于定期合并fsimage和edits日志，以减少NameNode的恢复时间。SecondaryNameNode的进程名称为secondarynamenode。


4. ResourceManager：


ResourceManager是YARN的主要组件之一，负责资源的分配和管理。ResourceManager的进程名称为resourcemanager。


5. NodeManager：


NodeManager是YARN的节点管理器，负责在每个节点上启动和监视容器。每个节点上都运行着一个NodeManager进程，其进程名称为nodemanager。


6. JobTracker：


JobTracker是Hadoop 1.x版本中的资源管理器，负责作业的调度和任务的跟踪。JobTracker的进程名称为jobtracker。


7. TaskTracker：


TaskTracker是Hadoop 1.x版本中的任务跟踪器，负责执行和监控作业的任务。每个节点上都运行着一个TaskTracker进程，其进程名称为tasktracker。


注意：上述进程名称是Hadoop的默认命名，实际部署中可以根据需求进行相应的命名和配置。


 12、请说下HDFS读写流程？


HDFS（Hadoop分布式文件系统）是Hadoop的核心组成部分之一。其主要作用是在分布式环境下存储和管理大量的数据。以下是HDFS的读写流程：


1. HDFS读流程：


（1）客户端向NameNode发送读请求：客户端想要读取某个文件时，首先要知道文件的块分布情况，因此它会向NameNode发送文件的路径和读取请求。


（2）NameNode返回块的位置信息：NameNode会查询它的元数据信息（保存在内存中）来找到特定文件的每个块的位置，并返回块所在的数据节点列表给客户端。


（3）客户端发送读请求到最近的数据节点：客户端收到块所在的数据节点列表后，会选择最近的一个数据节点来发送读请求。


（4）数据节点返回所需数据块：数据节点收到读请求后，会将数据块从磁盘读取到内存中，并将数据块发送给客户端。


（5）客户端将数据块拼接成完整文件：客户端收到块后，会将各个块拼接在一起，以生成完整的文件。


2. HDFS写流程：


（1）客户端向NameNode发送写请求：客户端要写入文件时，会向NameNode发送文件的路径和写入请求。


（2）NameNode返回可用数据节点列表：NameNode会返回一组可以存储文件的数据节点列表给客户端。


（3）客户端选择数据节点：客户端会从可用节点列表中选择一个数据节点来写入数据。


（4）客户端向数据节点发送写请求：客户端向目标数据节点发送写入请求，并将要写入的数据块传输给节点。


（5）数据节点确认块写入：数据节点收到写请求后，将副本写入磁盘，并通过数据节点确认写入操作的完成。


（6）数据节点向下一个数据节点复制块：如果有多个数据节点，那么数据节点会将数据块通过管道逐步传递给下一个数据节点，直到所有的数据块副本都被写入并确认。


（7）NameNode更新元数据：每个块被成功地写入后，NameNode会更新文件元数据信息，记录存储块的位置和复制因子等信息。


HDFS系统的读写流程较为复杂，但通过逐步了解每个步骤，可以更好地理解HDFS的运行机制。


 13、在Hadoop_PID_DIR中，PID代表了什么？


在Hadoop中，Hadoop_PID_DIR是一个环境变量，用于指定Hadoop进程的PID文件存放目录。PID代表进程ID（Process ID），它是操作系统分配给正在运行的每个进程的唯一标识符。


PID文件是一个文本文件，包含了Hadoop进程在操作系统中分配的进程ID。当启动Hadoop进程时，Hadoop会将进程ID写入PID文件，以便后续的管理和控制操作。


使用PID文件可以方便地通过PID文件所在目录来查找和管理Hadoop进程。 例如，可以使用PID文件检查进程是否正在运行，也可以使用PID文件中的进程ID来手动终止某个特定的Hadoop进程。


总之，Hadoop_PID_DIR中的PID指的是进程ID，而Hadoop_PID_DIR则指定了存放Hadoop进程PID文件的目录。


 14、RDD有哪些缺陷？


RDD（Resilient Distributed Dataset）是Apache Spark中的核心抽象，用于分布式计算。尽管RDD是强大和灵活的，但它也有一些缺陷，包括：


1. 内存开销：由于RDD需要在内存中存储数据，因此对于大规模数据集来说，RDD可能占用大量的内存空间。


2. 磁盘IO：当内存无法满足需求时，RDD可能需要将数据写入磁盘进行持久化，这会引入额外的磁盘IO操作，可能导致性能下降。


3. 垃圾回收：在RDD中，每个转换操作都会生成一个新的RDD，这会导致内存中存在大量的临时对象，增加了垃圾回收的开销。


4. 不支持复杂的数据类型：RDD对于复杂的数据类型，如图形和树状结构，并不友好，需要自定义序列化和反序列化的操作。


5. 对磁盘存储敏感：由于RDD的特性，当发生故障导致丢失一部分数据时，需要重新计算所有的转换操作，而且可能需要从磁盘读取丢失的数据，降低了容错性和性能。


6. 难以优化：RDD是一个黑盒子，不像传统的查询优化器可以通过统计信息进行优化。因此，无法在编译时对RDD进行优化，需要通过手动调整和重构代码来改善性能。


尽管RDD存在一些缺陷，但Spark团队已经意识到这些问题，并在后续版本中引入了其他数据结构和优化技术，如DataFrame和Dataset，以解决这些问题。


 15、在2.5亿个整数中找出不重复的整数，注：内存不足以容纳这2.5亿个整数？


要在2.5亿个整数中找出不重复的整数，可以使用哈希算法。具体实现逻辑如下：


    

  1.  
    将所有的整数分成若干组，每组分别进行哈希计算。
     
    2. 

  2.  
    对于每个哈希值，只保留出现次数为1的整数。
     
    3. 

  3.  
    将每个组中不重复的整数合并起来，即可得到全部不重复的整数。
     
    4. 



以下是Java实现代码：


import java.io.BufferedReader;
import java.io.FileReader;
import java.io.IOException;
import java.util.BitSet;

public class FindUniqueNumbers {

    public static void main(String[] args) throws IOException {
        int n = 250000000; // 整数总数
        int m = 10000000;  // 每组最大整数数目
        int k = n / m;     // 总共分为的组数

        BitSet bitSet = new BitSet(n);
        for (int i = 0; i < k; i++) {
            int[] nums = new int[m];
            BufferedReader reader = new BufferedReader(new FileReader("data.txt"));
            for (int j = 0; j < m; j++) {
                String line = reader.readLine();
                int num = Integer.parseInt(line);
                nums[j] = num;
                bitSet.set(num);
            }
            reader.close();

            for (int num : nums) {
                bitSet.clear(num);
            }
        }

        for (int i = 0; i < n; i++) {
            if (bitSet.get(i)) {
                System.out.println(i);
            }
        }
    }
}



以下是Python实现代码：


import mmap

n = 250000000  # 整数总数
m = 10000000   # 每组最大整数数目
k = n // m     # 总共分为的组数

bit_set = bytearray(n // 8 + 1)

for i in range(k):
    with open("data.txt", "r+b") as f:
        mm = mmap.mmap(f.fileno(), length=m*4, offset=i*m*4)
        nums = []
        for j in range(m):
            num = int.from_bytes(mm.read(4), byteorder='big')
            nums.append(num)
            offset = num // 8
            bit = 1 << (num % 8)
            bit_set[offset] |= bit
        for num in nums:
            offset = num // 8
            bit = 1 << (num % 8)
            bit_set[offset] &= ~bit

for i in range(n):
    offset = i // 8
    bit = 1 << (i % 8)
    if bit_set[offset] & bit:
        print(i)



以上代码实现了在2.5亿个整数中找出不重复的整数，保证了不重复的整数只出现1次，并且使用了哈希算法，使得内存占用非常小，可以在内存不足的情况下运行。


以下是使用PHP实现在2.5亿个整数中找出不重复的整数的代码：


function findUniqueNumbers($filename, $n, $m) {
    $k = $n / $m; // 总共分为的组数
    
    $bitSet = array_fill(0, ($n / 8) + 1, 0);

    for ($i = 0; $i < $k; $i++) {
        $nums = array();
        $file = fopen($filename, 'rb');
        fseek($file, $i * $m * 4);
        for ($j = 0; $j < $m; $j++) {
            $num = unpack('l', fread($file, 4))[1];
            $nums[] = $num;

            $offset = $num >> 3;
            $bit = 1 << ($num % 8);
            $bitSet[$offset] |= $bit;
        }
        fclose($file);

        foreach ($nums as $num) {
            $offset = $num >> 3;
            $bit = 1 << ($num % 8);
            $bitSet[$offset] &= ~$bit;
        }
    }

    $uniqueNumbers = array();
    for ($i = 0; $i < $n; $i++) {
        $offset = $i >> 3;
        $bit = 1 << ($i % 8);
        if ($bitSet[$offset] & $bit) {
            $uniqueNumbers[] = $i;
        }
    }

    return $uniqueNumbers;
}

$filename = 'data.txt';
$n = 250000000; // 整数总数
$m = 10000000;  // 每组最大整数数目

$uniqueNumbers = findUniqueNumbers($filename, $n, $m);

foreach ($uniqueNumbers as $number) {
    echo $number . "\n";
}



上述代码使用了与之前的Java和Python版本相同的思想和逻辑。在每组整数中，使用一个位数组（bitSet）来表示整数的出现情况，再根据位数组找出不重复的整数。由于PHP的数组索引可以是任意整数，所以bitSet数组中的索引使用整数的方式，而不是字节偏移。最后输出所有不重复的整数。


请将2.5亿个整数保存在名为"data.txt"的文件中，并确保文件中的整数数据以4字节长的二进制形式存储。


初识大数据，一文掌握大数据必备知识文集(8)_第1张图片

























你可能感兴趣的:(大数据专栏,大数据,java,开发语言,spring,boot,面试,spring,cloud,人工智能)






    

  • 华为OD机试 - 单向链表中间节点（Java & JS & Python & C & C++）
华为OD题库
华为od链表java

    须知哈喽，本题库完全免费，收费是为了防止被爬，大家订阅专栏后可以私信联系退款。感谢支持文章目录须知题目描述输出描述解析代码题目描述给定一个单链表L，请编写程序输出L中间结点保存的数据。如果有两个中间结点，则输出第二个中间结点保存的数据。例如：给定L为1→7→5，则输出应该为7；给定L为1→2→3→4，则输出应该为3；输入描述每个输入包含1个测试用例。每个测试用例：第一行给出链表首结点的地址、结点总
    

    • 

  • 学习JavaEE的日子 Day32 线程池
A 北枝
学习JavaEE学习java-eejava线程池

    Day32线程池1.引入一个线程完成一项任务所需时间为：创建线程时间-Time1线程中执行任务的时间-Time2销毁线程时间-Time32.为什么需要线程池(重要)线程池技术正是关注如何缩短或调整Time1和Time3的时间，从而提高程序的性能。项目中可以把Time1，T3分别安排在项目的启动和结束的时间段或者一些空闲的时间段线程池不仅调整Time1，Time3产生的时间段，而且它还显著减少了创建
    

    • 

  • SpringMVC设置全局异常处理器
水岸齐天
javaspring

    文章目录背景分析使用@ControllerAdvice（@RestControllerAdvice）+@ExceptionHandler实现全局异常全局异常处理-多个处理器匹配顺序存在一个类中存在不同的类中对于过滤器和拦截器中的异常，有两种思路可以考虑背景在项目中我们有需求做一个全局异常处理，来规范所有出去的异常信息。参考：官方文档分析首先ControllerAdvice(RestControll
    

    • 

  • 数据分析：低代码平台助力大数据时代的飞跃发展
快乐非自愿
数据分析低代码大数据

    随着信息技术的突飞猛进，我们身处于一个数据量空前增长的时代——大数据时代。在这个时代背景下，数据分析已经成为企业决策、政策制定、科学研究等众多领域不可或缺的重要工具。然而，面对海量的数据和日益复杂多变的分析需求，传统的数据分析方法往往捉襟见肘，难以应对。幸运的是，低代码平台的兴起为大数据分析注入了新的活力，成为推动大数据时代发展的重要力量。低代码平台，顾名思义，是一种通过少量甚至无需编写代码，就能
    

    • 

  • 使用多线程的方式模拟高并发请求接口，用于自测接口的稳定性【项目】
还算善良_
私有代码库工具类javalist数据结构

    packagecom.gitee.taven.test;importcom.gitee.taven.ApiResult;importcom.gitee.taven.aop.RepeatSubmitAspect;importorg.slf4j.Logger;importorg.slf4j.LoggerFactory;importorg.springframework.beans.factory.an
    

    • 

  • springboot集成logback-spring.xml文件
RT_0114
SpringBootspringbootspringlogback

    彩色日志日志分debug和error文件输出，方便开发人员运维日志限制最大保管天数日志限制总量大小占用量GB日志限制单个文件大小MB日志显示最大保留天数屏蔽没用的日志${CONSOLE_LOG_PATTERN}${log.path}/debug.log${log.path}/%d{yyyy-MM-dd,aux}/debug.%d{yyyy-MM-dd}.%i.log.gz1024MB50GB365
    

    • 

  • 家长们的福音：教师对书面作业全批全改，学校不得考试选拔学生
丝雨润春风

    年前年后教育部门公布了不少措施，来减轻学生负担，维护学生的身心健康成长，随后各地教育局也陆陆续续颁布了各种新政策，这不最近山东教育厅也起草了《山东普通中小学规范办学十五条规定》。在这15条规定内容之中包括了：教师对书面作业全批全改，不给家长布置作业或要求家长评改作业；义务教育学校不得以考试、面试、评测等名义选拔学生；保障学生每天睡眠时间，高中生不少于8个小时。毋庸置疑这个规定的初衷非常得好，是对学
    

    • 

  • 请简单介绍一下Shiro框架是什么？Shiro在Java安全领域的主要作用是什么？Shiro主要提供了哪些安全功能？
AaronWang94
shirojavajava安全开发语言

    请简单介绍一下Shiro框架是什么？Shiro框架是一个强大且灵活的开源安全框架，为Java应用程序提供了全面的安全解决方案。它主要用于身份验证、授权、加密和会话管理等功能，可以轻松地集成到任何JavaWeb应用程序中，并提供了易于理解和使用的API，使开发人员能够快速实现安全特性。Shiro的核心组件包括Subject、SecurityManager和Realms。Subject代表了当前与应用
    

    • 

  • 通俗易懂：什么是Java虚拟机（JVM）？它的主要作用是什么？
大龄下岗程序员
mysqljavamysqlspring

    Java虚拟机（JavaVirtualMachine,JVM）是一种软件实现的抽象计算机，它负责执行Java字节码（Bytecode）。Java程序并不是直接在物理计算机上运行，而是先由Java编译器将源代码编译成与平台无关的字节码，然后由JVM负责读取字节码并在实际硬件架构上运行。JVM的主要作用包括以下几个方面：1.跨平台性-JVM是Java语言“一次编写，到处运行”（WriteOnce,Ru
    

    • 

  • 3、JavaWeb-Ajax/Axios-前端工程化-Element
所谓远行Misnearch
#JavaWeb前端ajaxelementuijava前端框架

    P34Ajax介绍Ajax:AsynchroousJavaScriptAndXML，异步的JS和XMLJS网页动作，XML一种标记语言，存储数据，作用：数据交换：通过Ajax给服务器发送请求，并获取服务器响应的数据异步交互：在不重新加载整个页面的情况下，与服务器交换数据并实现更新部分网页的技术，例如：搜索联想、用户名是否可用的校验等等。同步与异步：同步：服务器在处理中客户端要处于等待状态，输入域名
    

    • 

  • Ai插件脚本合集安装包，免费教程视频网盘分享
全网优惠分享君

    随着人工智能技术的不断发展，越来越多的插件脚本涌现出来，为我们的生活和工作带来了便利。然而，如何快速、方便地获取和使用这些插件脚本呢？今天，我将为大家分享一个非常实用的资源——AI插件脚本合集安装包，以及免费教程视频网盘分享。首先，让我们来了解一下这个AI插件脚本合集安装包。它是一个集合了众多AI插件脚本的资源包，涵盖了各种领域，如数据分析、自动化办公、智能客服等等。通过这个安装包，用户可以轻松地
    

    • 

  • eclipse导入项目 warning报错 org.springframework.ide.eclipse.core.springnature
zhangfeng1133
ideeclipsejava

    报错org.springframework.ide.eclipse.core.springnature报错信息"org.springframework.ide.eclipse.core.springnature"通常表示EclipseIDE中与Spring框架集成的插件出现了问题。这个错误可能是因为SpringIDE插件没有正确安装或配置，或者Eclipse的更新过程中出现了问题。解决方法：确认S
    

    • 

  • 2.5 项目讲解流程
王守谦26
项目资料数据库

    一、项目讲解1、自我介绍2、项目流程-===============================二、自我介绍（一）、学员自我介绍，讲解存在的问题比如：讲解年份、卡顿、重点学历、忘记（二）自我规则内容1、开场白：礼貌用语2、时间：自我介绍1-2分钟以内3、内容：姓名、籍贯、毕业院校、（拉进面试官距离）4、技能：功能测试、接口测试、自动化测试、app测试、性能测试、安全测试黑盒测试、白盒测试、灰盒
    

    • 

  • MyBatis高级面试题-2024
my_styles
mybatisjava开发语言面试题

    MyBatis的核心组件有哪些？首先第一个是，SqlSessionFactory，它就像是一个会话工厂。它的任务是创建SqlSession对象，这个对象是我们与数据库交互的主要途径。SqlSessionFactory的作用很重要，因为它可以帮我们配置数据库连接信息和事务管理等。一旦这个工厂被建立起来，它就会加载一些必要的配置和映射文件，为后续的数据库操作提供一个可靠的基础。第二个是SqlSessi
    

    • 

  • 过去一年，这16本好书不容错过
m0_54050778
perl

    编者按：2023年在动荡与希望中收尾，2023年注定会被载入史册。疫情寒冬结束，ChatGPT横空出世，带动了人工智能技术的飞速发展；淄博烧烤、天津大爷、尔滨之旅等充满感动与幸福。但与此同时，2023年又是动荡与不安的一年，俄乌冲突的延宕，新一轮的巴以冲突，极端天气频发。在这个大环境下，有一些经典的书籍著作诞生。本文将分享2023年最值得一读的16本书籍，文章来自翻译，希望对你有所启示。关于202
    

    • 

  • 排序算法太多？常用排序都在这了，一篇文章总结和实现所有面试会考的排序算法（基于Python实现）
宇宙之一粟
不归路之Python#IT面试题收集与总结数据结构与算法算法数据结构排序算法pythonjava

    文章目录排序算法1.常见的排序算法1.1选择排序1.1.1思想1.1.2实现**1.1.3选择排序分析**1.2冒泡排序**1.2.1思想****1.2.2实现****1.2.3冒泡排序分析**1.3插入排序**1.3.1思想****1.3.2实现****1.3.3插入排序分析**1.4归并排序☆☆★**1.4.1思想****1.4.2实现****1.4.3归并排序分析**1.5快速排序☆★★**
    

    • 

  • 枚举使用笔记
万变不离其宗_8
项目笔记笔记

    1.java枚举怎么放在方法上面的注释里面/***保存*@paramuserId用户id*@paramtype见枚举{@linkcom.common.enums.TypeEnum}*@return*/voidsave(LonguserId,Stringtype);
    

    • 

  • linux安装docker及docker-compose 部署spring boot项目
时而有事儿
dockerlinuxdockerlinuxspringboot

    linux系统环境：centos5.14本篇描述的是在centos系统版本下安装docker，如果是ubuntu版本，请看这篇文章：linuxubuntu20安装docker和docker-compose-CSDN博客正文：安装docker和docker-compose安装docker---------运行命名等待安装完成遇到选择直接输入yyuminstall-yyum-utilsdevice-m
    

    • 

  • Python dict字符串转json对象，小数精度丢失问题
朝如青丝 暮成雪
jsonpython

    一前言JSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式，dict是Python的一种数据格式。本篇介绍一个float数据转换时精度丢失的案例。二问题描述importjsontest_str1='{"π":3.1415926535897932384626433832795028841971}'test_str2='{"value":10.00000}'print
    

    • 

  • 15：00面试，15：06就出来了，问的问题有点变态。。。
爱学习的执念
面试软件测试软件测试面试面试职场和发展

    从小厂出来，没想到在另一家公司又寄了。到这家公司开始上班，加班是每天必不可少的，看在钱给的比较多的份上，就不太计较了。没想到9月一纸通知，所有人不准加班，加班费不仅没有了，薪资还要降40%,这下搞的饭都吃不起了。还在有个朋友内推我去了一家互联网公司，兴冲冲见面试官，没想到一道题把我给问死了：如果模块请求http改为了https,测试方案应该如何制定，修改?感觉好简单的题，硬是没有答出来，早知道好好
    

    • 

  • java实体中返回前端的double类型四舍五入（格式化）
婲落ヽ紅顏誶
java

    根据业务，需要通过后端给前端返回部分double类型的数值，一般需要保留两位小数，使用jackson转换对象packagecom.ruoyi.common.core.config;importcom.fasterxml.jackson.core.JsonGenerator;importcom.fasterxml.jackson.databind.JsonSerializer;importcom.f
    

    • 

  • Apache Kafka的伸缩性探究：实现高性能、弹性扩展的关键
i289292951
kafkakafka

    引言ApacheKafka作为当今最流行的消息中间件之一，以其强大的伸缩性著称。在大数据处理、流处理和实时数据集成等领域，Kafka的伸缩性为其在面临急剧增长的数据流量和多样化业务需求时提供了无与伦比的扩展能力。本文将深入探讨Kafka如何通过其独特的架构设计实现高水平的伸缩性，以及在实际部署中如何优化和利用这一特性。一、Kafka伸缩性的核心设计分区（Partitioning）与水平扩展Kafk
    

    • 

  • Java中HashMap底层数据结构及主要参数?
山间漫步人生路
java数据结构开发语言

    在Java中，HashMap的底层数据结构主要基于数组和链表，同时在Java8及以后的版本中，当链表长度超过一定阈值时，链表会转换为红黑树来优化性能。这种结构结合了数组和链表的优点，既提供了快速的随机访问，又允许动态地扩展存储桶的大小。HashMap的主要参数包括：初始容量（InitialCapacity）：这是HashMap在创建时设定的桶数组的大小。默认值为16。这个值可以根据预计存储的键值对
    

    • 

  • Java学习笔记01
.wsy.
日常java学习笔记

    1.1Java简介Java的前身是Oak，詹姆斯·高斯林是java之父。1.2Java体系Java是一种与平台无关的语言，其源代码可以被编译成一种结构中立的中间文件（.class，字节码文件）于Java虚拟机上运行。1.2.3专有名词JDK提供编译、运行Java程序所需要的种种工具及资源。JRE是运行Java所依赖的环境的集合。JVM是一个虚构出来的计算机，通过在实际的计算机上仿真模拟各种计算机功
    

    • 

  • 工资高压力大工资低休息多你怎么选择
绿蘋果

    人总是面临很多选择，不久前自己刚刚放弃一份薪水还不错的工作，为了能多点时间陪陪孩子，也适当的让自己放松放松，运气好，离职后赶上疫情，对于没有人依赖的我，瞬间压力好大，本来是准备休息陪陪孩子出去走走的，这门还没出呢，就不能出门了。我承认自己有些心慌了，需要赶紧找工作了，在家休息一个月不到，我又开始赶急赶忙的找工作，一年已经过半，开始找只能网上投投简历，一直也没回复，后边终于收到面试电话了，对于来之不
    

    • 

  • Vue 常见面试题(一)
安生生申
面试题vue.js前端javascript

    目录1、Vue的最大的优势是什么？（必会）2、Vue和jQuery两者之间的区别是什么？（必会）3、MVVM和MVC区别是什么？哪些场景适合？（必会）1、基本定义2、使用场景3、两者之间的区别4、Vue数据双向绑定的原理是什么?（必会）5、Object.defineProperty和Proxy的区别（必会）6、Vue生命周期总共分为几个阶段？（必会）7、第一次加载页面会触发哪几个钩子函数？（必会）
    

    • 

  • Java回溯知识点（含面试大厂题和源码）
一成码农
java面试开发语言

    回溯算法是一种通过遍历所有可能的候选解来寻找所有解的算法，如果候选解被确认不是一个解（或至少不是最后一个解），回溯算法会通过在上一步进行一些变化来丢弃这个解，即“回溯”并尝试另一个候选解。回溯法通常用递归方法来实现，在解决排列、组合、选择问题时非常有效。回溯算法的核心要点：路径：也就是已经做出的选择。选择列表：也就是你当前可以做的选择。结束条件：也就是到达决策树底层，无法再做出选择的条件。回溯算法
    

    • 

  • Azkaban各种类型的Job编写
__元昊__

    一、概述原生的Azkaban支持的plugin类型有以下这些：command：Linuxshell命令行任务gobblin：通用数据采集工具hadoopJava：运行hadoopMR任务java：原生java任务hive：支持执行hiveSQLpig：pig脚本任务spark：spark任务hdfsToTeradata：把数据从hdfs导入TeradatateradataToHdfs：把数据从Te
    

    • 

  • java基础相关面试题详细总结
。。。。。96
java开发语言

    1.Java中的数据类型有哪些？答：Java中的数据类型包括基本数据类型（如整数、浮点数、字符等）和引用数据类型（如类、接口、数组等）。2.什么是面向对象编程（OOP）？答：面向对象编程是一种编程范式，它将数据和对数据的操作封装在一起，形成对象。通过对象之间的交互来实现程序的功能。3.解释类和对象的关系。答：类是对象的抽象描述，而对象是类的具体实例。一个类可以创建多个对象，每个对象都具有类中定义的
    

    • 

  • Thinkphp - 详细实现网站系统登录功能，附带 Mysql 数据库设置、Web 前端展示界面、信息校验等（详细代码，即设计过程）
王佳斌
+Thinkphpmysql前端数据库

    前言登录功能，是我们几乎开发每个系统都必须的模块。登录功能设计思路，主要包括几个方面。用户输入网址展示登录页面用户输入用户名，密码等点击登录进行信息校验校验通过之后，记录用户登录信息，跳转指定页面用户校验失败，提示失败信息页面目录具体功能实现为了快速搭建可用、美观的页面，我们采用一个比较成熟的前端框架Bootstrap。下面我们到Bootstrap的官网Bootsrap官网下载bootstrap。
    

    • 

  • 设计模式介绍
tntxia
设计模式

    设计模式来源于土木工程师 克里斯托弗 亚历山大（http://en.wikipedia.org/wiki/Christopher_Alexander）的早期作品。他经常发表一些作品，内容是总结他在解决设计问题方面的经验，以及这些知识与城市和建筑模式之间有何关联。有一天，亚历山大突然发现，重复使用这些模式可以让某些设计构造取得我们期望的最佳效果。
亚历山大与萨拉-石川佳纯和穆雷 西乐弗斯坦合作
    

    • 

  • android高级组件使用(一)
百合不是茶
androidRatingBarSpinner

    1、自动完成文本框（AutoCompleteTextView）
AutoCompleteTextView从EditText派生出来，实际上也是一个文本编辑框，但它比普通编辑框多一个功能：当用户输入一个字符后，自动完成文本框会显示一个下拉菜单，供用户从中选择，当用户选择某个菜单项之后，AutoCompleteTextView按用户选择自动填写该文本框。
使用AutoCompleteTex
    

    • 

  • [网络与通讯]路由器市场大有潜力可挖掘
comsci
网络

      
       如果国内的电子厂商和计算机设备厂商觉得手机市场已经有点饱和了,那么可以考虑一下交换机和路由器市场的进入问题.....
       这方面的技术和知识,目前处在一个开放型的状态,有利于各类小型电子企业进入
 &nbs
    

    • 

  • 自写简单Redis内存统计shell
商人shang
Linux shell统计Redis内存

    #!/bin/bash
address="192.168.150.128:6666,192.168.150.128:6666"
hosts=(${address//,/ })
sfile="staticts.log"
for hostitem in ${hosts[@]}
do
ipport=(${hostitem
    

    • 

  • 单例模式(饿汉 vs懒汉)
oloz
单例模式

    package 单例模式;
/*
* 应用场景:保证在整个应用之中某个对象的实例只有一个
* 单例模式种的《 懒汉模式》
* */
public class Singleton {
//01 将构造方法私有化，外界就无法用new Singleton()的方式获得实例
private Singleton(){};
//02 申明类得唯一实例
priva
    

    • 

  • springMvc json支持
杨白白
json springmvc

    1.Spring mvc处理json需要使用jackson的类库，因此需要先引入jackson包
2在spring mvc中解析输入为json格式的数据:使用@RequestBody来设置输入
@RequestMapping("helloJson")
public @ResponseBody
JsonTest helloJson() {

    

    • 

  • android播放，掃描添加本地音頻文件
小桔子

            最近幾乎沒有什麽事情，繼續鼓搗我的小東西。想在項目中加入一個簡易的音樂播放器功能，就像華為p6桌面上那麼大小的音樂播放器。用過天天動聽或者QQ音樂播放器的人都知道，可已通過本地掃描添加歌曲。不知道他們是怎麼實現的，我覺得應該掃描設備上的所有文件，過濾出音頻文件，每個文件實例化為一個實體，記錄文件名、路徑、歌手、類型、大小等信息。具體算法思想，
    

    • 

  • oracle常用命令
aichenglong
oracledba常用命令

    1 创建临时表空间
create temporary tablespace user_temp 
tempfile 'D:\oracle\oradata\Oracle9i\user_temp.dbf'
size 50m 
autoextend on 
next 50m maxsize 20480m 
extent management local
    

    • 

  • 25个Eclipse插件
AILIKES
eclipse插件

    提高代码质量的插件1. FindBugsFindBugs可以帮你找到Java代码中的bug，它使用Lesser GNU Public License的自由软件许可。2. CheckstyleCheckstyle插件可以集成到Eclipse IDE中去，能确保Java代码遵循标准代码样式。3. ECLemmaECLemma是一款拥有Eclipse Public License许可的免费工具，它提供了
    

    • 

  • Spring MVC拦截器+注解方式实现防止表单重复提交
baalwolf
spring mvc

    原理：在新建页面中Session保存token随机码，当保存时验证，通过后删除，当再次点击保存时由于服务器端的Session中已经不存在了，所有无法验证通过。  
1.新建注解：
 
? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 
    

    • 

  • 《Javascript高级程序设计(第3版)》闭包理解
bijian1013
JavaScript

    “闭包是指有权访问另一个函数作用域中的变量的函数。”--《Javascript高级程序设计(第3版)》
 
      看以下代码：
<script type="text/javascript">
function outer() {
var i = 10;
return f
    

    • 

  • AngularJS Module类的方法
bijian1013
JavaScriptAngularJSModule

            AngularJS中的Module类负责定义应用如何启动，它还可以通过声明的方式定义应用中的各个片段。我们来看看它是如何实现这些功能的。
一.Main方法在哪里
        如果你是从Java或者Python编程语言转过来的，那么你可能很想知道AngularJS里面的main方法在哪里？这个把所
    

    • 

  • [Maven学习笔记七]Maven插件和目标
bit1129
maven插件

    插件(plugin)和目标(goal)
Maven，就其本质而言，是一个插件执行框架，Maven的每个目标的执行逻辑都是由插件来完成的，一个插件可以有1个或者几个目标，比如maven-compiler-plugin插件包含compile和testCompile，即maven-compiler-plugin提供了源代码编译和测试源代码编译的两个目标
 
使用插件和目标使得我们可以干预
    

    • 

  • 【Hadoop八】Yarn的资源调度策略
bit1129
hadoop

    1. Hadoop的三种调度策略
Hadoop提供了3中作业调用的策略，
FIFO Scheduler
Fair Scheduler
Capacity Scheduler
以上三种调度算法，在Hadoop MR1中就引入了，在Yarn中对它们进行了改进和完善.Fair和Capacity Scheduler用于多用户共享的资源调度
  2. 多用户资源共享的调度 
    

    • 

  • Nginx使用Linux内存加速静态文件访问
ronin47

    Nginx是一个非常出色的静态资源web服务器。如果你嫌它还不够快，可以把放在磁盘中的文件，映射到内存中，减少高并发下的磁盘IO。
先做几个假设。nginx.conf中所配置站点的路径是/home/wwwroot/res，站点所对应文件原始存储路径：/opt/web/res
shell脚本非常简单，思路就是拷贝资源文件到内存中，然后在把网站的静态文件链接指向到内存中即可。具体如下： 
    

    • 

  • 关于Unity3D中的Shader的知识
brotherlamp
unityunity资料unity教程unity视频unity自学

    首先先解释下Unity3D的Shader，Unity里面的Shaders是使用一种叫ShaderLab的语言编写的，它同微软的FX文件或者NVIDIA的CgFX有些类似。传统意义上的vertex shader和pixel shader还是使用标准的Cg/HLSL 编程语言编写的。因此Unity文档里面的Shader，都是指用ShaderLab编写的代码，然后我们来看下Unity3D自带的60多个S
    

    • 

  • CopyOnWriteArrayList vs ArrayList
bylijinnan
java

    package com.ljn.base;
import java.util.ArrayList;
import java.util.Iterator;
import java.util.List;
import java.util.concurrent.CopyOnWriteArrayList;
/**
* 总述：
* 1.ArrayListi不是线程安全的，CopyO
    

    • 

  • 内存中栈和堆的区别
chicony
内存

    
1、内存分配方面：
    堆：一般由程序员分配释放， 若程序员不释放，程序结束时可能由OS回收 。注意它与数据结构中的堆是两回事，分配方式是类似于链表。可能用到的关键字如下：new、malloc、delete、free等等。
    栈：由编译器(Compiler)自动分配释放，存放函数的参数值，局部变量的值等。其操作方式类似于数据结构中
    

    • 

  • 回答一位网友对Scala的提问
chenchao051
scalamap

    本来准备在私信里直接回复了，但是发现不太方便，就简要回答在这里。 问题 写道 对于scala的简洁十分佩服，但又觉得比较晦涩，例如一例，Map("a" -> List(11,111)).flatMap(_._2)，可否说下最后那个函数做了什么，真正在开发的时候也会如此简洁？谢谢
   先回答一点，在实际使用中，Scala毫无疑问就是这么简单。
    

    • 

  • mysql 取每组前几条记录
daizj
mysql分组最大值最小值每组三条记录

    一、对分组的记录取前N条记录：例如：取每组的前3条最大的记录 1.用子查询： SELECT * FROM tableName a  WHERE 3> (SELECT COUNT(*) FROM  tableName b WHERE b.id=a.id AND b.cnt>a. cnt) ORDER BY a.id,a.account DE
    

    • 

  • HTTP深入浅出 http请求
dcj3sjt126com
http

      HTTP(HyperText Transfer Protocol)是一套计算机通过网络进行通信的规则。计算机专家设计出HTTP，使HTTP客户（如Web浏览器）能够从HTTP服务器(Web服务器)请求信息和服务，HTTP目前协议的版本是1.1.HTTP是一种无状态的协议，无状态是指Web浏览器和Web服务器之间不需要建立持久的连接，这意味着当一个客户端向服务器端发出请求，然后We
    

    • 

  • 判断MySQL记录是否存在方法比较
dcj3sjt126com
mysql

    把数据写入到数据库的时，常常会碰到先要检测要插入的记录是否存在，然后决定是否要写入。
　　我这里总结了判断记录是否存在的常用方法：
　　sql语句： select   count ( * )  from  tablename;
　　然后读取count(*)的值判断记录是否存在。对于这种方法性能上有些浪费，我们只是想判断记录记录是否存在，没有必要全部都查出来。
    

    • 

  • 对HTML XML的一点认识
e200702084
htmlxml

    感谢http://www.w3school.com.cn提供的资料
HTML 文档中的每个成分都是一个节点。
节点
根据 DOM，HTML 文档中的每个成分都是一个节点。
DOM 是这样规定的：
整个文档是一个文档节点
每个 HTML 标签是一个元素节点
包含在 HTML 元素中的文本是文本节点
每一个 HTML 属性是一个属性节点
注释属于注释节点
Node 层次

    

    • 

  • jquery分页插件
genaiwei
jqueryWeb前端分页插件

    //jquery页码控件// 创建一个闭包    (function($) {      // 插件的定义      $.fn.pageTool = function(options) {        var totalPa
    

    • 

  • Mybatis与Ibatis对照入门于学习
Josh_Persistence
mybatisibatis区别联系

    一、为什么使用IBatis/Mybatis
        对于从事 Java EE 的开发人员来说，iBatis 是一个再熟悉不过的持久层框架了，在 Hibernate、JPA 这样的一站式对象 / 关系映射（O/R Mapping）解决方案盛行之前，iBaits 基本是持久层框架的不二选择。即使在持久层框架层出不穷的今天，iBatis 凭借着易学易用、
    

    • 

  • C中怎样合理决定使用那种整数类型？
秋风扫落叶
c数据类型

    如果需要大数值(大于32767或小于32767), 使用long 型。 否则, 如果空间很重要 (如有大数组或很多结构), 使用 short 型。 除此之外, 就使用 int 型。 如果严格定义的溢出特征很重要而负值无关紧要, 或者你希望在操作二进制位和字节时避免符号扩展的问题, 请使用对应的无符号类型。 但是, 要注意在表达式中混用有符号和无符号值的情况。
 
 &nbs
    

    • 

  • maven问题
zhb8015
maven问题

     
问题1：
Eclipse 中 新建maven项目 无法添加src/main/java 问题
   eclipse创建maevn web项目，在选择maven_archetype_web原型后，默认只有src/main/resources这个Source Floder。
    按照maven目录结构，添加src/main/ja
    

    • 

  • (二)androidpn-server tomcat版源码解析之--push消息处理
spjich
javaandrodipn推送

    在 (一)androidpn-server tomcat版源码解析之--项目启动这篇中，已经描述了整个推送服务器的启动过程，并且把握到了消息的入口即XmppIoHandler这个类，今天我将继续往下分析下面的核心代码，主要分为3大块，链接创建，消息的发送，链接关闭。
先贴一段XmppIoHandler的部分代码
/**
* Invoked from an I/O proc
    

    • 

  • 用js中的formData类型解决ajax提交表单时文件不能被serialize方法序列化的问题
中华好儿孙
JavaScriptAjaxWeb上传文件FormData

    
var formData = new FormData($("#inputFileForm")[0]);
$.ajax({
type:'post',
url:webRoot+"/electronicContractUrl/webapp/uploadfile",
data:formData,
async: false,
ca
    

    • 

  • mybatis常用jdbcType数据类型
ysj5125094
mybatismapperjdbcType

     
MyBatis 通过包含的jdbcType
类型
BIT         FLOAT      CHAR          
    

    •