普修罗双战士
普修罗双战士

初识大数据，一文掌握大数据必备知识文集(8)

在这里插入图片描述

作者简介，普修罗双战士，一直追求不断学习和成长，在技术的道路上持续探索和实践。
多年互联网行业从业经验，历任核心研发工程师，项目技术负责人。
欢迎 点赞✍评论⭐收藏

大数据知识专栏学习

大数据知识云集 访问地址 备注
大数据知识点(1) https://blog.csdn.net/m0_50308467/article/details/134989969 大数据专栏
大数据知识点(2) https://blog.csdn.net/m0_50308467/article/details/135109787 大数据专栏
大数据知识点(3) https://blog.csdn.net/m0_50308467/article/details/135164698 大数据专栏
大数据知识点(4) https://blog.csdn.net/m0_50308467/article/details/135164812 大数据专栏
大数据知识点(5) https://blog.csdn.net/m0_50308467/article/details/135164812 大数据专栏
大数据知识点(6) https://blog.csdn.net/m0_50308467/article/details/135313184 大数据专栏
大数据知识点(7) https://blog.csdn.net/m0_50308467/article/details/135322179 大数据专栏
大数据知识点(8) https://blog.csdn.net/m0_50308467/article/details/135323118 大数据专栏

文章目录

  • 初识大数据应用知识
    • 一、初识大数据应用知识(8)
      • 01、Hive使用版本有哪些？
      • 02、谈谈数据倾斜如何发生的，并给出相应的解决办法？
      • 03、hive为何分区，有哪些分区？
      • 04、Hbase的rowKey怎么创建比较好？列簇怎么创建比较好？
      • 05、Varhadooppids用于做什么？
      • 06、说明NameNode恢复过程？
      • 07、哪些RDD需要cache？
      • 08、Hive有哪些方式保存元数据，各有哪些优点？
      • 09、Hive如何控制权限？
      • 10、Hadoop中有哪些地方使用到了缓存机制，作用分别是什么？
      • 11、Hadoop进程名？
      • 12、请说下HDFS读写流程？
      • 13、在Hadoop_PID_DIR中，PID代表了什么？
      • 14、RDD有哪些缺陷？
      • 15、在2.5亿个整数中找出不重复的整数，注：内存不足以容纳这2.5亿个整数？

初识大数据应用知识

一、初识大数据应用知识(8)

01、Hive使用版本有哪些？

以下是一些常见的Hive版本：

版本 发行日期 注释
Hive 0.13.0 2014年3月 该版本引入了最新的Hive-on-Tez执行引擎
Hive 1.2.0 2015年7月 添加了许多新功能和改进，包括CBO（Cost-Based Optimizer）
Hive 2.3.0 2017年4月 支持ACID（原子性、一致性、隔离性和耐用性）表操作
Hive 3.1.0 2018年6月 引入了Hive-on-Spark执行引擎，以及更好的性能和优化
Hive 3.1.2 2019年8月 修复了一些BUG并进行了一些改进
Hive 3.1.4 2020年6月 改进了性能和稳定性，修复了一些重要的问题
Hive 3.1.5 2021年1月 修复了一些Bug，并进行了一些改进
Hive 4.0.0 2022年7月 添加了许多新功能和改进，包括Hive Indexes和SQL兼容性

这只是一部分Hive版本的列表，仅用于参考。请注意，随着时间的推移，Hive不断进行更新和改进，可能会有新的版本发布。你可以在Hive官方网站或源代码仓库中找到更多关于不同版本的详细信息。

02、谈谈数据倾斜如何发生的，并给出相应的解决办法？

数据倾斜是指在数据处理过程中，某些特定的数据分布不均匀，导致计算资源无法充分利用或某些节点负载过重的情况。数据倾斜通常是由以下几个原因导致的：

1. 数据分布不均匀：数据在分布式系统中的分布不均匀，某些键值（或分区）的数据量远大于其他键值，导致负载不平衡。

2. 键冲突：某些键值可能存在冲突，即多个键值被哈希到同一个分区/节点，造成该分区/节点负载过重。

3. 数据倾斜操作：某些特定的数据操作（如JOIN、GROUP BY等）可能引发数据倾斜，特定键值集中在某个操作中。

针对数据倾斜的问题，可以采取一些解决办法来进行优化：

1. 预处理和数据调整：

  • 数据预处理：对数据进行预处理和清洗，确保数据的分布较为均匀。

  • 数据重分区：根据键值进行数据重分区，将数据均匀分布到不同的分区，以平衡负载。

2. 使用随机前缀：

  • 针对哈希冲突问题，可以在键前添加随机字符串或数字前缀，以增加哈希的随机性，从而减少冲突。

3. 使用Salting技术：

  • Salting是指在数据中添加随机的盐（salt），将数据分散到不同的盐值分区中。这样可以减少特定键值的集中度。

4. 倾斜数据单独处理：

  • 针对特定的倾斜键值或操作，可以对其进行单独处理。例如，对于JOIN操作，可以将倾斜键的数据单独拆分成多个任务，以减轻倾斜的影响。

  • 使用广播变量：将小数据集广播到所有节点上，避免特定操作中的倾斜影响。

5. 动态优化：

  • 监控作业运行并检测数据倾斜的情况，根据实际情况动态调整任务的并行度和资源分配，以提高整体性能和负载平衡。

6. 数据倾斜限制与优化：

  • 数据倾斜限制：设置阈值，当某个分区/节点负载超过阈值时，限制该分区/节点的处理数据量，将其分配给其他节点进行处理。

  • 数据倾斜优化：基于统计信息和采样分析，将倾斜较严重的键值进行重分布、过滤或提前处理。

这些解决办法可以根据具体的数据倾斜情况进行选择和组合使用，以达到负载均衡和更好的性能。然而，解决数据倾斜问题可能是一项挑战性的任务，需要根据具体的场景和数据特点进行调整和优化。

03、hive为何分区，有哪些分区？

Hive使用分区是为了在大规模数据集上提高查询效率和简化数据管理。通过将数据划分为不同的分区，可以减少需要扫描的数据量，从而提高查询性能和降低IO开销。

在Hive中，可以使用以下几种类型的分区：

1. 静态分区（Static Partitioning）：

  • 静态分区是在数据导入Hive之前就确定的，将数据按照预定义的分区键值进行划分。每个分区都存在于文件系统中的一个独立目录中，可以通过在查询时指定特定分区来定位数据。

2. 动态分区（Dynamic Partitioning）：

  • 动态分区是在数据导入Hive时根据实际数据内容自动进行分区划分。Hive会根据分区键值动态创建和管理分区，无需事先定义所有分区。动态分区能够避免手动维护大量分区的麻烦，但在数据导入过程中可能会引起数据倾斜的问题。

3. 分桶（Bucketing）：

  • 分桶是将数据划分为固定数量的桶（Bucket），每个桶都包含特定的数据。桶是在表级别上定义的，可以根据业务需求和数据均衡性决定桶的数目。分桶可以在查询过程中加速连接操作（如JOIN），特别是在较大数据集上。

分区和分桶可以结合使用，以更好地组织和管理数据。通过避免全局扫描，分区和分桶可以显著提高查询效率，并支持更复杂的数据分析操作。

需要注意的是，分区和分桶都需要在创建表时进行定义，并选择适当的分区键和分桶列。数据导入和查询时需要遵循相应的分区和分桶策略，以便正确获得各个分区或桶的数据。

04、Hbase的rowKey怎么创建比较好？列簇怎么创建比较好？

在Hbase中，rowKey的设计非常重要，不仅影响到HBase数据的访问效率，而且还关系到数据分布的均衡性和可扩展性。以下是一些rowKey设计的最佳实践：

1. 选择唯一的ID：

  • 为了保证rowKey的唯一性，可以选择使用全局唯一ID，比如使用UUID或时间戳作为rowKey。

  • 选择自然键时，确保数据的分布不会倾斜，可以使用哈希函数对其哈希，让数据分布均匀。

2. 排序合理：

  • HBase中的行是一个有序的字节数组。为了提高扫描和遍历的效率，通常将rowKey按照字典序进行排序，保证相邻的行在物理存储上也是相邻的。

  • 另外，如果有范围查询的需求，可以将相关字段包含在rowKey中，并将其排序，以便更高效地检索数据。

3. 避免随机写：

  • 将频繁更新的数据分散到多个Region中，可以减少HBase系统的压力。

  • 可以使用“随机前缀”的方法，让HBase自动完成数据分散。

对于列簇的设计，需要考虑以下两个方面：

1. 区分数据频率和访问模式：

  • 列簇应该根据数据使用频率和访问模式进行设计，更频繁地访问的数据应该放在比较小的列簇中。

  • 尽量避免在同一个列族中存储访问频率、访问量差别很大的数据，避免一些数据扫描的开销。

2. 避免“超级列族”和长列簇：

  • 不建议过多使用“超级列族”，这会带来一些维护和查询效率上的问题。在设计时应该尽量少用或者避免使用。

  • 长列簇会导致数据文件上的行数变少，使得随机读和其他操作的效率降低，应该避免。

总的来说，rowKey和列簇的设计需要根据具体的场景来决定。需要根据数据的属性和业务需求，对其进行适当的优化和调整，以达到更好的性能和可扩展性。

05、Varhadooppids用于做什么？

Varhadoop是一个用于管理Hadoop集群上的进程标识符（PID）和日志的工具。它的主要用途是为了简化和优化Hadoop集群的运维和调试工作。

Varhadoop的功能包括：

1. 进程标识符（PID）管理：

  • Varhadoop可以自动记录和管理Hadoop集群中各个组件（如NameNode、DataNode、ResourceManager、NodeManager等）的进程标识符（PID）。

  • Varhadoop可以启动、停止、重启和监控这些组件的进程，并能够自动处理进程的异常退出和错误。

2. 日志管理：

  • Varhadoop能够自动聚合、收集和处理Hadoop集群中各个组件的日志，包括标准输出和错误日志。

  • Varhadoop提供日志检索、统计和过滤等功能，使得对Hadoop集群的日志进行管理和分析更加方便和高效。

3. 健康度检测：

  • Varhadoop能够自动监控Hadoop集群中各个组件的运行状态，检测并报告任何错误或异常情况，帮助管理员及时发现和解决问题。

  • Varhadoop还提供对Hadoop集群资源利用率、吞吐量和性能等指标的监控和统计。

总的来说，Varhadoop是一个集中化、自动化和集成化的工具，它可以帮助管理员更轻松地管理和维护Hadoop集群，提高集群的可靠性、稳定性和性能。通过Varhadoop，管理员可以更好地监控和管理Hadoop集群的各个组件，并快速定位和解决潜在的问题。

06、说明NameNode恢复过程？

当Hadoop集群中的NameNode发生故障或意外关闭时，需要进行NameNode的恢复过程。恢复过程主要包括以下几个步骤：

1. 启动NameNode进程：

  • 首先，需要启动NameNode进程，可以使用Hadoop的脚本或工具来启动NameNode。

  • 在启动过程中，NameNode会从持久化存储（如本地磁盘或远程存储系统）中读取之前保存的元数据。

2. 恢复内存数据结构：

  • 一旦NameNode进程启动，它会使用之前保存的内存数据结构（如FsImage和Edit Logs）来构建命名空间的内存表示。

  • FsImage是一个镜像文件，包含文件系统的完整状态，而Edit Logs是NameNode将文件系统中的任何更改追加到日志文件中。

3. 日志重放（Log Replay）：

  • 在内存数据结构恢复完成后，NameNode会对Edit Logs进行重放操作，将其中的操作重新应用到内存数据结构中。

  • 通过重放日志，NameNode可以将之前未完成的写操作和元数据更改应用到命名空间内存表示中，确保数据的一致性。

4. 完成恢复：

  • 一旦Edit Logs的日志重放完成，NameNode恢复过程就基本完成了。

  • 此时，NameNode会向DataNodes发送心跳请求，以获取存储在它们上面的块报告，从而获取数据块的位置和状态信息。

5. 客户端连接与操作：

  • 一旦NameNode恢复，客户端就可以与其重新建立连接，并继续进行文件系统的读写操作。

  • 此时，NameNode会为每个客户端请求提供最新的文件系统视图，以保持集群中的一致性。

需要注意的是，NameNode的恢复过程可能需要较长的时间，特别是如果Edit Logs非常大或系统的负载较高时。因此，在设计Hadoop集群时，可以采取一些措施来加速和优化NameNode的恢复过程，如增加硬件资源、优化网络连接等。此外，建议使用备份和高可用性机制来防止单点故障，并提供更可靠的NameNode恢复能力。

07、哪些RDD需要cache？

在Spark中，可以通过调用cache()方法将RDD（弹性分布式数据集）缓存在内存中，以便在后续操作中快速访问。然而，并不是所有的RDD都适合进行缓存，以下是一些常见的情况下适合缓存的RDD：

1. 频繁重用的RDD：

  • 如果一个RDD在后续的多个操作中被频繁使用，那么将其缓存在内存中可以避免重复计算，提高性能。

  • 例如，多次对同一个RDD进行转换或多个action操作依赖于同一个RDD的结果。

2. 窄依赖的RDD：

  • 窄依赖的RDD是指子RDD只有一个父RDD，这样的RDD在计算过程中可以更高效地重用数据，因为不需要进行Shuffle操作。

  • 缓存窄依赖的RDD可以避免重复计算，并加速后续操作。

3. 迭代算法中的中间数据：

  • 在迭代算法中，可能会多次使用相同的数据进行迭代计算，将迭代过程中产生的中间结果缓存可以提高迭代算法的性能。

  • 例如，在机器学习的迭代算法中，将迭代过程中的特征矩阵或模型参数缓存可以加速算法的收敛。

需要注意的是，缓存RDD会占用集群的内存资源，因此需要根据集群的可用内存和数据大小进行合理的缓存管理，避免因为内存不足导致缓存失效或性能下降。

另外，RDD的缓存也可以通过不同级别的持久化进行，包括MEMORY_ONLY（缓存在内存中）、MEMORY_AND_DISK（缓存在内存和磁盘中）、MEMORY_ONLY_SER（序列化对象的内存缓存）等选项，根据实际情况选择适合的缓存级别。

08、Hive有哪些方式保存元数据，各有哪些优点？

Hive是建立在Hadoop之上的数据仓库工具，它提供了一种类似于SQL的查询语言（HiveQL）来处理和分析大规模数据。Hive使用元数据来描述数据表、分区、列等信息，并支持多种方式来保存元数据。下面是Hive常用的元数据存储方式和它们的优点：

1. 嵌入式Derby数据库方式：

  • Hive可以使用内置的Derby数据库来保存元数据，默认情况下会把元数据存储在本地文件系统的/metastore_db目录下。

  • 优点：简单、易用，不需要额外的配置和依赖。

  • 缺点：不适合高并发和大规模的生产环境，性能和扩展性较差。

2. 外部数据库方式：

  • Hive还支持使用外部数据库（如MySQL、PostgreSQL等）来保存元数据。

  • 优点：能够支持更高的并发和扩展性，适用于生产环境。

  • 缺点：配置和管理外部数据库可能需要额外的工作量，增加了部署和维护成本。

3. 远程数据库方式：

  • Hive可以通过配置Hive Metastore来连接到远程的数据库服务器，将元数据存储在远程数据库中。

  • 优点：能够集中管理多个Hive实例共享的元数据，方便统一管理和维护。

  • 缺点：需要配置和管理远程数据库服务器，可能会增加网络延迟和依赖性。

4. 自定义元数据存储方式：

  • Hive还提供了自定义元数据存储方式的扩展机制，可以根据特定需求实现自定义的元数据存储方案。

  • 优点：灵活自定义，可以根据实际需求选择合适的元数据存储方式。

  • 缺点：需要开发和维护自定义存储方案，工作量可能较大。

需要根据实际情况和需求选择适合的元数据存储方式。对于小规模和测试环境，嵌入式Derby数据库方式是最简单方便的选择；而对于生产环境和大规模部署，使用外部数据库或远程数据库方式能够提供更好的性能和扩展性。此外，自定义元数据存储方式适用于具有特殊需求的场景。

以下是各种 Hive 元数据存储方式的优点和缺点的表格说明：

存储方式 优点 缺点
嵌入式 Derby 数据库方式 简单、易用 不适合高并发和大规模生产环境，性能和扩展性较差
外部数据库方式 支持高并发和扩展性 需要额外的配置和管理外部数据库，增加部署和维护成本
远程数据库方式 集中管理多个 Hive 实例共享的元数据，方便统一管理和维护 需要配置和管理远程数据库服务器，可能增加网络延迟和依赖性
自定义元数据存储方式 灵活自定义 需要开发和维护自定义存储方案，可能工作量较大

09、Hive如何控制权限？

Hive提供了一个基于SQL的授权模式，在授权方面主要涉及以下三个层次：

1. 数据库级别（Database level）：

用户可以对整个数据库进行授权，包括创建、删除、修改和查询等操作。

2. 表级别（Table level）：

用户可以对单个表进行授权，包括对表的读、写、修改、删除等操作，也可以在表级别上定义列层次授权（Column level）。

3. HDFS文件级别（HDFS file level）：

Hive表通常是存储在HDFS上的，因此用户可以在HDFS文件级别上进行授权，包括读写文件、创建和删除目录等操作。

在Hive中，授权的语法格式如下：

GRANT <privilege> ON <object> TO <user>[, <user> ...] [WITH GRANT OPTION]

其中，表示授权的权限，如SELECT、INSERT、UPDATE、DELETE等；表示授权的对象，可以是数据库、表或文件等；表示被授权的用户或角色名；WITH GRANT OPTION表示授予被授权者将权限授予其他用户或角色的权利。

例如，授权用户user1对数据库mydb进行SELECT和INSERT操作的语句如下：

GRANT SELECT, INSERT ON DATABASE mydb TO user1;

Hive还支持授权撤销（REVOKE）操作，用于收回已有的授权，其语法与GRANT类似：

REVOKE  ON  FROM [,  ...]
 
  
例如，撤销用户user1对数据库mydb进行SELECT和INSERT操作的语句如下：
 
  
REVOKE SELECT, INSERT ON DATABASE mydb FROM user1;

 
  
通过授权和撤销操作，可以在Hive中实现对不同用户和角色的精细化权限管理，确保数据安全和隐私。
 
  
 10、Hadoop中有哪些地方使用到了缓存机制，作用分别是什么？
 
  
在Hadoop中，有几个地方使用了缓存机制，它们的作用如下：
 
  
1. HDFS 缓存：
 
  
HDFS支持在数据节点（DataNode）上设置缓存目录，即通过dfs.datanode.data.dir配置项指定的目录。这个缓存机制可以帮助提高数据读取的效率。当客户端请求读取某个文件时，如果该文件已经被缓存到数据节点上，那么读取操作可以直接在本地缓存中进行，提高读取速度。
 
  
2. MapReduce 输出缓存：
 
  
在MapReduce任务中，可以将任务的输出缓存到本地磁盘或内存中，这样可以避免重复计算和IO开销。输出缓存可以通过配置mapreduce.job.output.compression和mapreduce.job.output.compress.codec来启用。
 
  
3. MapReduce 分布式缓存：
 
  
分布式缓存是将一些数据或文件缓存在各个节点上，使得任务可以从本地加载这些数据而不需要通过网络传输。这样可以减少网络传输的开销和数据的读取延迟。分布式缓存可以通过DistributedCache类实现，可以通过addCacheFile()方法将文件添加到缓存中，然后可以在Mapper和Reducer任务中使用。
 
  
这些缓存机制的作用是提高数据访问和计算效率，减少IO开销和网络传输开销，从而加速数据处理和计算的速度。通过合理使用缓存机制，可以提高Hadoop的性能和效率。
 
  
 11、Hadoop进程名？
 
  
Hadoop由许多不同的组件和进程组成，每个组件和进程都有不同的名称。以下是一些常见的Hadoop进程名称：
 
  
1. NameNode：
 
  
NameNode是HDFS的主要组件之一，负责管理文件系统的命名空间和元数据。NameNode的进程名称为namenode。
 
  
2. DataNode：
 
  
DataNode是HDFS的另一个关键组件，负责存储和管理实际的数据块。每个数据节点上都运行着一个DataNode进程，其进程名称为datanode。
 
  
3. SecondaryNameNode：
 
  
SecondaryNameNode是NameNode的辅助节点，用于定期合并fsimage和edits日志，以减少NameNode的恢复时间。SecondaryNameNode的进程名称为secondarynamenode。
 
  
4. ResourceManager：
 
  
ResourceManager是YARN的主要组件之一，负责资源的分配和管理。ResourceManager的进程名称为resourcemanager。
 
  
5. NodeManager：
 
  
NodeManager是YARN的节点管理器，负责在每个节点上启动和监视容器。每个节点上都运行着一个NodeManager进程，其进程名称为nodemanager。
 
  
6. JobTracker：
 
  
JobTracker是Hadoop 1.x版本中的资源管理器，负责作业的调度和任务的跟踪。JobTracker的进程名称为jobtracker。
 
  
7. TaskTracker：
 
  
TaskTracker是Hadoop 1.x版本中的任务跟踪器，负责执行和监控作业的任务。每个节点上都运行着一个TaskTracker进程，其进程名称为tasktracker。
 
  
注意：上述进程名称是Hadoop的默认命名，实际部署中可以根据需求进行相应的命名和配置。
 
  
 12、请说下HDFS读写流程？
 
  
HDFS（Hadoop分布式文件系统）是Hadoop的核心组成部分之一。其主要作用是在分布式环境下存储和管理大量的数据。以下是HDFS的读写流程：
 
  
1. HDFS读流程：
 
  
（1）客户端向NameNode发送读请求：客户端想要读取某个文件时，首先要知道文件的块分布情况，因此它会向NameNode发送文件的路径和读取请求。
 
  
（2）NameNode返回块的位置信息：NameNode会查询它的元数据信息（保存在内存中）来找到特定文件的每个块的位置，并返回块所在的数据节点列表给客户端。
 
  
（3）客户端发送读请求到最近的数据节点：客户端收到块所在的数据节点列表后，会选择最近的一个数据节点来发送读请求。
 
  
（4）数据节点返回所需数据块：数据节点收到读请求后，会将数据块从磁盘读取到内存中，并将数据块发送给客户端。
 
  
（5）客户端将数据块拼接成完整文件：客户端收到块后，会将各个块拼接在一起，以生成完整的文件。
 
  
2. HDFS写流程：
 
  
（1）客户端向NameNode发送写请求：客户端要写入文件时，会向NameNode发送文件的路径和写入请求。
 
  
（2）NameNode返回可用数据节点列表：NameNode会返回一组可以存储文件的数据节点列表给客户端。
 
  
（3）客户端选择数据节点：客户端会从可用节点列表中选择一个数据节点来写入数据。
 
  
（4）客户端向数据节点发送写请求：客户端向目标数据节点发送写入请求，并将要写入的数据块传输给节点。
 
  
（5）数据节点确认块写入：数据节点收到写请求后，将副本写入磁盘，并通过数据节点确认写入操作的完成。
 
  
（6）数据节点向下一个数据节点复制块：如果有多个数据节点，那么数据节点会将数据块通过管道逐步传递给下一个数据节点，直到所有的数据块副本都被写入并确认。
 
  
（7）NameNode更新元数据：每个块被成功地写入后，NameNode会更新文件元数据信息，记录存储块的位置和复制因子等信息。
 
  
HDFS系统的读写流程较为复杂，但通过逐步了解每个步骤，可以更好地理解HDFS的运行机制。
 
  
 13、在Hadoop_PID_DIR中，PID代表了什么？
 
  
在Hadoop中，Hadoop_PID_DIR是一个环境变量，用于指定Hadoop进程的PID文件存放目录。PID代表进程ID（Process ID），它是操作系统分配给正在运行的每个进程的唯一标识符。
 
  
PID文件是一个文本文件，包含了Hadoop进程在操作系统中分配的进程ID。当启动Hadoop进程时，Hadoop会将进程ID写入PID文件，以便后续的管理和控制操作。
 
  
使用PID文件可以方便地通过PID文件所在目录来查找和管理Hadoop进程。 例如，可以使用PID文件检查进程是否正在运行，也可以使用PID文件中的进程ID来手动终止某个特定的Hadoop进程。
 
  
总之，Hadoop_PID_DIR中的PID指的是进程ID，而Hadoop_PID_DIR则指定了存放Hadoop进程PID文件的目录。
 
  
 14、RDD有哪些缺陷？
 
  
RDD（Resilient Distributed Dataset）是Apache Spark中的核心抽象，用于分布式计算。尽管RDD是强大和灵活的，但它也有一些缺陷，包括：
 
  
1. 内存开销：由于RDD需要在内存中存储数据，因此对于大规模数据集来说，RDD可能占用大量的内存空间。
 
  
2. 磁盘IO：当内存无法满足需求时，RDD可能需要将数据写入磁盘进行持久化，这会引入额外的磁盘IO操作，可能导致性能下降。
 
  
3. 垃圾回收：在RDD中，每个转换操作都会生成一个新的RDD，这会导致内存中存在大量的临时对象，增加了垃圾回收的开销。
 
  
4. 不支持复杂的数据类型：RDD对于复杂的数据类型，如图形和树状结构，并不友好，需要自定义序列化和反序列化的操作。
 
  
5. 对磁盘存储敏感：由于RDD的特性，当发生故障导致丢失一部分数据时，需要重新计算所有的转换操作，而且可能需要从磁盘读取丢失的数据，降低了容错性和性能。
 
  
6. 难以优化：RDD是一个黑盒子，不像传统的查询优化器可以通过统计信息进行优化。因此，无法在编译时对RDD进行优化，需要通过手动调整和重构代码来改善性能。
 
  
尽管RDD存在一些缺陷，但Spark团队已经意识到这些问题，并在后续版本中引入了其他数据结构和优化技术，如DataFrame和Dataset，以解决这些问题。
 
  
 15、在2.5亿个整数中找出不重复的整数，注：内存不足以容纳这2.5亿个整数？
 
  
要在2.5亿个整数中找出不重复的整数，可以使用哈希算法。具体实现逻辑如下：
 
  
     
   
  1.  
    将所有的整数分成若干组，每组分别进行哈希计算。
     
    2.  
   
  2.  
    对于每个哈希值，只保留出现次数为1的整数。
     
    3.  
   
  3.  
    将每个组中不重复的整数合并起来，即可得到全部不重复的整数。
     
    4.  
  
 
  
以下是Java实现代码：
 
  
import java.io.BufferedReader;
import java.io.FileReader;
import java.io.IOException;
import java.util.BitSet;

public class FindUniqueNumbers {

    public static void main(String[] args) throws IOException {
        int n = 250000000; // 整数总数
        int m = 10000000;  // 每组最大整数数目
        int k = n / m;     // 总共分为的组数

        BitSet bitSet = new BitSet(n);
        for (int i = 0; i < k; i++) {
            int[] nums = new int[m];
            BufferedReader reader = new BufferedReader(new FileReader("data.txt"));
            for (int j = 0; j < m; j++) {
                String line = reader.readLine();
                int num = Integer.parseInt(line);
                nums[j] = num;
                bitSet.set(num);
            }
            reader.close();

            for (int num : nums) {
                bitSet.clear(num);
            }
        }

        for (int i = 0; i < n; i++) {
            if (bitSet.get(i)) {
                System.out.println(i);
            }
        }
    }
}

 
  
以下是Python实现代码：
 
  
import mmap

n = 250000000  # 整数总数
m = 10000000   # 每组最大整数数目
k = n // m     # 总共分为的组数

bit_set = bytearray(n // 8 + 1)

for i in range(k):
    with open("data.txt", "r+b") as f:
        mm = mmap.mmap(f.fileno(), length=m*4, offset=i*m*4)
        nums = []
        for j in range(m):
            num = int.from_bytes(mm.read(4), byteorder='big')
            nums.append(num)
            offset = num // 8
            bit = 1 << (num % 8)
            bit_set[offset] |= bit
        for num in nums:
            offset = num // 8
            bit = 1 << (num % 8)
            bit_set[offset] &= ~bit

for i in range(n):
    offset = i // 8
    bit = 1 << (i % 8)
    if bit_set[offset] & bit:
        print(i)

 
  
以上代码实现了在2.5亿个整数中找出不重复的整数，保证了不重复的整数只出现1次，并且使用了哈希算法，使得内存占用非常小，可以在内存不足的情况下运行。
 
  
以下是使用PHP实现在2.5亿个整数中找出不重复的整数的代码：
 
  
function findUniqueNumbers($filename, $n, $m) {
    $k = $n / $m; // 总共分为的组数
    
    $bitSet = array_fill(0, ($n / 8) + 1, 0);

    for ($i = 0; $i < $k; $i++) {
        $nums = array();
        $file = fopen($filename, 'rb');
        fseek($file, $i * $m * 4);
        for ($j = 0; $j < $m; $j++) {
            $num = unpack('l', fread($file, 4))[1];
            $nums[] = $num;

            $offset = $num >> 3;
            $bit = 1 << ($num % 8);
            $bitSet[$offset] |= $bit;
        }
        fclose($file);

        foreach ($nums as $num) {
            $offset = $num >> 3;
            $bit = 1 << ($num % 8);
            $bitSet[$offset] &= ~$bit;
        }
    }

    $uniqueNumbers = array();
    for ($i = 0; $i < $n; $i++) {
        $offset = $i >> 3;
        $bit = 1 << ($i % 8);
        if ($bitSet[$offset] & $bit) {
            $uniqueNumbers[] = $i;
        }
    }

    return $uniqueNumbers;
}

$filename = 'data.txt';
$n = 250000000; // 整数总数
$m = 10000000;  // 每组最大整数数目

$uniqueNumbers = findUniqueNumbers($filename, $n, $m);

foreach ($uniqueNumbers as $number) {
    echo $number . "\n";
}

 
  
上述代码使用了与之前的Java和Python版本相同的思想和逻辑。在每组整数中，使用一个位数组（bitSet）来表示整数的出现情况，再根据位数组找出不重复的整数。由于PHP的数组索引可以是任意整数，所以bitSet数组中的索引使用整数的方式，而不是字节偏移。最后输出所有不重复的整数。
 
  
请将2.5亿个整数保存在名为"data.txt"的文件中，并确保文件中的整数数据以4字节长的二进制形式存储。
 
  
初识大数据，一文掌握大数据必备知识文集(8)_第1张图片
 
  

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(大数据专栏,大数据,java,开发语言,spring,boot,面试,spring,cloud,人工智能)

        

            

                
    
                    
  • Long类型前后端数据不一致
                        igotyback
前端
                        
    响应给前端的数据浏览器控制台中response中看到的Long类型的数据是正常的到前端数据不一致前后端数据类型不匹配是一个常见问题，尤其是当后端使用Java的Long类型（64位）与前端JavaScript的Number类型（最大安全整数为2^53-1，即16位）进行数据交互时，很容易出现精度丢失的问题。这是因为JavaScript中的Number类型无法安全地表示超过16位的整数。为了解决这个问
    
                    
    • 
                    
  • LocalDateTime 转 String
                        igotyback
java开发语言
                        
    importjava.time.LocalDateTime;importjava.time.format.DateTimeFormatter;publicclassMain{publicstaticvoidmain(String[]args){//获取当前时间LocalDateTimenow=LocalDateTime.now();//定义日期格式化器DateTimeFormatterformat
    
                    
    • 
                    
  • Linux下QT开发的动态库界面弹出操作（SDL2）
                        13jjyao
QT类qt开发语言sdl2linux
                        
    需求：操作系统为linux，开发框架为qt，做成需带界面的qt动态库，调用方为java等非qt程序难点：调用方为java等非qt程序，也就是说调用方肯定不带QApplication::exec()，缺少了这个，QTimer等事件和QT创建的窗口将不能弹出(包括opencv也是不能弹出)；这与qt调用本身qt库是有本质的区别的思路：1.调用方缺QApplication::exec()，那么我们在接口
    
                    
    • 
                    
  • DIV+CSS+JavaScript技术制作网页（旅游主题网页设计与制作）云南大理
                        STU学生网页设计
网页设计期末网页作业html静态网页html5期末大作业网页设计web大作业
                        
    ️精彩专栏推荐作者主页:【进入主页—获取更多源码】web前端期末大作业：【HTML5网页期末作业(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】文章目录二、网站介绍三、网站效果▶️1.视频演示2.图片演示四、网站代码HTML结构代码CSS样式代码五、更多源码二、网站介绍网站布局方面：计划采用目前主流的、能兼容各大主流浏览器、显示效果稳定的浮动网页布局结构。网站程
    
                    
    • 
                    
  • 【华为OD机试真题2023B卷 JAVA&JS】We Are A Team
                        若博豆
java算法华为javascript
                        
    华为OD2023（B卷）机试题库全覆盖，刷题指南点这里WeAreATeam时间限制：1秒|内存限制：32768K|语言限制：不限题目描述：总共有n个人在机房，每个人有一个标号（1<=标号<=n），他们分成了多个团队，需要你根据收到的m条消息判定指定的两个人是否在一个团队中，具体的：1、消息构成为：abc，整数a、b分别代
    
                    
    • 
                    
  • 探索OpenAI和LangChain的适配器集成：轻松切换模型提供商
                        nseejrukjhad
langchaineasyui前端python
                        
    #探索OpenAI和LangChain的适配器集成：轻松切换模型提供商##引言在人工智能和自然语言处理的世界中，OpenAI的模型提供了强大的能力。然而，随着技术的发展，许多人开始探索其他模型以满足特定需求。LangChain作为一个强大的工具，集成了多种模型提供商，通过提供适配器，简化了不同模型之间的转换。本篇文章将介绍如何使用LangChain的适配器与OpenAI集成，以便轻松切换模型提供商
    
                    
    • 
                    
  • 深入理解 MultiQueryRetriever：提升向量数据库检索效果的强大工具
                        nseejrukjhad
数据库python
                        
    深入理解MultiQueryRetriever：提升向量数据库检索效果的强大工具引言在人工智能和自然语言处理领域，高效准确的信息检索一直是一个关键挑战。传统的基于距离的向量数据库检索方法虽然广泛应用，但仍存在一些局限性。本文将介绍一种创新的解决方案：MultiQueryRetriever，它通过自动生成多个查询视角来增强检索效果，提高结果的相关性和多样性。MultiQueryRetriever的工
    
                    
    • 
                    
  • 关于城市旅游的HTML网页设计——(旅游风景云南 5页)HTML+CSS+JavaScript
                        二挡起步
web前端期末大作业javascripthtmlcss旅游风景
                        
    ⛵源码获取文末联系✈Web前端开发技术描述网页设计题材，DIV+CSS布局制作,HTML+CSS网页设计期末课程大作业|游景点介绍|旅游风景区|家乡介绍|等网站的设计与制作|HTML期末大学生网页设计作业，Web大学生网页HTML：结构CSS：样式在操作方面上运用了html5和css3，采用了div+css结构、表单、超链接、浮动、绝对定位、相对定位、字体样式、引用视频等基础知识JavaScrip
    
                    
    • 
                    
  • HTML网页设计制作大作业（div+css） 云南我的家乡旅游景点 带文字滚动
                        二挡起步
web前端期末大作业web设计网页规划与设计htmlcssjavascriptdreamweaver前端
                        
    Web前端开发技术描述网页设计题材，DIV+CSS布局制作,HTML+CSS网页设计期末课程大作业游景点介绍|旅游风景区|家乡介绍|等网站的设计与制作HTML期末大学生网页设计作业HTML：结构CSS：样式在操作方面上运用了html5和css3，采用了div+css结构、表单、超链接、浮动、绝对定位、相对定位、字体样式、引用视频等基础知识JavaScript：做与用户的交互行为文章目录前端学习路线
    
                    
    • 
                    
  • python八股文面试题分享及解析(1)
                        Shawn________
python
                        
    #1.'''a=1b=2不用中间变量交换a和b'''#1.a=1b=2a,b=b,aprint(a)print(b)结果：21#2.ll=[]foriinrange(3):ll.append({'num':i})print(11)结果:#[{'num':0},{'num':1},{'num':2}]#3.kk=[]a={'num':0}foriinrange(3):#0,12#可变类型，不仅仅改变
    
                    
    • 
                    
  • MYSQL面试系列-04
                        king01299
面试mysql面试
                        
    MYSQL面试系列-0417.关于redolog和binlog的刷盘机制、redolog、undolog作用、GTID是做什么的？innodb_flush_log_at_trx_commit及sync_binlog参数意义双117.1innodb_flush_log_at_trx_commit该变量定义了InnoDB在每次事务提交时，如何处理未刷入（flush）的重做日志信息（redolog）。它
    
                    
    • 
                    
  • 人工智能时代，程序员如何保持核心竞争力？
                        jmoych
人工智能
                        
    随着AIGC（如chatgpt、midjourney、claude等）大语言模型接二连三的涌现，AI辅助编程工具日益普及，程序员的工作方式正在发生深刻变革。有人担心AI可能取代部分编程工作，也有人认为AI是提高效率的得力助手。面对这一趋势,程序员应该如何应对?是专注于某个领域深耕细作，还是广泛学习以适应快速变化的技术环境?又或者，我们是否应该将重点转向AI无法轻易替代的软技能？让我们一起探讨程序员
    
                    
    • 
                    
  • Kafka 消息丢失如何处理？
                        架构文摘JGWZ
学习
                        
    今天给大家分享一个在面试中经常遇到的问题：Kafka消息丢失该如何处理？这个问题啊，看似简单，其实里面藏着很多“套路”。来，咱们先讲一个面试的“真实”案例。面试官问：“Kafka消息丢失如何处理？”小明一听，反问：“你是怎么发现消息丢失了？”面试官顿时一愣，沉默了片刻后，可能有点不耐烦，说道：“这个你不用管，反正现在发现消息丢失了，你就说如何处理。”小明一头雾水：“问题是都不知道怎么丢的，处理起来
    
                    
    • 
                    
  • 每日算法&面试题，大厂特训二十八天——第二十天（树）
                        肥学
⚡算法题⚡面试题每日精进java算法数据结构
                        
    目录标题导读算法特训二十八天面试题点击直接资料领取导读肥友们为了更好的去帮助新同学适应算法和面试题，最近我们开始进行专项突击一步一步来。上一期我们完成了动态规划二十一天现在我们进行下一项对各类算法进行二十八天的一个小总结。还在等什么快来一起肥学进行二十八天挑战吧！！特别介绍小白练手专栏，适合刚入手的新人欢迎订阅编程小白进阶python有趣练手项目里面包括了像《机器人尬聊》《恶搞程序》这样的有趣文章
    
                    
    • 
                    
  • node.js学习
                        小猿L
node.jsnode.js学习vim
                        
    node.js学习实操及笔记温故node.js，node.js学习实操过程及笔记~node.js学习视频node.js官网node.js中文网实操笔记githubcsdn笔记为什么学node.js可以让别人访问我们编写的网页为后续的框架学习打下基础，三大框架vuereactangular离不开node.jsnode.js是什么官网：node.js是一个开源的、跨平台的运行JavaScript的运行
    
                    
    • 
                    
  • 【华为OD技术面试真题 - 技术面】- python八股文真题题库（4)
                        算法大师
华为od面试python
                        
    华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选**1.Python中的`with`**用途和功能自动资源管理示例：文件操作上下文管理协议示例代码工作流程解析优点2.\_\_new\_\_和**\_\_init\_\_**区别__new____init__区别总结3.**切片（Slicing）操作**基本切片语法
    
                    
    • 
                    
  • 【华为OD技术面试真题 - 技术面】-测试八股文真题题库（1）
                        算法大师
华为od面试python算法前端
                        
    华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.黑盒测试和白盒测试的区别2.假设我们公司现在开发一个类似于微信的软件1.0版本，现在要你测试这个功能：打开聊天窗口，输入文本，限制字数在200字以内。问你怎么提取测试点。功能测试性能测试安全性测试可用性测试跨平台兼容性测试网络环境测试3.接口测试的工具你了解哪些
    
                    
    • 
                    
  • 【华为OD技术面试真题精选 - 非技术题】 -HR面，综合面_华为od hr面
                        一个射手座的程序媛
程序员华为od面试职场和发展
                        
    最后的话最近很多小伙伴找我要Linux学习资料，于是我翻箱倒柜，整理了一些优质资源，涵盖视频、电子书、PPT等共享给大家！资料预览给大家整理的视频资料：给大家整理的电子书资料：如果本文对你有帮助，欢迎点赞、收藏、转发给朋友，让我有持续创作的动力！网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化的资料的朋友，可以点击这里获
    
                    
    • 
                    
  • 【华为OD技术面试真题 - 技术面】- python八股文真题题库（1）
                        算法大师
华为od面试python
                        
    华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.数据预处理流程数据预处理的主要步骤工具和库2.介绍线性回归、逻辑回归模型线性回归（LinearRegression）模型形式：关键点：逻辑回归（LogisticRegression）模型形式：关键点：参数估计与评估：3.python浅拷贝及深拷贝浅拷贝（Shal
    
                    
    • 
                    
  • 数字里的世界17期：2021年全球10大顶级数据中心，中国移动榜首
                        张三叨

                        
    你知道吗？2016年，全球的数据中心共计用电4160亿千瓦时，比整个英国的发电量还多40％！前言每天，我们都会创造超过250万TB的数据。并且随着物联网（IOT）的不断普及，这一数据将持续增长。如此庞大的数据被存储在被称为“数据中心”的专用设施中。虽然最早的数据中心建于20世纪40年代，但直到1997-2000年的互联网泡沫期间才逐渐成为主流。当前人类的技术，比如人工智能和机器学习，已经将我们推向
    
                    
    • 
                    
  • nosql数据库技术与应用知识点
                        皆过客，揽星河
NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
                        
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
    
                    
    • 
                    
  • SpringBlade dict-biz/list 接口 SQL 注入漏洞
                        文章永久免费只为良心
oracle数据库
                        
    SpringBladedict-biz/list接口SQL注入漏洞POC:构造请求包查看返回包你的网址/api/blade-system/dict-biz/list?updatexml(1,concat(0x7e,md5(1),0x7e),1)=1漏洞概述在SpringBlade框架中，如果dict-biz/list接口的后台处理逻辑没有正确地对用户输入进行过滤或参数化查询（PreparedSta
    
                    
    • 
                    
  • ES聚合分析原理与代码实例讲解
                        光剑书架上的书
大厂Offer收割机面试题简历程序员读书硅基计算碳基计算认知计算生物计算深度学习神经网络大数据AIGCAGILLMJavaPython架构设计Agent程序员实现财富自由
                        
    ES聚合分析原理与代码实例讲解1.背景介绍1.1问题的由来在大规模数据分析场景中，特别是在使用Elasticsearch（ES）进行数据存储和检索时，聚合分析成为了一个至关重要的功能。聚合分析允许用户对数据集进行细分和分组，以便深入探索数据的结构和模式。这在诸如实时监控、日志分析、业务洞察等领域具有广泛的应用。1.2研究现状目前，ES聚合分析已经成为现代大数据平台的核心组件之一。它支持多种类型的聚
    
                    
    • 
                    
  • Java 重写(Override)与重载(Overload)
                        叨唧唧的

                        
    Java重写(Override)与重载(Overload)重写(Override)重写是子类对父类的允许访问的方法的实现过程进行重新编写,返回值和形参都不能改变。即外壳不变，核心重写！重写的好处在于子类可以根据需要，定义特定于自己的行为。也就是说子类能够根据需要实现父类的方法。重写方法不能抛出新的检查异常或者比被重写方法申明更加宽泛的异常。例如：父类的一个方法申明了一个检查异常IOExceptio
    
                    
    • 
                    
  • 简单了解 JVM
                        记得开心一点啊
jvm
                        
    目录♫什么是JVM♫JVM的运行流程♫JVM运行时数据区♪虚拟机栈♪本地方法栈♪堆♪程序计数器♪方法区/元数据区♫类加载的过程♫双亲委派模型♫垃圾回收机制♫什么是JVMJVM是JavaVirtualMachine的简称，意为Java虚拟机。虚拟机是指通过软件模拟的具有完整硬件功能的、运行在一个完全隔离的环境中的完整计算机系统（如：JVM、VMwave、VirtualBox）。JVM和其他两个虚拟机
    
                    
    • 
                    
  • 1分钟解决 -bash: mvn: command not found，在Centos 7中安装Maven
                        Energet!c
开发语言
                        
    1分钟解决-bash:mvn:commandnotfound，在Centos7中安装Maven检查Java环境1下载Maven2解压Maven3配置环境变量4验证安装5常见问题与注意事项6总结检查Java环境Maven依赖Java环境，请确保系统已经安装了Java并配置了环境变量。可以通过以下命令检查：java-version如果未安装，请先安装Java。1下载Maven从官网下载：前往Apach
    
                    
    • 
                    
  • Java企业面试题3
                        马龙强_
java
                        
    1.break和continue的作用(智*图)break：用于完全退出一个循环（如for,while）或一个switch语句。当在循环体内遇到break语句时，程序会立即跳出当前循环体，继续执行循环之后的代码。continue：用于跳过当前循环体中剩余的部分，并开始下一次循环。如果是在for循环中使用continue，则会直接进行条件判断以决定是否执行下一轮循环。2.if分支语句和switch分
    
                    
    • 
                    
  • JVM、JRE和 JDK：理解Java开发的三大核心组件
                        Y雨何时停T
Javajava
                        
    Java是一门跨平台的编程语言，它的成功离不开背后强大的运行环境与开发工具的支持。在Java的生态中，JVM（Java虚拟机）、JRE（Java运行时环境）和JDK（Java开发工具包）是三个至关重要的核心组件。本文将探讨JVM、JDK和JRE的区别，帮助你更好地理解Java的运行机制。1.JVM：Java虚拟机（JavaVirtualMachine）什么是JVM？JVM，即Java虚拟机，是Ja
    
                    
    • 
                    
  • Java面试题精选：消息队列(二)
                        芒果不是芒
Java面试题精选javakafka
                        
    一、Kafka的特性1.消息持久化：消息存储在磁盘，所以消息不会丢失2.高吞吐量：可以轻松实现单机百万级别的并发3.扩展性：扩展性强，还是动态扩展4.多客户端支持：支持多种语言（Java、C、C++、GO、）5.KafkaStreams（一个天生的流处理）:在双十一或者销售大屏就会用到这种流处理。使用KafkaStreams可以快速的把销售额统计出来6.安全机制：Kafka进行生产或者消费的时候会
    
                    
    • 
                    
  • 白骑士的Java教学基础篇 2.5 控制流语句
                        白骑士所长
Java教学java开发语言
                        
    欢迎继续学习Java编程的基础篇！在前面的章节中，我们了解了Java的变量、数据类型和运算符。接下来，我们将探讨Java中的控制流语句。控制流语句用于控制程序的执行顺序，使我们能够根据特定条件执行不同的代码块，或重复执行某段代码。这是编写复杂程序的基础。通过学习这一节内容，你将掌握如何使用条件语句和循环语句来编写更加灵活和高效的代码。条件语句条件语句用于根据条件的真假来执行不同的代码块。if语句‘
    
                    
    • 
                                
  • 设计模式介绍
                                    tntxia
设计模式
                                    
    设计模式来源于土木工程师 克里斯托弗 亚历山大（http://en.wikipedia.org/wiki/Christopher_Alexander）的早期作品。他经常发表一些作品，内容是总结他在解决设计问题方面的经验，以及这些知识与城市和建筑模式之间有何关联。有一天，亚历山大突然发现，重复使用这些模式可以让某些设计构造取得我们期望的最佳效果。 
 
亚历山大与萨拉-石川佳纯和穆雷 西乐弗斯坦合作
    
                                
    • 
                                
  • android高级组件使用(一)
                                    百合不是茶
androidRatingBarSpinner
                                    
    1、自动完成文本框（AutoCompleteTextView） 
 
 AutoCompleteTextView从EditText派生出来，实际上也是一个文本编辑框，但它比普通编辑框多一个功能：当用户输入一个字符后，自动完成文本框会显示一个下拉菜单，供用户从中选择，当用户选择某个菜单项之后，AutoCompleteTextView按用户选择自动填写该文本框。 
 使用AutoCompleteTex
    
                                
    • 
                                
  • [网络与通讯]路由器市场大有潜力可挖掘
                                    comsci
网络
                                    
       
       如果国内的电子厂商和计算机设备厂商觉得手机市场已经有点饱和了,那么可以考虑一下交换机和路由器市场的进入问题..... 
 
       这方面的技术和知识,目前处在一个开放型的状态,有利于各类小型电子企业进入 
 
 &nbs
    
                                
    • 
                                
  • 自写简单Redis内存统计shell
                                    商人shang
Linux shell统计Redis内存
                                    
    #!/bin/bash
address="192.168.150.128:6666,192.168.150.128:6666"  
hosts=(${address//,/ })  

sfile="staticts.log"

for hostitem in ${hosts[@]}  
do  
    ipport=(${hostitem
    
                                
    • 
                                
  • 单例模式(饿汉 vs懒汉)
                                    oloz
单例模式
                                    
    package 单例模式;
/*
 * 应用场景:保证在整个应用之中某个对象的实例只有一个
 * 单例模式种的《 懒汉模式》  
 * */
public class Singleton {
	
	//01 将构造方法私有化，外界就无法用new Singleton()的方式获得实例
	private Singleton(){};
	
	//02 申明类得唯一实例
	priva
    
                                
    • 
                                
  • springMvc json支持
                                    杨白白
json springmvc
                                    
    1.Spring mvc处理json需要使用jackson的类库，因此需要先引入jackson包 
 
 
2在spring mvc中解析输入为json格式的数据:使用@RequestBody来设置输入 
 

@RequestMapping("helloJson")
public @ResponseBody
    JsonTest helloJson() {
   
    
                                
    • 
                                
  • android播放，掃描添加本地音頻文件
                                    小桔子

                                    
            最近幾乎沒有什麽事情，繼續鼓搗我的小東西。想在項目中加入一個簡易的音樂播放器功能，就像華為p6桌面上那麼大小的音樂播放器。用過天天動聽或者QQ音樂播放器的人都知道，可已通過本地掃描添加歌曲。不知道他們是怎麼實現的，我覺得應該掃描設備上的所有文件，過濾出音頻文件，每個文件實例化為一個實體，記錄文件名、路徑、歌手、類型、大小等信息。具體算法思想，
    
                                
    • 
                                
  • oracle常用命令
                                    aichenglong
oracledba常用命令
                                    
    1 创建临时表空间 
create temporary tablespace user_temp  
tempfile 'D:\oracle\oradata\Oracle9i\user_temp.dbf' 
size 50m  
autoextend on  
next 50m maxsize 20480m  
extent management local
    
                                
    • 
                                
  • 25个Eclipse插件
                                    AILIKES
eclipse插件
                                    
    提高代码质量的插件1. FindBugsFindBugs可以帮你找到Java代码中的bug，它使用Lesser GNU Public License的自由软件许可。2. CheckstyleCheckstyle插件可以集成到Eclipse IDE中去，能确保Java代码遵循标准代码样式。3. ECLemmaECLemma是一款拥有Eclipse Public License许可的免费工具，它提供了
    
                                
    • 
                                
  • Spring MVC拦截器+注解方式实现防止表单重复提交
                                    baalwolf
spring mvc
                                    
    原理：在新建页面中Session保存token随机码，当保存时验证，通过后删除，当再次点击保存时由于服务器端的Session中已经不存在了，所有无法验证通过。      
1.新建注解： 
     
?       1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   
    
                                
    • 
                                
  • 《Javascript高级程序设计(第3版)》闭包理解
                                    bijian1013
JavaScript
                                    
    “闭包是指有权访问另一个函数作用域中的变量的函数。”--《Javascript高级程序设计(第3版)》 
  
      看以下代码： 
<script type="text/javascript">
    function outer() {
        var i = 10;
        return f
    
                                
    • 
                                
  • AngularJS Module类的方法
                                    bijian1013
JavaScriptAngularJSModule
                                    
            AngularJS中的Module类负责定义应用如何启动，它还可以通过声明的方式定义应用中的各个片段。我们来看看它是如何实现这些功能的。 
一.Main方法在哪里 
        如果你是从Java或者Python编程语言转过来的，那么你可能很想知道AngularJS里面的main方法在哪里？这个把所
    
                                
    • 
                                
  • [Maven学习笔记七]Maven插件和目标
                                    bit1129
maven插件
                                    
    插件(plugin)和目标(goal) 
Maven，就其本质而言，是一个插件执行框架，Maven的每个目标的执行逻辑都是由插件来完成的，一个插件可以有1个或者几个目标，比如maven-compiler-plugin插件包含compile和testCompile，即maven-compiler-plugin提供了源代码编译和测试源代码编译的两个目标 
  
使用插件和目标使得我们可以干预
    
                                
    • 
                                
  • 【Hadoop八】Yarn的资源调度策略
                                    bit1129
hadoop
                                    
    1. Hadoop的三种调度策略 
Hadoop提供了3中作业调用的策略， 
 
 FIFO Scheduler 
 Fair Scheduler 
 Capacity Scheduler 
 
以上三种调度算法，在Hadoop MR1中就引入了，在Yarn中对它们进行了改进和完善.Fair和Capacity Scheduler用于多用户共享的资源调度 
  2. 多用户资源共享的调度 
    
                                
    • 
                                
  • Nginx使用Linux内存加速静态文件访问
                                    ronin47

                                    
    Nginx是一个非常出色的静态资源web服务器。如果你嫌它还不够快，可以把放在磁盘中的文件，映射到内存中，减少高并发下的磁盘IO。 
先做几个假设。nginx.conf中所配置站点的路径是/home/wwwroot/res，站点所对应文件原始存储路径：/opt/web/res 
shell脚本非常简单，思路就是拷贝资源文件到内存中，然后在把网站的静态文件链接指向到内存中即可。具体如下：      
    
                                
    • 
                                
  • 关于Unity3D中的Shader的知识
                                    brotherlamp
unityunity资料unity教程unity视频unity自学
                                    
    首先先解释下Unity3D的Shader，Unity里面的Shaders是使用一种叫ShaderLab的语言编写的，它同微软的FX文件或者NVIDIA的CgFX有些类似。传统意义上的vertex shader和pixel shader还是使用标准的Cg/HLSL 编程语言编写的。因此Unity文档里面的Shader，都是指用ShaderLab编写的代码，然后我们来看下Unity3D自带的60多个S
    
                                
    • 
                                
  • CopyOnWriteArrayList vs ArrayList
                                    bylijinnan
java
                                    
    package com.ljn.base;

import java.util.ArrayList;
import java.util.Iterator;
import java.util.List;
import java.util.concurrent.CopyOnWriteArrayList;

/**
 * 总述：
 * 1.ArrayListi不是线程安全的，CopyO
    
                                
    • 
                                
  • 内存中栈和堆的区别
                                    chicony
内存
                                    
      
1、内存分配方面： 
 
    堆：一般由程序员分配释放， 若程序员不释放，程序结束时可能由OS回收 。注意它与数据结构中的堆是两回事，分配方式是类似于链表。可能用到的关键字如下：new、malloc、delete、free等等。 
 
    栈：由编译器(Compiler)自动分配释放，存放函数的参数值，局部变量的值等。其操作方式类似于数据结构中
    
                                
    • 
                                
  • 回答一位网友对Scala的提问
                                    chenchao051
scalamap
                                    
    本来准备在私信里直接回复了，但是发现不太方便，就简要回答在这里。  问题 写道   对于scala的简洁十分佩服，但又觉得比较晦涩，例如一例，Map("a" -> List(11,111)).flatMap(_._2)，可否说下最后那个函数做了什么，真正在开发的时候也会如此简洁？谢谢  
   先回答一点，在实际使用中，Scala毫无疑问就是这么简单。
    
                                
    • 
                                
  • mysql 取每组前几条记录
                                    daizj
mysql分组最大值最小值每组三条记录
                                    
    一、对分组的记录取前N条记录：例如：取每组的前3条最大的记录    1.用子查询：   SELECT * FROM tableName a  WHERE 3>   (SELECT COUNT(*) FROM  tableName b WHERE b.id=a.id AND b.cnt>a. cnt)   ORDER BY a.id,a.account DE
    
                                
    • 
                                
  • HTTP深入浅出 http请求
                                    dcj3sjt126com
http
                                    
        HTTP(HyperText Transfer Protocol)是一套计算机通过网络进行通信的规则。计算机专家设计出HTTP，使HTTP客户（如Web浏览器）能够从HTTP服务器(Web服务器)请求信息和服务，HTTP目前协议的版本是1.1.HTTP是一种无状态的协议，无状态是指Web浏览器和Web服务器之间不需要建立持久的连接，这意味着当一个客户端向服务器端发出请求，然后We
    
                                
    • 
                                
  • 判断MySQL记录是否存在方法比较
                                    dcj3sjt126com
mysql
                                    
    把数据写入到数据库的时，常常会碰到先要检测要插入的记录是否存在，然后决定是否要写入。 
　　我这里总结了判断记录是否存在的常用方法： 
　　sql语句：  select   count ( * )  from  tablename;  
　　然后读取count(*)的值判断记录是否存在。对于这种方法性能上有些浪费，我们只是想判断记录记录是否存在，没有必要全部都查出来。
    
                                
    • 
                                
  • 对HTML XML的一点认识
                                    e200702084
htmlxml
                                    
    感谢http://www.w3school.com.cn提供的资料 
HTML 文档中的每个成分都是一个节点。 
节点 
根据 DOM，HTML 文档中的每个成分都是一个节点。 
 
DOM 是这样规定的： 
 
整个文档是一个文档节点 
每个 HTML 标签是一个元素节点 
包含在 HTML 元素中的文本是文本节点 
每一个 HTML 属性是一个属性节点 
注释属于注释节点 
Node 层次 

    
                                
    • 
                                
  • jquery分页插件
                                    genaiwei
jqueryWeb前端分页插件
                                    
    //jquery页码控件// 创建一个闭包    (function($) {      // 插件的定义      $.fn.pageTool = function(options) {          var totalPa
    
                                
    • 
                                
  • Mybatis与Ibatis对照入门于学习
                                    Josh_Persistence
mybatisibatis区别联系
                                    
    一、为什么使用IBatis/Mybatis 
        对于从事 Java EE 的开发人员来说，iBatis 是一个再熟悉不过的持久层框架了，在 Hibernate、JPA 这样的一站式对象 / 关系映射（O/R Mapping）解决方案盛行之前，iBaits 基本是持久层框架的不二选择。即使在持久层框架层出不穷的今天，iBatis 凭借着易学易用、
    
                                
    • 
                                
  • C中怎样合理决定使用那种整数类型？
                                    秋风扫落叶
c数据类型
                                    
    如果需要大数值(大于32767或小于32767), 使用long 型。 否则, 如果空间很重要 (如有大数组或很多结构), 使用 short 型。 除此之外, 就使用 int 型。 如果严格定义的溢出特征很重要而负值无关紧要, 或者你希望在操作二进制位和字节时避免符号扩展的问题, 请使用对应的无符号类型。 但是, 要注意在表达式中混用有符号和无符号值的情况。 
  
 &nbs
    
                                
    • 
                                
  • maven问题
                                    zhb8015
maven问题
                                    
      
问题1： 
Eclipse 中 新建maven项目 无法添加src/main/java 问题 
   eclipse创建maevn web项目，在选择maven_archetype_web原型后，默认只有src/main/resources这个Source Floder。 
    按照maven目录结构，添加src/main/ja
    
                                
    • 
                                
  • (二)androidpn-server tomcat版源码解析之--push消息处理
                                    spjich
javaandrodipn推送
                                    
    在 (一)androidpn-server tomcat版源码解析之--项目启动这篇中，已经描述了整个推送服务器的启动过程，并且把握到了消息的入口即XmppIoHandler这个类，今天我将继续往下分析下面的核心代码，主要分为3大块，链接创建，消息的发送，链接关闭。 
先贴一段XmppIoHandler的部分代码 
/**
     * Invoked from an I/O proc
    
                                
    • 
                                
  • 用js中的formData类型解决ajax提交表单时文件不能被serialize方法序列化的问题
                                    中华好儿孙
JavaScriptAjaxWeb上传文件FormData
                                    
    
var formData = new FormData($("#inputFileForm")[0]);
$.ajax({
		type:'post',
		url:webRoot+"/electronicContractUrl/webapp/uploadfile",
		data:formData,
		async: false,
		ca
    
                                
    • 
                                
  • mybatis常用jdbcType数据类型
                                    ysj5125094
mybatismapperjdbcType
                                    
      
MyBatis 通过包含的jdbcType
类型 
BIT         FLOAT      CHAR          
    
                                
    •