zzc1684
zzc1684

Hadoop学习笔记之（二）：实验Hadoop的文件块复制删除操作感受强大的容灾性

首先来了解一下HDFS的一些基本特性

HDFS设计基础与目标

  • 硬件错误是常态。因此需要冗余
  • 流式数据访问。即数据批量读取而非随机读写，Hadoop擅长做的是数据分析而不是事务处理
  • 大规模数据集
  • 简单一致性模型。为了降低系统复杂度，对文件采用一次性写多次读的逻辑设计，即是文件一经写入，关闭，就再也不能修改
  • 程序采用“数据就近”原则分配节点执行

HDFS体系结构

  • NameNode
  • DataNode
  • 事务日志
  • 映像文件
  • SecondaryNameNode

Namenode

  • 管理文件系统的命名空间
  • 记录每个文件数据块在各个Datanode上的位置和副本信息
  • 协调客户端对文件的访问
  • 记录命名空间内的改动或空间本身属性的改动
  • Namenode使用事务日志记录HDFS元数据的变化。使用映像文件存储文件系统的命名空间，包括文件映射，文件属性等

Datanode

  • 负责所在物理节点的存储管理
  • 一次写入，多次读取（不修改）
  • 文件由数据块组成，典型的块大小是64MB
  • 数据块尽量散布道各个节点

读取数据流程

  1. 客户端要访问HDFS中的一个文件
  2. 首先从namenode获得组成这个文件的数据块位置列表
  3. 根据列表知道存储数据块的datanode
  4. 访问datanode获取数据
  5. Namenode并不参与数据实际传输

HDFS的可靠性

  • 冗余副本策略
  • 机架策略
  • 心跳机制
  • 安全模式
  • 使用文件块的校验和 Checksum来检查文件的完整性
  • 回收站
  • 元数据保护
  • 快照机制

我分别试验了冗余副本策略/心跳机制/安全模式/回收站。下面实验是关于冗余副本策略的。

环境：

  • Namenode/Master/jobtracker: h1/192.168.221.130
  • SecondaryNameNode: h1s/192.168.221.131
  • 四个Datanode: h2~h4 (IP段:142~144)

为以防文件太小只有一个文件块(block/blk)，我们准备一个稍微大一点的（600M）的文件，使之能分散分布到几个datanode，再停掉其中一个看有没有问题。
先来put一个文件（为了方便起见，建议将hadoop/bin追加到$Path变量后
:hadoop fs –put ~/Documents/IMMAUSWX201304
结束后，我们想查看一下文件块的情况，可以去网页上看，也可以在namenode上使用fsck命令来检查一下，关于fsck命令
:bin/hadoop fsck /user/hadoop_admin/in/bigfile  -files -blocks -locations > ~/hadoopfiles/log1.txt
下面打印结果说明 个600M文件被划分为9个64M的blocks，并且被分散到我当前所有datanode上（共4个），看起来比较平均，

/user/hadoop_admin/in/bigfile/USWX201304 597639882 bytes, 9 block(s):  OK
0. blk_-4541681964616523124_1011 len=67108864 repl=3 [192.168.221.131:50010, 192.168.221.142:50010, 192.168.221.144:50010]
1. blk_4347039731705448097_1011 len=67108864 repl=3 [192.168.221.143:50010, 192.168.221.131:50010, 192.168.221.144:50010]
2. blk_-4962604929782655181_1011 len=67108864 repl=3 [192.168.221.142:50010, 192.168.221.143:50010, 192.168.221.144:50010]
3. blk_2055128947154747381_1011 len=67108864 repl=3 [192.168.221.143:50010, 192.168.221.142:50010, 192.168.221.144:50010]
4. blk_-2280734543774885595_1011 len=67108864 repl=3 [192.168.221.131:50010, 192.168.221.142:50010, 192.168.221.144:50010]
5. blk_6802612391555920071_1011 len=67108864 repl=3 [192.168.221.143:50010, 192.168.221.142:50010, 192.168.221.144:50010]
6. blk_1890624110923458654_1011 len=67108864 repl=3 [192.168.221.143:50010, 192.168.221.142:50010, 192.168.221.144:50010]
7. blk_226084029380457017_1011 len=67108864 repl=3 [192.168.221.143:50010, 192.168.221.131:50010, 192.168.221.144:50010]
8. blk_-1230960090596945446_1011 len=60768970 repl=3 [192.168.221.142:50010, 192.168.221.143:50010, 192.168.221.144:50010]

Status: HEALTHY
Total size:    597639882 B
Total dirs:    0
Total files:   1
Total blocks (validated):      9 (avg. block size 66404431 B)
Minimally replicated blocks:   9 (100.0 %)
Over-replicated blocks:        0 (0.0 %)
Under-replicated blocks:       0 (0.0 %)
Mis-replicated blocks:         0 (0.0 %)
Default replication factor:    3
Average block replication:     3.0
Corrupt blocks:                0
Missing replicas:              0 (0.0 %)
Number of data-nodes:          4
Number of racks:               1

h1s,h2,h3,h4 四个DD全部参与，跑去h2 (142),h3(143) stop datanode, 从h4上面get，发现居然能够get回，而且初步来看,size正确，看一下上图中黄底和绿底都DEAD了，每个blk都有源可以取回，所以GET后数 据仍然是完整的，从这点看hadoop确实是强大啊，load balancing也做得很不错，数据看上去很坚强，容错性做得不错

Hadoop学习笔记之（二）：实验Hadoop的文件块复制删除操作感受强大的容灾性_第1张图片

再检查一下，我本来想测试safemode的，结果隔一会一刷，本来有几个blk只有1个livenode的，现在又被全部复制为确保每个有2个了！

 

hadoop_admin@h1:~/hadoop-0.20.2$ hadoop fsck /user/hadoop_admin/in/bigfile  -files -blocks -locations
/user/hadoop_admin/in/bigfile/USWX201304 597639882 bytes, 9 block(s): 
Under replicated blk_-4541681964616523124_1011. Target Replicas is 3 but found 2 replica(s).
Under replicated blk_4347039731705448097_1011. Target Replicas is 3 but found 2 replica(s).
Under replicated blk_-4962604929782655181_1011. Target Replicas is 3 but found 2 replica(s).
Under replicated blk_2055128947154747381_1011. Target Replicas is 3 but found 2 replica(s).
Under replicated blk_-2280734543774885595_1011. Target Replicas is 3 but found 2 replica(s).
Under replicated blk_6802612391555920071_1011. Target Replicas is 3 but found 2 replica(s).
Under replicated blk_1890624110923458654_1011. Target Replicas is 3 but found 2 replica(s).
Under replicated blk_226084029380457017_1011. Target Replicas is 3 but found 2 replica(s).
Under replicated blk_-1230960090596945446_1011. Target Replicas is 3 but found 2 replica(s).
0. blk_-4541681964616523124_1011 len=67108864 repl=2 [192.168.221.131:50010, 192.168.221.144:50010]
1. blk_4347039731705448097_1011 len=67108864 repl=2 [192.168.221.144:50010, 192.168.221.131:50010]
2. blk_-4962604929782655181_1011 len=67108864 repl=2 [192.168.221.144:50010, 192.168.221.131:50010]
3. blk_2055128947154747381_1011 len=67108864 repl=2 [192.168.221.144:50010, 192.168.221.131:50010]
4. blk_-2280734543774885595_1011 len=67108864 repl=2 [192.168.221.131:50010, 192.168.221.144:50010]
5. blk_6802612391555920071_1011 len=67108864 repl=2 [192.168.221.144:50010, 192.168.221.131:50010]
6. blk_1890624110923458654_1011 len=67108864 repl=2 [192.168.221.144:50010, 192.168.221.131:50010]
7. blk_226084029380457017_1011 len=67108864 repl=2 [192.168.221.144:50010, 192.168.221.131:50010]
8. blk_-1230960090596945446_1011 len=60768970 repl=2 [192.168.221.144:50010, 192.168.221.131:50010]

我 决定再关一个datanode，结果等了好半天也没见namenode发现它死了，这是因为心跳机制，datanode每隔3秒会向namenode发送 heartbeat指令表明它的存活，但如果namenode很长时间（5~10分钟看设置）没有收到heartbeat即认为这个NODE死掉了，就会 做出BLOCK的复制操作，以保证有足够的replica来保证数据有足够的容灾/错性，现在再打印看看，发现因为只有一个live datanode，所以现在每个blk都有且只有一份

hadoop_admin@h1:~$ hadoop fsck /user/hadoop_admin/in/bigfile -files -blocks -locations
/user/hadoop_admin/in/bigfile/USWX201304 597639882 bytes, 9 block(s):  Under replicated blk_-4541681964616523124_1011. Target Replicas is 3 but found 1 replica(s).
Under replicated blk_4347039731705448097_1011. Target Replicas is 3 but found 1 replica(s).
Under replicated blk_-4962604929782655181_1011. Target Replicas is 3 but found 1 replica(s).
Under replicated blk_2055128947154747381_1011. Target Replicas is 3 but found 1 replica(s).
Under replicated blk_-2280734543774885595_1011. Target Replicas is 3 but found 1 replica(s).
Under replicated blk_6802612391555920071_1011. Target Replicas is 3 but found 1 replica(s).
Under replicated blk_1890624110923458654_1011. Target Replicas is 3 but found 1 replica(s).
Under replicated blk_226084029380457017_1011. Target Replicas is 3 but found 1 replica(s).
Under replicated blk_-1230960090596945446_1011. Target Replicas is 3 but found 1 replica(s).

我现在把其中一个BLK从这个仅存的Datanode中移走使之corrupt，我想实验，重启一个DATANODE后，会不会复员
hadoop_admin@h4:/hadoop_run/data/current$ mv blk_4347039731705448097_1011* ~/Documents/
然 后为了不必要等8分钟DN发block report，我手动修改了h4的dfs.blockreport.intervalMsec值为30000，stop datanode,再start (另外，你应该把hadoop/bin也加入到Path变量后面，这样你可以不带全路径执行hadoop命令，结果，检测它已被损坏
hadoop_admin@h1:~$ hadoop fsck /user/hadoop_admin/in/bigfile -files -blocks -locations

/user/hadoop_admin/in/bigfile/USWX201304 597639882 bytes, 9 block(s):  Under replicated blk_-4541681964616523124_1011. Target Replicas is 3 but found 1 replica(s).

/user/hadoop_admin/in/bigfile/USWX201304: CORRUPT block blk_4347039731705448097
Under replicated blk_-4962604929782655181_1011. Target Replicas is 3 but found 1 replica(s).
Under replicated blk_2055128947154747381_1011. Target Replicas is 3 but found 1 replica(s).
Under replicated blk_-2280734543774885595_1011. Target Replicas is 3 but found 1 replica(s).
Under replicated blk_6802612391555920071_1011. Target Replicas is 3 but found 1 replica(s).
Under replicated blk_1890624110923458654_1011. Target Replicas is 3 but found 1 replica(s).
Under replicated blk_226084029380457017_1011. Target Replicas is 3 but found 1 replica(s).
Under replicated blk_-1230960090596945446_1011. Target Replicas is 3 but found 1 replica(s).
MISSING 1 blocks of total size 67108864 B
0. blk_-4541681964616523124_1011 len=67108864 repl=1 [192.168.221.144:50010]
1. blk_4347039731705448097_1011 len=67108864 MISSING!
2. blk_-4962604929782655181_1011 len=67108864 repl=1 [192.168.221.144:50010]
3. blk_2055128947154747381_1011 len=67108864 repl=1 [192.168.221.144:50010]
4. blk_-2280734543774885595_1011 len=67108864 repl=1 [192.168.221.144:50010]
5. blk_6802612391555920071_1011 len=67108864 repl=1 [192.168.221.144:50010]
6. blk_1890624110923458654_1011 len=67108864 repl=1 [192.168.221.144:50010]
7. blk_226084029380457017_1011 len=67108864 repl=1 [192.168.221.144:50010]
8. blk_-1230960090596945446_1011 len=60768970 repl=1 [192.168.221.144:50010]

Status: CORRUPT
Total size:    597639882 B
Total dirs:    0
Total files:   1
Total blocks (validated):      9 (avg. block size 66404431 B)
   ********************************
   CORRUPT FILES:        1
   MISSING BLOCKS:       1
   MISSING SIZE:         67108864 B
   CORRUPT BLOCKS:       1
   ********************************
Minimally replicated blocks:   8 (88.888885 %)
Over-replicated blocks:        0 (0.0 %)
Under-replicated blocks:       8 (88.888885 %)
Mis-replicated blocks:         0 (0.0 %)
Default replication factor:    3
Average block replication:     0.8888889
Corrupt blocks:                1
Missing replicas:              16 (200.0 %)
Number of data-nodes:          1
Number of racks:               1


The filesystem under path '/user/hadoop_admin/in/bigfile' is CORRUPT

我现在启动一个DATANODE h1s（131），结果很快的在30秒之内，它就被hadoop原地满HP复活了，现在每个blk都有了两份replica
hadoop_admin@h1:~$ hadoop fsck /user/hadoop_admin/in/bigfile -files -blocks -locations
/user/hadoop_admin/in/bigfile/USWX201304 597639882 bytes, 9 block(s):  Under replicated blk_-4541681964616523124_1011. Target Replicas is 3 but found 2 replica(s).
Under replicated blk_4347039731705448097_1011. Target Replicas is 3 but found 2 replica(s).
Under replicated blk_-4962604929782655181_1011. Target Replicas is 3 but found 2 replica(s).
Under replicated blk_2055128947154747381_1011. Target Replicas is 3 but found 2 replica(s).
Under replicated blk_-2280734543774885595_1011. Target Replicas is 3 but found 2 replica(s).
Under replicated blk_6802612391555920071_1011. Target Replicas is 3 but found 2 replica(s).
Under replicated blk_1890624110923458654_1011. Target Replicas is 3 but found 2 replica(s).
Under replicated blk_226084029380457017_1011. Target Replicas is 3 but found 2 replica(s).
Under replicated blk_-1230960090596945446_1011. Target Replicas is 3 but found 2 replica(s).
0. blk_-4541681964616523124_1011 len=67108864 repl=2 [192.168.221.144:50010, 192.168.221.131:50010]
1. blk_4347039731705448097_1011 len=67108864 repl=2 [192.168.221.131:50010, 192.168.221.144:50010]
2. blk_-4962604929782655181_1011 len=67108864 repl=2 [192.168.221.144:50010, 192.168.221.131:50010]
3. blk_2055128947154747381_1011 len=67108864 repl=2 [192.168.221.144:50010, 192.168.221.131:50010]
4. blk_-2280734543774885595_1011 len=67108864 repl=2 [192.168.221.144:50010, 192.168.221.131:50010]
5. blk_6802612391555920071_1011 len=67108864 repl=2 [192.168.221.144:50010, 192.168.221.131:50010]
6. blk_1890624110923458654_1011 len=67108864 repl=2 [192.168.221.144:50010, 192.168.221.131:50010]
7. blk_226084029380457017_1011 len=67108864 repl=2 [192.168.221.144:50010, 192.168.221.131:50010]
8. blk_-1230960090596945446_1011 len=60768970 repl=2 [192.168.221.144:50010, 192.168.221.131:50010]

发现这个文件被从131成功复制回了144 (h4)。

结论：HADOOP容灾太坚挺了，我现在坚信不疑了！

另外有一个没有粘出来的提示就是，h4 datanode上有不少重新format遗留下来的badLinkBlock，在重新put同一个文件的时候，hadoop将那些老旧残留的block文件全部都删除了。这说明它是具有删除无效bad block的功能的。

实验简单来讲就是

1. put 一个600M文件，分散3个replica x 9个block 共18个blocks到4个datanode

2. 我关掉了两个datanode，使得大部分的block只在一个datanode上存在，但因为9个很分散，所以文件能正确取回（靠的是checksum来计算文件值）

3. hadoop namenode很迅速的复制了仅有一个replica的block使之成为 3 replica(2) but only found 2

4. 我再关掉一个datanode，结果发现每个datanode被很均衡的分配了block，这样即使只有一个datanode，也因为之前有确保2个replicas的比率，所以依然healthy

5. 我从这个仅存的datanode中删除一个blk，namenode report这个文件corrupt，（我其实一直很希望能进safemode，结果-safemode get一直是OFF）

6. 然后我启动另外一个datanode，30秒不到，这个missing的block被从这个新启动的datanode中迅速“扩展”为2个replicas

 

容灾性非常可靠，如果使用至少三个rack的话，数据会非常坚挺，对HADOOP信任值 level up!

愿一路奔跑不退缩，到目前一直从事.Net的B/S,C/S企业应用研发
分类: Hadoop/BigData

你可能感兴趣的:(Hadoop学习笔记之（二）：实验Hadoop的文件块复制删除操作感受强大的容灾性)

  • Dify 项目开源大模型应用开发平台 魔王阿卡纳兹 IT杂谈开源项目观察开源difLLM开发平台
    Dify是一款开源的大语言模型（LLM）应用开发平台，旨在简化生成式AI应用的创建、部署和持续优化流程。以下从多个维度对该项目进行详细介绍：一、项目定义与核心功能Dify的核心定位是结合后端即服务（BaaS）和LLMOps理念，为开发者提供从原型到生产的全生命周期支持。其核心功能包括：可视化工作流构建通过可视化画布（如ReactFlow）编排AI工作流，支持多步骤任务处理，例如文档解析、模型推理和
  • 【玩转google云】在 Google Cloud 和 AWS 之间创建高可用性 VPN 连接（二） Coder加油! 手把手教学玩转google云aws云计算devops客户网关虚拟网关
    目录1、安装AWSCLI2、配置AWSCLI3、AWS命令创建两个客户网关4、创建虚拟网关并将其挂接到您的VPC网络5、创建采用动态路由的VPN连接上一篇我们讲到了怎么在在GoogleCloud上创建高可用性VPN网关和路由器，这一篇我们将介绍怎么在AWS上面创建网关和VPN连接。AWS命令行界面(AWSCLI)是一种开源工具，允许您使用命令行操作AWS服务。您可以使用AWSCLI自动化任务、管理
  • 华为NAS真实测评！ ONETHING_CLOUD_2 华为科技NAS网络数据库
    外观：简约科技风，小身材大容量✨华为NAS整体设计走简约科技风，机身小巧精致，不管是放在书房书桌还是客厅电视柜旁，都超和谐，完美融入各种家居环境。它的材质质感超棒，摸起来很有档次。在存储方面，它的硬盘位设计很贴心，还有不错的可扩展性，能轻松满足咱不断增长的存储需求，这小身材藏着大能量！性能：高速读写，畅快体验从硬件配置来看，处理器性能强劲，搭配合理的内存，再加上高速网口，为高性能运行打下坚实基础。
  • [科普] EEPROM、NOR Flash、NAND Flash 是常用的非易失性存储器（断电后保留数据）(DS-R1生成) 兴趣使然_ 嵌入式硬件相关开发语言
    在电子系统中，EEPROM、NORFlash、NANDFlash是常用的非易失性存储器（断电后保留数据），但它们在性能、结构、用途上有显著差异。以下是核心对比：1.EEPROM（ElectricallyErasableProgrammableROM）写入方式支持按字节擦写，无需全片擦除即可修改单个字节数据。容量通常为几KB到几MB，适合存储少量数据（如设备配置参数、校准数据）。速度写入速度较慢（m
  • [科普] SRAM 和 PSRAM 易失性存储器（断电后数据丢失）(由DS-R1生成) 兴趣使然_ 嵌入式硬件相关fpga开发
    在易失性存储器（断电后数据丢失）中，SRAM和PSRAM是两种常见的高速存储方案，但它们的技术原理和应用场景有明显差异。以下是详细对比和扩展说明：1.SRAM（StaticRandom-AccessMemory）核心特性静态存储：通过6晶体管（6T）锁存结构存储数据，无需外部刷新电路，数据在通电时永久保持。速度：读写速度极快（纳秒级延迟），远高于DRAM或Flash，常见于高速缓存场景。功耗：静态
  • “平均工作电流 10mA / 24HRAVG” 的含义 (由DS-R1生成) 兴趣使然_ 嵌入式硬件相关ai
    “平均工作电流10mA/24HRAVG”的含义可解析如下：分解解释平均工作电流10mA指设备在正常工作状态下，平均消耗的电流为10毫安（mA）。这里的“平均”可能包含不同工作模式（如运行、待机、休眠）或周期性任务下的综合电流值。/24HRAVG“24HR”表示24小时（Hour），“AVG”表示平均（Average）。组合含义：按24小时为周期计算的平均电流，即设备在一天内的整体平均功耗为10mA
  • 【 ＜二＞ 丹方改良：Spring 时代的 JavaWeb】之 Spring MVC 的核心组件：DispatcherServlet 的工作原理 Foyo Designer springmvcjavaservletHandlerMappingViewResolver
    点击此处查看合集https://blog.csdn.net/foyodesigner/category_12907601.html?fromshare=blogcolumn&sharetype=blogcolumn&sharerId=12907601&sharerefer=PC&sharesource=FoyoDesigner&sharefrom=from_link一、DispatcherServ
  • 【脑洞小剧场】零帧起手创业小公司之 第一次技术分享会 Foyo Designer 技术职场小剧职场和发展程序人生学习方法改行学it程序员创富
    点击查看小剧场合集https://blog.csdn.net/foyodesigner/category_12896948.html阳光明媚的早晨，段萌儿怀揣着对新工作的无限憧憬，踏入了这家充满未知的小公司。然而，她万万没想到，第一天上班就迎来了一场“惊悚”之旅。阳光透过会议室的窗户，洒在摆满椅子的地板上，技术分享会的氛围既紧张又期待。今天，将是公司第一次正式的技术交流盛会，各路技术大牛摩拳擦掌，
  • 熔断和降级的区别，具体使用场景有哪些？ 蒂法就是我 springjava后端
    熔断与降级的核心区别在于触发条件和应用目标，具体差异及使用场景如下：一、核心区别对比维度熔断降级触发原因下游依赖服务故障（如超时、异常率过高）触发系统整体负载过高或流量洪峰管理目标层级框架级保护（无业务优先级区分）业务级调整（需区分核心/非核心功能）实现方式自动触发（如Hystrix断路器模式）手动配置或自动触发（需预设fallback逻辑）恢复机制自动探测依赖恢复后逐步放量（半开状态）需人工介入
  • 网络设备带内管理与带外管理：应用场景、区别及优缺点详解 网络小白不怕黑 网络科普网络网络管理网络科普
    目录引言什么是带内管理与带外管理？带内管理与带外管理的应用场景带内管理的应用场景带外管理的应用场景带内管理与带外管理的区别数据传输路径管理接口安全性可靠性带内管理与带外管理的优缺点带内管理的优缺点带外管理的优缺点如何选择带内管理与带外管理？总结1.引言在网络管理中，带内管理（In-BandManagement）和带外管理（Out-of-BandManagement）是两种常见的管理方式。它们分别适
  • AI推动地理信息系统（GIS）软件的创新发展与应用拓展 酥脆可口 facebook
    摘要地理信息系统（GIS）软件作为空间数据处理与分析的核心工具，在城市规划、资源管理、环境监测等领域发挥着关键作用。本文深入探讨人工智能（AI）如何推动GIS软件的创新发展，分析AI技术在提升空间数据分析能力、优化地图制图、拓展应用场景等方面的重要作用，剖析面临的挑战，并对未来发展趋势进行展望，旨在为GIS行业借助AI实现升级提供理论与实践参考。一、引言传统GIS软件主要依赖基于规则的分析方法和人
  • python实现一个通讯录，拥有添加联系人，删除联系人，修改联系人，查询联系人，查找通讯录，退出功能 新手懒羊哥 python开发语言
    print('-'*25)#输出25个横杠print('-'*25)print("欢迎使用通讯录")print("1.添加联系人")print("2.查看通讯录")print("3.删除联系人")print("4.修改联系人")print("5.查找联系人")print("6.退出")print('-'*25)list1=[0]*10all_user=[]whileTrue:choose=inpu
  • STM32单片机中APB1和APB2总线选择 新手懒羊哥 单片机stm32嵌入式硬件
    在STM32单片机中，APB1和APB2是两种不同的外设总线，它们的主要区别在于连接的外设类型和时钟频率。以下是使用APB1和APB2的时机：APB1（低速总线）：APB1的最高频率一般为36MHz或42MHz。适用于连接低速外设，如I2C、SPI、USART、USB、DAC、I/O端口、定时器等。如果外设的时序要求不是很严格，或者数据传输速率较低，适合使用APB1。APB2（高速总线）：APB2
  • 基于Python爬虫的商业新闻趋势分析：数据抓取与深度分析实战 Python爬虫项目 2025年爬虫实战项目python爬虫开发语言媒体游戏
    在信息化和数字化日益发展的今天，商业新闻成为了行业动向、市场变化、竞争格局等多方面信息的重要来源。对于企业和投资者来说，及时了解商业新闻不仅能帮助做出战略决策，还能洞察市场趋势和风险。在此背景下，商业新闻分析的需求日益增长。通过爬虫技术获取和分析商业新闻数据，不仅可以节省时间和成本，还能高效、精准地进行趋势预测与决策支持。本篇博客将详细介绍如何使用Python爬虫技术抓取商业新闻数据，并进行趋势分
  • 基于Python的金融领域AI训练数据抓取实战（完整技术解析） 海拥✘ python金融人工智能
    项目背景与需求分析场景描述为训练一个覆盖全球金融市场的多模态大语言模型（LLM），需实时采集以下数据：全球30+主要证券交易所（NYSE、NASDAQ、LSE、TSE等）的上市公司公告企业财报PDF文档及结构化数据社交媒体舆情数据（Twitter、StockTwits）新闻媒体分析（Reuters、Bloomberg）技术挑战地理封锁：部分交易所（如日本TSE）仅允许本国IP访问历史数据动态反爬：
  • Spring中的循环依赖问题是什么？ 上官美丽 javaidejavaspringboot
    在使用Spring框架进行开发时，可能会遇到一个比较棘手的问题，那就是循环依赖。说到循环依赖，很多人可能会感到有些困惑，难道这个问题真的有那么复杂吗？其实，理解循环依赖并不是很难。我们可以从Spring的依赖注入机制入手，看看循环依赖是如何产生的，以及如何解决这个问题，让项目运行得更加顺利。**什么是循环依赖呢？**简单来说，循环依赖就是在两个或多个Bean之间相互引用的情况。举个例子，假设有两个
  • 【AI论文】ReCamMaster：基于单视频的相机控制式生成渲染 东临碣石82 人工智能数码相机计算机视觉
    摘要：相机控制在基于文本或图像条件的视频生成任务中已得到积极研究。然而，尽管改变给定视频的相机轨迹在视频创作领域具有重要意义，但这一领域的研究仍显不足。由于需要保持多帧外观和动态同步的额外约束，这一任务颇具挑战性。为解决这一问题，我们提出了ReCamMaster，这是一个相机控制的生成式视频重渲染框架，能够在新的相机轨迹下重现输入视频中的动态场景。其核心创新在于通过一种简单而强大的视频条件机制，利
  • 解决 开发FFMPEG视频播放器右侧白色线问题 吃面不喝汤66 OBS二次开发ffmpeg音视频
    在开发基于Qt和FFmpeg的视频播放器时，我遇到一个常见但令人困惑的问题：在使用VideoWidget（继承自QOpenGLWidget）播放某些视频时，窗口右侧会出现一条白色线。这不仅影响视觉效果，还可能暴露潜在的渲染或缓冲区问题。本文将详细分析这一现象的成因，并提供经过验证的解决方案。问题现象在使用自定义的VideoDecoder和VideoWidget类播放视频时，大多数视频都能正常显示，
  • SvelteKit 最新中文文档教程（7）—— 构建和部署
    前言Svelte，一个语法简洁、入门容易，面向未来的前端框架。从Svelte诞生之初，就备受开发者的喜爱，根据统计，从2019年到2024年，连续6年一直是开发者最感兴趣的前端框架No.1：Svelte以其独特的编译时优化机制著称，具有轻量级、高性能、易上手等特性，非常适合构建轻量级Web项目。为了帮助大家学习Svelte，我同时搭建了Svelte最新的中文文档站点。如果需要进阶学习，也可以入手我
  • C++并发编程有什么最佳实践？ c++
    在C++并发编程中，遵循最佳实践可以显著提升代码的效率、可维护性和可扩展性。以下是一些关键的最佳实践：使用线程池管理线程线程池可以预先创建一组线程，并在需要时将任务分配给这些线程。这种方式减少了创建和销毁线程的开销，提高了程序性能。例如：cpp复制autopool=std::make_shared(std::thread::hardware_concurrency());pool->push(st
  • QT中日志的使用案例 || 自动创建、管理、保存QT日志数据 长安第一美人 qt开发语言c++嵌入式硬件
    目录1.quiwidget.cpp2.widget.cpp3.widget.h4.在需要记录日志的地方直接将信息插入即可1.释放`m_fileLog`和`m_textStream`1.1为什么要关闭和删除`m_fileLog`和`m_textStream`？1.2如果不这样做会有什么坏处？3.总结4.参考文章需求分析：想实现在qt代码中对软件运行过程中容易出现的问题进行记录，将电量异常分析日志与平
  • php 高性能，高并发，有哪些框架，扩展，推荐一下，或者技术的实现有哪些 行思理 运维LNMPLinuxphp开发语言
    以下是针对PHP高性能、高并发场景的框架、扩展及技术实现推荐，结合最新技术趋势和行业实践进行总结：一、高性能框架推荐1.C扩展类框架YAF(YetAnotherFramework)特点：由C语言编写，直接嵌入PHP内核，仅提供核心MVC功能，执行效率极高（RPS可达3000+），适合API网关、秒杀系统等场景213。适用场景：对性能要求极高但功能需求简单的项目，如百度、微博部分业务曾采用其修改版。
  • 甘特图：项目经理的时空魔方，解锁高效管理的秘密
    在1917年，机械工程师亨利·甘特发明了一张看似简单的条形图，却彻底改变了人类管理复杂工程的方式。如今，这张图表在波音787客机研发、北京冬奥会场馆建设中依然发挥着关键作用。甘特图不仅是进度条的可视化，更是项目管理的时空坐标系——它能将抽象的时间、资源和任务转化为具象的作战地图，让项目经理如同掌握时空魔方般操控项目进程。一、甘特图的四大降维打击优势时空折叠术：三维信息二维呈现时间维度：在特斯拉上海
  • 项目经理在推进项目时，职能线经理不配合怎么办？
    在矩阵型组织中，项目经理与职能线经理的博弈如同“双人舞”——前者关注项目目标，后者专注职能效率，两者的权力交叉地带往往成为冲突高发区。PMI报告显示，68%的项目延期与资源协调受阻直接相关，而职能经理的配合度是资源获取的核心变量。本文将从权力结构剖析、实战应对策略到长效机制建设，提供一套破解职能壁垒的系统化方案。一、职能博弈的三大底层逻辑资源争夺战职能经理的KPI聚焦部门资源利用率，与项目临时抽调
  • 项目经理的验收突围战：从风险预判到价值交付的破局之道
    在软件项目交付失败的统计中，近40%的问题集中爆发在验收环节。当某智慧城市项目在验收阶段遭遇23个功能点争议时，项目经理发现合同中的验收标准竟写着"系统运行稳定"这样的模糊表述——这个真实案例折射出验收管理的复杂性。项目经理需要构建从需求源头到价值交付的全周期验收防御体系。一、验收危机的三大引爆点与拆解策略需求迷雾：概念共识的断层某医疗AI项目开发时，客户口中的"智能分诊"被工程师理解为规则引擎，
  • UniApp 从Vue2升级为Vue3需要注意哪些方面 行思理 App开发uni-appvue.jsjavascriptVue3Vue2
    Vue官方已经发布了Vue3，Vue2不再维护，也在建议大家都迁移到Vue3，所以Vue2终会被淘汰。那么UniApp从Vue2升级为Vue3需要注意哪些方面：1、main.js下面请看创建应用实例Vue2与Vue3的不同：Vue2的写法：//之前-Vue2importVuefrom'vue'importAppfrom'./App'Vue.config.productionTip=false//v
  • 客户总是提出不合理的需求，如何破局？
    在项目管理中，“客户提出不合理需求”是项目经理最常遇到的挑战之一。这些需求可能超出合同范围、违背技术可行性、突破预算或时间限制，甚至逻辑上自相矛盾。但真正的困境往往不在于需求本身是否合理，而在于如何平衡客户期望与项目边界，将对抗转化为合作。本文将从需求本质剖析、结构化应对策略到高阶破局思维，提供一套系统化的解决方案。一、需求“不合理”的本质诊断表象与根源的错位冰山模型：客户表面需求（如“界面要更酷
  • dfs（二十二）78. 子集 曾几何时` #DFS深度优先算法数据结构
    78.子集给你一个整数数组nums，数组中的元素互不相同。返回该数组所有可能的（幂集）。解集不能包含重复的子集。你可以按任意顺序返回解集。示例1：输入：nums=[1,2,3]输出：[[],[1],[2],[1,2],[3],[1,3],[2,3],[1,2,3]]示例2：输入：nums=[0]输出：[[],[0]]提示：1>res;vectorpath;vector>subsets(vector
  • 【算法设计-链栈和链队列】链栈和链队列的实现 baimeng5720 算法设计
    1.链队列。利用带有头结点的单链表来实现链队列,插入和删除的复杂度都为o(1)代码：#include#includetypedefstructQnode{intdata;Qnode*next;}Qnode;typedefstructLinkQueue{Qnode*front;Qnode*rear;}LinkQueue;voidinitialize(LinkQueue*LinkQueue){Link
  • 链栈与链队列 aaaaaries 单链表队列链表
    链栈链栈的定义栈的链式存储结构链栈：即用链表实现栈存储结构栈顶：允许插入和删除的一端（top）栈底：不同于栈顶的另外一端（bottom）空栈：不含任何元素的栈链栈实际上就是一个只能采用头插法插入或删除数据的链表//链栈表示structlink{intdata;structlink*next;};//链栈初始化voidinitstack(structlink*top){top=(structlink
  • VMware Workstation 11 或者 VMware Player 7安装MAC OS X 10.10 Yosemite iwindyforest vmwaremac os10.10workstationplayer
    最近尝试了下VMware下安装MacOS 系统， 安装过程中发现网上可供参考的文章都是VMware Workstation 10以下， MacOS X 10.9以下的文章， 只能提供大概的思路， 但是实际安装起来由于版本问题， 走了不少弯路， 所以我尝试写以下总结， 希望能给有兴趣安装OSX的人提供一点帮助。     写在前面的话： 其实安装好后发现， 由于我的th
  • 关于《基于模型驱动的B/S在线开发平台》源代码开源的疑虑？ deathwknight JavaScriptjava框架
    本人从学习Java开发到现在已有10年整，从一个要自学 java买成javascript的小菜鸟，成长为只会java和javascript语言的老菜鸟（个人邮箱：[email protected]） 一路走来，跌跌撞撞。用自己的三年多业余时间，瞎搞一个小东西（基于模型驱动的B/S在线开发平台，非MVC框架、非代码生成）。希望与大家一起分享，同时有许些疑虑，希望有人可以交流下 平台
  • 如何把maven项目转成web项目 Kai_Ge mavenMyEclipse
    创建Web工程，使用eclipse ee创建maven web工程 1.右键项目,选择Project Facets,点击Convert to faceted from 2.更改Dynamic Web Module的Version为2.5.(3.0为Java7的,Tomcat6不支持). 如果提示错误,可能需要在Java Compiler设置Compiler compl
  • 主管？？？ Array_06 工作
    转载：http://www.blogjava.net/fastzch/archive/2010/11/25/339054.html 很久以前跟同事参加的培训，同事整理得很详细，必须得转！ 前段时间，公司有组织中高阶主管及其培养干部进行了为期三天的管理训练培训。三天的课程下来，虽然内容较多，因对老师三天来的课程内容深有感触，故借着整理学习心得的机会，将三天来的培训课程做了一个
  • python内置函数大全 2002wmj python
    最近一直在看python的document，打算在基础方面重点看一下python的keyword、Build-in Function、Build-in Constants、Build-in Types、Build-in Exception这四个方面，其实在看的时候发现整个《The Python Standard Library》章节都是很不错的，其中描述了很多不错的主题。先把Build-in Fu
  • JSP页面通过JQUERY合并行 357029540 JavaScriptjquery
    在写程序的过程中我们难免会遇到在页面上合并单元行的情况，如图所示 如果对于会的同学可能很简单，但是对没有思路的同学来说还是比较麻烦的，提供一下用JQUERY实现的参考代码 function mergeCell(){         var trs = $("#table tr"); &nb
  • Java基础 冰天百华 java基础
    学习函数式编程 package base; import java.text.DecimalFormat; public class Main { public static void main(String[] args) { // Integer a = 4; // Double aa = (double)a / 100000; // Decimal
  • unix时间戳相互转换 adminjun 转换unix时间戳
    如何在不同编程语言中获取现在的Unix时间戳(Unix timestamp)？ Java time JavaScript Math.round(new Date().getTime()/1000) getTime()返回数值的单位是毫秒 Microsoft .NET / C# epoch = (DateTime.Now.ToUniversalTime().Ticks - 62135
  • 作为一个合格程序员该做的事 aijuans 程序员
    作为一个合格程序员每天该做的事 1、总结自己一天任务的完成情况 最好的方式是写工作日志，把自己今天完成了什么事情，遇见了什么问题都记录下来，日后翻看好处多多 2、考虑自己明天应该做的主要工作 把明天要做的事情列出来，并按照优先级排列，第二天应该把自己效率最高的时间分配给最重要的工作 3、考虑自己一天工作中失误的地方，并想出避免下一次再犯的方法 出错不要紧，最重
  • 由html5视频播放引发的总结 ayaoxinchao html5视频video
    前言   项目中存在视频播放的功能，前期设计是以flash播放器播放视频的。但是现在由于需要兼容苹果的设备，必须采用html5的方式来播放视频。我就出于兴趣对html5播放视频做了简单的了解，不了解不知道，水真是很深。本文所记录的知识一些浅尝辄止的知识，说起来很惭愧。   视频结构   本该直接介绍html5的<video>的，但鉴于本人对视频
  • 解决httpclient访问自签名https报javax.net.ssl.SSLHandshakeException: sun.security.validat bewithme httpclient
         如果你构建了一个https协议的站点，而此站点的安全证书并不是合法的第三方证书颁发机构所签发，那么你用httpclient去访问此站点会报如下错误   javax.net.ssl.SSLHandshakeException: sun.security.validator.ValidatorException: PKIX path bu
  • Jedis连接池的入门级使用 bijian1013 redisredis数据库jedis
    Jedis连接池操作步骤如下：         a.获取Jedis实例需要从JedisPool中获取；         b.用完Jedis实例需要返还给JedisPool；         c.如果Jedis在使用过程中出错，则也需要还给JedisPool； packag
  • 变与不变 bingyingao 不变变亲情永恒
    变与不变    周末骑车转到了五年前租住的小区，曾经最爱吃的西北面馆、江西水饺、手工拉面早已不在，    各种店铺都换了好几茬，这些是变的。    三年前还很流行的一款手机在今天看起来已经落后的不像样子。    三年前还运行的好好的一家公司，今天也已经不复存在。    一座座高楼拔地而起，
  • 【Scala十】Scala核心四：集合框架之List bit1129 scala
    Spark的RDD作为一个分布式不可变的数据集合，它提供的转换操作，很多是借鉴于Scala的集合框架提供的一些函数，因此，有必要对Scala的集合进行详细的了解   1. 泛型集合都是协变的，对于List而言，如果B是A的子类，那么List[B]也是List[A]的子类，即可以把List[B]的实例赋值给List[A]变量   2. 给变量赋值(注意val关键字，a，b
  • Nested Functions in C bookjovi cclosure
      Nested Functions 又称closure，属于functional language中的概念，一直以为C中是不支持closure的，现在看来我错了，不过C标准中是不支持的，而GCC支持。   既然GCC支持了closure，那么 lexical scoping自然也支持了，同时在C中label也是可以在nested functions中自由跳转的
  • Java-Collections Framework学习与总结-WeakHashMap BrokenDreams Collections
            总结这个类之前，首先看一下Java引用的相关知识。Java的引用分为四种：强引用、软引用、弱引用和虚引用。         强引用：就是常见的代码中的引用，如Object o = new Object();存在强引用的对象不会被垃圾收集
  • 读《研磨设计模式》-代码笔记-解释器模式-Interpret bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ package design.pattern; /* * 解释器（Interpreter）模式的意图是可以按照自己定义的组合规则集合来组合可执行对象 * * 代码示例实现XML里面1.读取单个元素的值 2.读取单个属性的值 * 多
  • After Effects操作&快捷键 cherishLC After Effects
    1、快捷键官方文档 中文版：https://helpx.adobe.com/cn/after-effects/using/keyboard-shortcuts-reference.html 英文版：https://helpx.adobe.com/after-effects/using/keyboard-shortcuts-reference.html 2、常用快捷键
  • Maven 常用命令 crabdave maven
    Maven 常用命令   mvn archetype:generate mvn install mvn clean mvn clean complie mvn clean test mvn clean install mvn clean package mvn test mvn package mvn site   mvn dependency:res
  • shell bad substitution daizj shell脚本
    #!/bin/sh /data/script/common/run_cmd.exp 192.168.13.168 "impala-shell -islave4 -q 'insert OVERWRITE table imeis.${tableName} select ${selectFields}, ds, fnv_hash(concat(cast(ds as string), im
  • Java SE 第二讲（原生数据类型 Primitive Data Type） dcj3sjt126com java
    Java SE  第二讲： 1.   Windows: notepad, editplus, ultraedit, gvim Linux: vi, vim, gedit 2.   Java 中的数据类型分为两大类： 1）原生数据类型  （Primitive Data Type） 2）引用类型（对象类型）  （R
  • CGridView中实现批量删除 dcj3sjt126com PHPyii
    1，CGridView中的columns添加 array( 'selectableRows' => 2, 'footer' => '<button type="button" onclick="GetCheckbox();" style=&
  • Java中泛型的各种使用 dyy_gusi java泛型
    Java中的泛型的使用：1.普通的泛型使用 在使用类的时候后面的<>中的类型就是我们确定的类型。 public class MyClass1<T> {//此处定义的泛型是T private T var; public T getVar() { return var; } public void setVa
  • Web开发技术十年发展历程 gcq511120594 Web浏览器数据挖掘
    回顾web开发技术这十年发展历程： Ajax 03年的时候我上六年级，那时候网吧刚在小县城的角落萌生。传奇，大话西游第一代网游一时风靡。我抱着试一试的心态给了网吧老板两块钱想申请个号玩玩，然后接下来的一个小时我一直在，注，册，账，号。 彼时网吧用的512k的带宽，注册的时候，填了一堆信息，提交，页面跳转，嘣，”您填写的信息有误，请重填”。然后跳转回注册页面，以此循环。我现在时常想，如果当时a
  • openSession()与getCurrentSession()区别： hetongfei javaDAOHibernate
    来自 http://blog.csdn.net/dy511/article/details/6166134 1.getCurrentSession创建的session会和绑定到当前线程,而openSession不会。 2. getCurrentSession创建的线程会在事务回滚或事物提交后自动关闭,而openSession必须手动关闭。 这里getCurrentSession本地事务(本地
  • 第一章 安装Nginx+Lua开发环境 jinnianshilongnian nginxluaopenresty
    首先我们选择使用OpenResty，其是由Nginx核心加很多第三方模块组成，其最大的亮点是默认集成了Lua开发环境，使得Nginx可以作为一个Web Server使用。借助于Nginx的事件驱动模型和非阻塞IO，可以实现高性能的Web应用程序。而且OpenResty提供了大量组件如Mysql、Redis、Memcached等等，使在Nginx上开发Web应用更方便更简单。目前在京东如实时价格、秒
  • HSQLDB In-Process方式访问内存数据库 liyonghui160com
        HSQLDB一大特色就是能够在内存中建立数据库，当然它也能将这些内存数据库保存到文件中以便实现真正的持久化。   先睹为快！   下面是一个In-Process方式访问内存数据库的代码示例：     下面代码需要引入hsqldb.jar包 （hsqldb-2.2.8）   import java.s
  • Java线程的5个使用技巧 pda158 java数据结构
    Java线程有哪些不太为人所知的技巧与用法？ 　　萝卜白菜各有所爱。像我就喜欢Java。学无止境，这也是我喜欢它的一个原因。日常 工作中你所用到的工具，通常都有些你从来没有了解过的东西，比方说某个方法或者是一些有趣的用法。比如说线程。没错，就是线程。或者确切说是Thread这个类。当我们在构建高可扩展性系统的时候，通常会面临各种各样的并发编程的问题，不过我们现在所要讲的可能会略有不同。
  • 开发资源大整合：编程语言篇——JavaScript（1） shoothao JavaScript
    概述：本系列的资源整合来自于github中各个领域的大牛，来收藏你感兴趣的东西吧。     程序包管理器   管理javascript库并提供对这些库的快速使用与打包的服务。 Bower - 用于web的程序包管理。 component - 用于客户端的程序包管理，构建更好的web应用程序。 spm - 全新的静态的文件包管
  • 避免使用终结函数 vahoa.ma javajvmC++
    终结函数（finalizer）通常是不可预测的，常常也是很危险的，一般情况下不是必要的。使用终结函数会导致不稳定的行为、更差的性能，以及带来移植性问题。不要把终结函数当做C++中的析构函数（destructors）的对应物。       我自己总结了一下这一条的综合性结论是这样的： 1）在涉及使用资源，使用完毕后要释放资源的情形下，首先要用一个显示的方
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他