冰露可乐
冰露可乐

大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI

大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI

2022找工作是学历、能力和运气的超强结合体，遇到寒冬，大厂不招人，可能很多算法学生都得去找开发，测开
测开的话，你就得学数据库，sql，oracle，尤其sql要学，当然，像很多金融企业、安全机构啥的，他们必须要用oracle数据库
这oracle比sql安全，强大多了，所以你需要学习，最重要的，你要是考网络警察公务员，这玩意你不会就别去报名了，耽误时间！
与此同时，既然要考网警之数据分析应用岗，那必然要考数据挖掘基础知识，今天开始咱们就对数据挖掘方面的东西好生讲讲 最最最重要的就是大数据，什么行测和面试都是小问题，最难最最重要的就是大数据技术相关的知识笔试

文章目录

  • 大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI
    • @[TOC](文章目录)
  • 大数据：分布式资源调度框架YARN
  • yarn的架构，核心架构和辅助架构
  • yarn的辅助架构
  • MapReduce和yarn部署
  • MapReduce和yarn初体验
  • 提交MapReduce任务去yarn执行
  • 蒙特卡洛算法求pi
  • 总结

大数据：分布式资源调度框架YARN

大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第1张图片
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第2张图片
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第3张图片
yarn管理资源和调度
在调度过程中可以实现MapReduce

大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第4张图片
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第5张图片
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第6张图片
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第7张图片
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第8张图片
学校几万人，有教室就可以管了
调度就好办了
有效运行
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第9张图片
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第10张图片
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第11张图片

大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第12张图片
集群中最好
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第13张图片
集群大管家

大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第14张图片
分配资源，分散计算，汇总都靠yarn监管，分配

大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第15张图片
申请
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第16张图片
yarn可以调度资源
剩下的别人用
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第17张图片
三大组件，基本就OK了

存储，计算，资源调度。

yarn的架构，核心架构和辅助架构

大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第18张图片
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第19张图片
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第20张图片
一个存储，一个资源调度
各是各的
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第21张图片
跟工厂一样
总的董事长resourcemanager

各个厂长nodemanager

大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第22张图片
懂事长总体安排
剩下的厂长各自安排即可

客户只需要问resourcemanager要资源即可
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第23张图片
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第24张图片
container容器
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第25张图片
集装箱，一个个箱子
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第26张图片去找集装箱就行
你不能多装
只能装这么多
RM关了一堆NM
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第27张图片
还是主从管理结构
老大管整体
老二管单机

yarn的辅助架构

大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第28张图片
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第29张图片
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第30张图片
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第31张图片
辅助提高安全性
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第32张图片
给yarn提供安全保障就行

历史，记录
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第33张图片
感觉就是辅助干活
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第34张图片

隔离资源
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第35张图片
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第36张图片
干脆整一个统一记录日志的服务器
美滋滋
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第37张图片
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第38张图片
统一收集日志
美滋滋
舒服

这就是辅助架构
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第39张图片
主从角色
辅助角色
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第40张图片

MapReduce和yarn部署

大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第41张图片
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第42张图片
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第43张图片
部署，就是要启动主从辅助节点

MapReduce运行在yarn上的
不需要启动进程，只需要修改配置哦

大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第44张图片
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第45张图片
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第46张图片
为啥给node1上配置那么多内存
它承担的东西很多

大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第47张图片
各种配置MapReduce即可
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第48张图片
yarn也要配置各种环境
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第49张图片
配置resourcemanager和nodemanager
本地日志
历史服务器端口日志
代理服务器，安全
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第50张图片
三台服务器都这样玩
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第51张图片
hdfs那边也是这么玩的
yarn也是这么玩
–daemon

mapred是历史服务器的启动
骚
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第52张图片
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第53张图片

hdfs是9870端口
8088是yarn集群的监控界面
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第54张图片
init 0关机
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第55张图片
MapReduce不需要单独启动进程哦

MapReduce和yarn初体验

大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第56张图片
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第57张图片
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第58张图片
主从，辅助中的代理服务器
历史服务器需要单独启动
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第59张图片
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第60张图片

提交MapReduce任务去yarn执行

大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第61张图片
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第62张图片
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第63张图片
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第64张图片
hive用的就是MapReduce

不需要写代码
spark和flink需要写代码
性能快
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第65张图片
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第66张图片
jar代表运行程序
程序代码在jar中
java类是我们要用程序中的wordcount类
输入文件
输出结果要不存在wc文件夹

大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第67张图片
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第68张图片
结果
美滋滋

大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第69张图片
工作历史服务器
记录历史

大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第70张图片
map个数
样本数量
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第71张图片
求pi
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第72张图片

蒙特卡洛算法求pi

大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第73张图片
圆周率是一个比例，算的就是整个正方形的面积，乘比例
牛逼 了
大数据：分布式资源调度框架YARN，核心架构，主从结构，辅助结构，yarn和MapReduce部署与配置，蒙特卡罗法求圆周率PI_第74张图片
在半圆内就是距离小于1就是内部
落到半圆内的点个数统计一波
就是圆周率/4

最后easy求出来了pi

总结

提示：重要经验：

1）
2）学好oracle，即使经济寒冬，整个测开offer绝对不是问题！同时也是你考公网络警察的必经之路。
3）笔试求AC，可以不考虑空间复杂度，但是面试既要考虑时间复杂度最优，也要考虑空间复杂度最优。

你可能感兴趣的:(数据挖掘,大数据,hadoop,yarn,蒙特卡罗法求pi,mapreduce)

  • Java 大视界 -- Java 大数据机器学习模型在金融市场情绪指数构建与投资决策支持中的应用（339） 青云交 大数据新视界Java大视界java大数据机器学习金融情绪指数投资决策量化策略情绪分析
    Java大视界--Java大数据机器学习模型在金融市场情绪指数构建与投资决策支持中的应用（339）引言：正文：一、Java构建的金融市场情绪数据采集与预处理体系1.1多源异构数据接入引擎1.2数据采集延迟测试报告1.3情绪数据预处理管道二、Java驱动的金融市场情绪指数构建模型2.1多维度情绪指数计算框架2.2情绪指数与投资决策的映射模型三、Java在金融投资决策支持中的实战应用3.1量化私募情绪
  • 高通平台camera构架sensor驱动详解 a55662551 androidcamera驱动v4l2
    1.Sensor驱动的基本概念与流程Sensor驱动的作用：Sensor驱动是Camera硬件与CamX框架之间的桥梁，负责控制Sensor的启动、数据采集、寄存器配置以及与图像处理单元（如IFE、BPS）的交互。通俗理解：就像工厂的“原料采集工”，负责从摄像头传感器（如CMOS）获取原始图像数据，并将数据传递到流水线（Pipeline）中进行加工。数据流关键步骤：Sensor初始化：配置电源、时
  • 解决Python爬虫访问HTTPS资源时Cookie超时问题
    一、问题背景：Cookie15秒就失效了？很多互联网图片站为了防止盗链，会把图片地址放在HTTPS接口里，并且给访问者下发一个带Path=/的Cookie，有效期极短（15s～60s）。常规Requests脚本在下载第二张图时就会401或403。本文以某壁纸站https://example-pics.com为例，演示如何：自动化获取并刷新Cookie；在下载高并发图片时维持Cookie活性；把方案
  • pytorch——cpu版本安装，anaconda及清华源镜像相关 龙鹰图腾223
    cpu版本的安装1）准备工作：清华源下载所需版本的离线安装包https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/2）anacondaprompt安装d:进入d盘，cd/XX/XX/XX进入目标目录（安装包放的位置）然后condainstallXXXX.tar.bz2(注意：.bz2的后缀如果不加上会影响安装)方法2：直接用pip用
  • 解决GitHub的raw.githubusercontent.com无法连接问题 ERIC_s
    https://site.ip138.com/raw.Githubusercontent.com/输入raw.githubusercontent.com查询IP地址修改hostsUbuntu，CentOS及macOS直接在终端输入sudovi/etc/hosts添加以下内容保存即可（IP地址查询后相应修改，可以ping不同IP的延时选择最佳IP地址）GitHubStart52.74.223.119
  • Day3 看清自己，看清未来 沐以寒
    原来自己是过于追求内心的宁静，但往往求而不得。很多时候，很多事情都是不能如愿以偿的。就像北方的银杏叶会掉，风沙会吹来雾霾，蓝天被掩盖，而你在这样的环境里瑟瑟发抖。不期望明天吗？怎么会？只是想要在未来到来之前，再喝一碗暖暖的汤，品尝一点快乐，就像是得到了最大的鼓励，也能在寒冬里渐渐自我鼓励，踽踽独行。生活难吗？不难。看清自己想要的是什么，为自己而活，不为过去和现在后悔，不为未来惆怅，最好的开始，就是
  • 新增AI Copilot，DataEase开源数据可视化分析工具v2.9.0发布 FIT2CLOUD飞致云 开源数据可视化DataEaseAICopilot嵌入式
    2024年8月5日，人人可用的开源数据可视化分析工具DataEase正式发布v2.9.0版本。这一版本的功能变动包括：导航栏新增Copilot入口，借助AI技术，通过自然语言交互实现即问即答，让数据分析更加直观和便捷；图表方面，对有图例的图表支持序列颜色设置，并对地图、表格等图表类型进行功能增强和优化；仪表板和数据大屏方面，新增应用导出/导入功能，仪表板和数据大屏中可以支持富文本和跑马灯组件刷新，
  • 封装---统一处理接口与打印错误信息 寻觅~流光 封装工具前端javascript开发语言typescript
    一.简介我在重构代码时突然想到一个想法并实现出来:封装一个统一处理接口与打印错误信息,控制显示错误信息在控制台,接口请求时loading效果展示等等这个只是个人想法,而且比较简略,不太清楚实际工作是否这样写,但是我认为只要有这个想法就要去实现,总比没实现好,欢迎大家的建议与指导介绍我在项目中如何封装一个统一的API请求函数，解决每个接口都要写try...catch的繁琐问题，并实现自动错误日志、t
  • Spring MVC中@PathVariable的用法详解
    @PathVariable是SpringMVC框架中的一个注解，主要用于从请求URI的模板变量中提取值，并将其绑定到控制器方法的参数上。它是构建RESTfulWeb服务和动态URL的关键工具。核心作用与工作原理定义URI模板：在控制器方法的@RequestMapping(或其变体如@GetMapping,@PostMapping等)注解中，使用花括号{}定义占位符。@GetMapping("/us
  • mac mlx大模型框架的安装和使用 liliangcsdn pythonjava前端人工智能macos
    mlx是apple平台的大模型推理框架，对macm1系列处理器支持较好。这里记录mlx安装和运行示例。1安装mlx框架condacreate-nmlxpython=3.12condaactivatemlxpipinstallmlx-lm2运行mlx测试例以下是测试程序，使用方法和hf、vllm等推理框架基本一致。importosos.environ['HF_ENDPOINT']="https://
  • Flask框架入门：快速搭建轻量级Python网页应用 「已注销」 python-AIpython基础网站网络pythonflask后端
    转载：Flask框架入门：快速搭建轻量级Python网页应用1.Flask基础Flask是一个使用Python编写的轻量级Web应用框架。它的设计目标是让Web开发变得快速简单，同时保持应用的灵活性。Flask依赖于两个外部库：Werkzeug和Jinja2，Werkzeug作为WSGI工具包处理Web服务的底层细节，Jinja2作为模板引擎渲染模板。安装Flask非常简单，可以使用pip安装命令
  • Guava LoadingCache sqyaa. java并发编程Java知识jvm缓存guava
    LoadingCache是GoogleGuava库提供的一个高级缓存实现，它通过自动加载机制简化了缓存使用模式。核心特性自动加载机制当缓存未命中时，自动调用指定的CacheLoader加载数据线程安全：并发请求下，相同key只会加载一次灵活的过期策略支持基于写入时间(expireAfterWrite)和访问时间(expireAfterAccess)的过期可设置最大缓存大小，基于LRU策略淘汰丰富的
  • python_虚拟环境 阿_焦 python
    第一、配置虚拟环境：virtualenv（1）pipvirtualenv>安装虚拟环境包（2）pipinstallvirtualenvwrapper-win>安装虚拟环境依赖包（3）c盘创建虚拟目录>C:\virtualenv>配置环境变量【了解一下】：（1）如何使用virtualenv创建虚拟环境a、cd到C:\virtualenv目录下：b、mkvirtualenvname>创建虚拟环境nam
  • 精通Canvas：15款时钟特效代码实现指南 烟幕缭绕
    本文还有配套的精品资源，点击获取简介：HTML5的Canvas是一个用于绘制矢量图形的API，通过JavaScript实现动态效果。本项目集合了15种不同的时钟特效代码，帮助开发者通过学习绘制圆形、线条、时间更新、旋转、颜色样式设置及动画效果等概念，深化对Canvas的理解和应用。项目中的CSS文件负责时钟的样式设定，而JS文件则包含实现各种特效的逻辑，通过不同的函数或类处理时间更新和动画绘制，提
  • docker-compose方式搭建lnmp环境——筑梦之路 筑梦之路 linux系统运维国产化dockerandroidadb
    docker-compose.yml文件#生成docker-compose.ymlcat>docker-compose.ymlnginx/conf.d/default.conf">www/index.phpecho"开始启动服务..."docker-composeup-d#获取本机ipip_addr=$(hostname-I|awk'{print$1}')echo"部署完成！"echo"访问测试页
  • 《分片终章的哈希裂痕：藏在数据拼接里的隐形逻辑》 前端
    在大文件分片传输里，有一个令人费解的现象：当所有分片的校验都显示正常，拼接后的整体文件却与源文件的哈希值不符，而问题往往精准地指向最后一片。这并非偶然的技术故障，而是数据传输链条中多重隐形逻辑交织的必然结果，如同钟表的齿轮在最后一圈突然出现难以察觉的错位。文件被切割成固定大小的分片时，最后一片往往是规则的例外。它如同拼图中形状特异的收尾piece，尺寸可能小于其他分片，却承担着衔接整体的关键作用。
  • Cesium加载各类数据总结 zhu_zhu_xia cesiumJavaScriptjavascript
    接触到的加载数据类型：源地图、shp、Geojson、png、wms、地形底图一.Cesium加载各类底图#此类加载的本质在于newCesium.ImageryProvider()Apidefination：“Providesimagerytobedisplayedonthesurfaceofanellipsoid.Thistypedescribesaninterfaceandisnotinten
  • Python多版本管理与pip升级全攻略：解决冲突与高效实践 码界奇点 Pythonpythonpip开发语言python3.11源代码管理虚拟现实依赖倒置原则
    引言Python作为最流行的编程语言之一，其版本迭代速度与生态碎片化给开发者带来了巨大挑战。据统计，超过60%的Python开发者需要同时维护基于Python3.6+和Python2.7的项目。本文将系统解决以下核心痛点：如何安全地在同一台机器上管理多个Python版本pip依赖冲突的根治方案符合PEP标准的生产环境最佳实践第一部分：Python多版本管理核心方案1.1系统级多版本共存方案Wind
  • OpenWebUI(12)源码学习-后端constants.py常量定义文件 青苔猿猿 AI大模型openwebuiconstants常量定义
    目录文件名：`constants.py`功能概述：主要功能点详解1.**MESSAGES枚举类**2.**WEBHOOK_MESSAGES枚举类**3.**ERROR_MESSAGES枚举类**✅默认错误模板✅认证与用户相关错误✅资源冲突与重复错误✅验证失败类错误✅权限限制类错误✅文件上传与格式错误✅模型与API错误✅请求频率与安全限制✅数据库与配置错误4.**TASKS枚举类**✅总结实际应用场
  • 基于Python的健身数据分析工具的搭建流程day1 weixin_45677320 python开发语言数据挖掘爬虫
    基于Python的健身数据分析工具的搭建流程分数据挖掘、数据存储和数据分析三个步骤。本文主要介绍利用Python实现健身数据分析工具的数据挖掘部分。第一步：加载库加载本文需要的库，如下代码所示。若库未安装，请按照python如何安装各种库（保姆级教程）_python安装库-CSDN博客https://blog.csdn.net/aobulaien001/article/details/133298
  • ssrf漏洞复现 ξ流ぁ星ぷ132 安全
    目录基础环境查看phpinfo发现线索探测端口+gopher协议基础环境这里发现一些基础协议呗过滤掉了。但是有个提示的info，于是先看看查看phpinfo发现线索发现这台主机的地址了，于是猜测这个网段应该还有其他主机，试了一下172.21.0.1:80172.21.0.3:80果然如下（0.1是陷阱就不浪费时间了，）探测端口+gopher协议然后对这个172.21.0.3这个主机探测端口发现63
  • rocketmq的重试队列和死信队列 还不够 MQ
    原文：https://www.jianshu.com/p/1281f7fee69c消费端，一直不回传消费的结果。rocketmq认为消息没收到，consumer下一次拉取，broker依然会发送该消息。所以，任何异常都要捕获返回ConsumeConcurrentlyStatus.RECONSUME_LATERrocketmq会放到重试队列。这个重试TOPIC的名字是%RETRY%+consumer
  • 数字孪生技术为UI前端注入新活力：实现产品设计的沉浸式体验 ui设计前端开发老司机 ui
    hello宝子们...我们是艾斯视觉擅长ui设计、前端开发、数字孪生、大数据、三维建模、三维动画10年+经验!希望我的分享能帮助到您!如需帮助可以评论关注私信我们一起探讨!致敬感谢感恩!一、引言：从“平面交互”到“沉浸体验”的UI革命当用户在电商APP中翻看3D家具模型却无法感知其与自家客厅的匹配度，当设计师在2D屏幕上绘制汽车内饰却难以预判实际乘坐体验——传统UI设计的“平面化、静态化、割裂感”
  • 无面试无offer? 你需要AI 求职co-pilot的帮助!
    大家好啊，我写的开源免费求职AIco-pilot工具发布了v3.0.0，欢迎大家参与、使用!https://github.com/weicanie/prisma-ai一、项目介绍开源免费的求职co-pilot，自动化简历准备至offer到手的整个流程。优化您的项目、定制您的简历、为您匹配工作，并帮助您做好面试准备。二、核心价值prisma-ai旨在解决求职者在准备简历和寻找工作时最头疼的3个问题:
  • AIGC工具与软件开发流程的深度集成方案 Irene-HQ 软件开发测试AIGC测试工具githubAIGC程序人生面试
    一、代码开发环节集成路径‌环境配置标准化‌安装AIGC工具包并配置环境变量（如设置AIGC_TOOL_PATH），确保团队开发环境一致‌。在IDE插件市场安装Copilot等工具，实现编码时实时建议调用‌。‌人机协作新模式‌‌需求解析‌：上传PRD文档，AI自动提取业务规则生成类结构（如支付模块的PaymentService雏形）‌。‌代码补全‌：输入注释//JWT验证中间件，生成OAuth2.0
  • JavaScript 基础09：Web APIs——日期对象、DOM节点 梦想当全栈 JavaScriptjavascript前端开发语言
    JavaScript基础09：WebAPIs——日期对象、DOM节点进一步学习DOM相关知识，实现可交互的网页特效能够插入、删除和替换元素节点。能够依据元素节点关系查找节点。一、日期对象掌握Date日期对象的使用，动态获取当前计算机的时间。ECMAScript中内置了获取系统时间的对象Date，使用Date时与之前学习的内置对象console和Math不同，它需要借助new关键字才能使用。1.实例
  • Excel控件Spire.XLS 更新至7.12.144 | 附下载 cocacola456 文档管理更新Excel控件Spire.XLS更新Spire.XLSSpire.XLS下载
    Excel控件Spire.XLS更新至7.12.144，修复了转换PDF时字幕对齐的问题。Spire.XLS7.12.144更新修复修复了将Chart转换为Image时图表数据标签重复的问题。修复了CalculateAllValue方法抛出异常的问题。修复了将工作表转换为PDF时图表字幕对齐不正确的问题。
  • 树莓派 5 - Raspberry Pi OS 新版本 Bookworm（书虫） kuan_li_lyg 树莓派&Jetson教程机器人stm32嵌入式硬件自动驾驶ROS树莓派raspberrypi
    文章目录在这里插入图片描述版本说明前言二、PipeWire三、Networking四、Firefox五、Documentation六、What’smissing? 新版本下载地址为：https://www.raspberrypi.com/software/operating-systems/版本说明 2023-10-10:基于Debianbookworm版本支持树莓派5在RaspberryPi4和
  • [Vue warn]: onUnmounted is called when there is no active component instance to be associated with 扬帆起航&d vue.jsjavascript前端ecmascript前端框架
    [Vuewarn]:onUnmountediscalledwhenthereisnoactivecomponentinstancetobeassociatedwith.LifecycleinjectionAPIscanonlybeusedduringexecutionofsetup().Ifyouareusingasyncsetup(),makesuretoregisterlifecyclehoo
  • Flutter——数据库Drift开发详细教程(七) 怀君 flutterflutter数据库
    目录入门设置漂移文件入门变量数组定义表支持的列类型漂移特有的功能导入嵌套结果LIST子查询Dart互操作SQL中的Dart组件类型转换器现有的行类Dart文档注释结果类名称支持的语句自定义SQL类型定义类型使用自定义类型在Dart中在SQL中方言意识支持的SQLite扩展json1fts5地缘垄断自定义查询带有生成的api的语句自定义选择语句自定义更新语句入门Drift提供了一个dart_api来
  • Hadoop(一) 朱辉辉33 hadooplinux
    今天在诺基亚第一天开始培训大数据，因为之前没接触过Linux，所以这次一起学了，任务量还是蛮大的。 首先下载安装了Xshell软件，然后公司给了账号密码连接上了河南郑州那边的服务器，接下来开始按照给的资料学习，全英文的，头也不讲解，说锻炼我们的学习能力，然后就开始跌跌撞撞的自学。这里写部分已经运行成功的代码吧.    在hdfs下，运行hadoop fs -mkdir /u
  • maven An error occurred while filtering resources blackproof maven报错
    转：http://stackoverflow.com/questions/18145774/eclipse-an-error-occurred-while-filtering-resources   maven报错： maven An error occurred while filtering resources   Maven -> Update Proje
  • jdk常用故障排查命令 daysinsun jvm
    linux下常见定位命令： 1、jps      输出Java进程       -q       只输出进程ID的名称，省略主类的名称；       -m      输出进程启动时传递给main函数的参数；     &nb
  • java 位移运算与乘法运算 周凡杨 java位移运算乘法
      对于 JAVA 编程中，适当的采用位移运算，会减少代码的运行时间，提高项目的运行效率。这个可以从一道面试题说起：     问题： 用最有效率的方法算出2 乘以8 等於几?” 答案：2 << 3 由此就引发了我的思考，为什么位移运算会比乘法运算更快呢？其实简单的想想，计算机的内存是用由 0 和 1 组成的二
  • java中的枚举(enmu) g21121 java
    从jdk1.5开始，java增加了enum(枚举)这个类型，但是大家在平时运用中还是比较少用到枚举的，而且很多人和我一样对枚举一知半解，下面就跟大家一起学习下enmu枚举。先看一个最简单的枚举类型，一个返回类型的枚举： public enum ResultType { /** * 成功 */ SUCCESS, /** * 失败 */ FAIL,
  • MQ初级学习 510888780 activemq
    1.下载ActiveMQ 去官方网站下载：http://activemq.apache.org/ 2.运行ActiveMQ 解压缩apache-activemq-5.9.0-bin.zip到C盘，然后双击apache-activemq-5.9.0-\bin\activemq-admin.bat运行ActiveMQ程序。 启动ActiveMQ以后，登陆：http://localhos
  • Spring_Transactional_Propagation 布衣凌宇 springtransactional
    //事务传播属性 @Transactional(propagation=Propagation.REQUIRED)//如果有事务，那么加入事务，没有的话新创建一个 @Transactional(propagation=Propagation.NOT_SUPPORTED)//这个方法不开启事务 @Transactional(propagation=Propagation.REQUIREDS_N
  • 我的spring学习笔记12-idref与ref的区别 aijuans spring
    idref用来将容器内其他bean的id传给<constructor-arg>/<property>元素，同时提供错误验证功能。例如： <bean id ="theTargetBean" class="..." /> <bean id ="theClientBean" class=&quo
  • Jqplot之折线图 antlove jsjqueryWebtimeseriesjqplot
    timeseriesChart.html <script type="text/javascript" src="jslib/jquery.min.js"></script> <script type="text/javascript" src="jslib/excanvas.min.js&
  • JDBC中事务处理应用 百合不是茶 javaJDBC编程事务控制语句
      解释事务的概念; 事务控制是sql语句中的核心之一;事务控制的作用就是保证数据的正常执行与异常之后可以恢复   事务常用命令:             Commit提交         
  • [转]ConcurrentHashMap Collections.synchronizedMap和Hashtable讨论 bijian1013 java多线程线程安全HashMap
    在Java类库中出现的第一个关联的集合类是Hashtable，它是JDK1.0的一部分。 Hashtable提供了一种易于使用的、线程安全的、关联的map功能，这当然也是方便的。然而，线程安全性是凭代价换来的――Hashtable的所有方法都是同步的。此时，无竞争的同步会导致可观的性能代价。Hashtable的后继者HashMap是作为JDK1.2中的集合框架的一部分出现的，它通过提供一个不同步的
  • ng-if与ng-show、ng-hide指令的区别和注意事项 bijian1013 JavaScriptAngularJS
            angularJS中的ng-show、ng-hide、ng-if指令都可以用来控制dom元素的显示或隐藏。ng-show和ng-hide根据所给表达式的值来显示或隐藏HTML元素。当赋值给ng-show指令的值为false时元素会被隐藏，值为true时元素会显示。ng-hide功能类似，使用方式相反。元素的显示或
  • 【持久化框架MyBatis3七】MyBatis3定义typeHandler bit1129 TypeHandler
    什么是typeHandler? typeHandler用于将某个类型的数据映射到表的某一列上，以完成MyBatis列跟某个属性的映射   内置typeHandler MyBatis内置了很多typeHandler，这写typeHandler通过org.apache.ibatis.type.TypeHandlerRegistry进行注册，比如对于日期型数据的typeHandler，
  • 上传下载文件rz,sz命令 bitcarter linux命令rz
    刚开始使用rz上传和sz下载命令： 因为我们是通过secureCRT终端工具进行使用的所以会有上传下载这样的需求： 我遇到的问题： sz下载A文件10M左右，没有问题 但是将这个文件A再传到另一天服务器上时就出现传不上去，甚至出现乱码，死掉现象，具体问题 解决方法： 上传命令改为;rz -ybe 下载命令改为：sz -be filename 如果还是有问题： 那就是文
  • 通过ngx-lua来统计nginx上的虚拟主机性能数据 ronin47 ngx-lua　统计 解禁ip
    介绍 以前我们为nginx做统计,都是通过对日志的分析来完成.比较麻烦,现在基于ngx_lua插件,开发了实时统计站点状态的脚本,解放生产力.项目主页: https://github.com/skyeydemon/ngx-lua-stats 功能 支持分不同虚拟主机统计, 同一个虚拟主机下可以分不同的location统计. 可以统计与query-times request-time
  • java-68-把数组排成最小的数。一个正整数数组，将它们连接起来排成一个数，输出能排出的所有数字中最小的。例如输入数组{32, 321}，则输出32132 bylijinnan java
    import java.util.Arrays; import java.util.Comparator; public class MinNumFromIntArray { /** * Q68输入一个正整数数组，将它们连接起来排成一个数，输出能排出的所有数字中最小的一个。 * 例如输入数组{32, 321}，则输出这两个能排成的最小数字32132。请给出解决问题
  • Oracle基本操作 ccii Oracle SQL总结Oracle SQL语法Oracle基本操作Oracle SQL
    一、表操作 1. 常用数据类型 NUMBER(p,s)：可变长度的数字。p表示整数加小数的最大位数，s为最大小数位数。支持最大精度为38位 NVARCHAR2(size)：变长字符串，最大长度为4000字节（以字符数为单位） VARCHAR2(size)：变长字符串，最大长度为4000字节（以字节数为单位） CHAR(size)：定长字符串，最大长度为2000字节，最小为1字节，默认
  • [强人工智能]实现强人工智能的路线图 comsci 人工智能
        1：创建一个用于记录拓扑网络连接的矩阵数据表      2:自动构造或者人工复制一个包含10万个连接(1000*1000)的流程图      3：将这个流程图导入到矩阵数据表中      4：在矩阵的每个有意义的节点中嵌入一段简单的
  • 给Tomcat，Apache配置gzip压缩(HTTP压缩)功能 cwqcwqmax9 apache
    背景： HTTP 压缩可以大大提高浏览网站的速度，它的原理是，在客户端请求网页后，从服务器端将网页文件压缩，再下载到客户端，由客户端的浏览器负责解压缩并浏览。相对于普通的浏览过程HTML ,CSS,Javascript , Text ，它可以节省40%左右的流量。更为重要的是，它可以对动态生成的，包括CGI、PHP , JSP , ASP , Servlet,SHTML等输出的网页也能进行压缩，
  • SpringMVC and Struts2 dashuaifu struts2springMVC
    SpringMVC VS Struts2 1: spring3开发效率高于struts 2: spring3 mvc可以认为已经100%零配置 3: struts2是类级别的拦截， 一个类对应一个request上下文， springmvc是方法级别的拦截，一个方法对应一个request上下文，而方法同时又跟一个url对应 所以说从架构本身上 spring3 mvc就容易实现r
  • windows常用命令行命令 dcj3sjt126com windowscmdcommand
    在windows系统中，点击开始－运行，可以直接输入命令行，快速打开一些原本需要多次点击图标才能打开的界面，如常用的输入cmd打开dos命令行，输入taskmgr打开任务管理器。此处列出了网上搜集到的一些常用命令。winver 检查windows版本 wmimgmt.msc 打开windows管理体系结构(wmi) wupdmgr windows更新程序 wscrip
  • 再看知名应用背后的第三方开源项目 dcj3sjt126com ios
    知名应用程序的设计和技术一直都是开发者需要学习的，同样这些应用所使用的开源框架也是不可忽视的一部分。此前《 iOS第三方开源库的吐槽和备忘》中作者ibireme列举了国内多款知名应用所使用的开源框架，并对其中一些框架进行了分析，同样国外开发者 @iOSCowboy也在博客中给我们列出了国外多款知名应用使用的开源框架。另外txx's blog中详细介绍了 Facebook Paper使用的第三
  • Objective-c单例模式的正确写法 jsntghf 单例iosiPhone
    一般情况下，可能我们写的单例模式是这样的： #import <Foundation/Foundation.h> @interface Downloader : NSObject + (instancetype)sharedDownloader; @end #import "Downloader.h" @implementation
  • jquery easyui datagrid 加载成功，选中某一行 hae jqueryeasyuidatagrid数据加载
    1.首先你需要设置datagrid的onLoadSuccess $( '#dg' ).datagrid({onLoadSuccess :  function (data){      $( '#dg' ).datagrid( 'selectRow' ,3); }});   2.onL
  • jQuery用户数字打分评价效果 ini JavaScripthtmljqueryWebcss
    效果体验：http://hovertree.com/texiao/jquery/5.htmHTML文件代码： <!DOCTYPE html> <html xmlns="http://www.w3.org/1999/xhtml"> <head> <title>jQuery用户数字打分评分代码 - HoverTree</
  • mybatis的paramType kerryg DAOsql
    MyBatis传多个参数： 1、采用#{0},#{1}获得参数：    Dao层函数方法：     public User selectUser(String name,String area); 对应的Mapper.xml    <select id="selectUser" result
  • centos 7安装mysql5.5 MrLee23 centos
    首先centos7 已经不支持mysql，因为收费了你懂得，所以内部集成了mariadb，而安装mysql的话会和mariadb的文件冲突，所以需要先卸载掉mariadb，以下为卸载mariadb，安装mysql的步骤。   #列出所有被安装的rpm package rpm -qa | grep mariadb   #卸载 rpm -e mariadb-libs-5.
  • 利用thrift来实现消息群发 qifeifei thrift
               Thrift项目一般用来做内部项目接偶用的，还有能跨不同语言的功能，非常方便，一般前端系统和后台server线上都是3个节点，然后前端通过获取client来访问后台server，那么如果是多太server，就是有一个负载均衡的方法，然后最后访问其中一个节点。那么换个思路，能不能发送给所有节点的server呢，如果能就
  • 实现一个sizeof获取Java对象大小 teasp javaHotSpot内存对象大小sizeof
       由于Java的设计者不想让程序员管理和了解内存的使用，我们想要知道一个对象在内存中的大小变得比较困难了。本文提供了可以获取对象的大小的方法，但是由于各个虚拟机在内存使用上可能存在不同，因此该方法不能在各虚拟机上都适用，而是仅在hotspot 32位虚拟机上，或者其它内存管理方式与hotspot 32位虚拟机相同的虚拟机上 适用。     
  • SVN错误及处理 xiangqian0505 SVN提交文件时服务器强行关闭
    在SVN服务控制台打开资源库“SVN无法读取current” ---摘自网络 写道 SVN无法读取current修复方法 Can't read file : End of file found 文件：repository/db/txn_current、repository/db/current   其中current记录当前最新版本号，txn_current记录版本库中版本
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他