孙鹏鹏廊坊
孙鹏鹏廊坊

Day31中小规模集群架构（课堂笔记）

Day31


作者：孙鹏鹏

归档：课后笔记

时间：2019/4/12


快捷键：

Ctrl + 1    标题1

Ctrl + 2    标题2

Ctrl + 3    标题3

Ctrl + 4    标题4

Ctrl + 5    程序代码

Ctrl + 6    正文

Ctrl + 7    实例1-1

格式说明：

蓝色字体：注释

黄色背景：重要

绿色背景：注意

老男孩教育教学核心思想6重：重目标、重思路、重方法、重实践、重习惯、重总结

学无止境，老男孩教育成就你人生的起点！

联系方式:

网站运维QQ交流群：

Linux 385168604架构师390642196

Python 29215534大数据421358633

官方网站:

http://www.oldboyedu.com 

目  录

第一章：中小规模集群架构









第一节：

#什么是集群？

##简单的说，集群就是一堆集群做同一件事

##例如：www.jd.con提供卖东西服务这就是一件事，可能是几千台服务器在背后运转支撑这个网站

     www.baidu.com看着就是一个搜索框，背后可能是上万台服务器。

#为什么企业要用集群？

##7*24服务，需要多台机器同时工作，互为实时备份。

##高并发访问，需要多台服务器同时提供服务。

#集群的特点：

##数据量大、用户多、

##7*24持续服务

##高并发

##用户分布广泛、网络情况复杂

###独行快，众行远。   ----老男孩

#形象的描述一下集群：

##

Day31中小规模集群架构（课堂笔记）_第1张图片
Day31中小规模集群架构（课堂笔记）_第2张图片
Day31中小规模集群架构（课堂笔记）_第3张图片
Day31中小规模集群架构（课堂笔记）_第4张图片
Day31中小规模集群架构（课堂笔记）_第5张图片
Day31中小规模集群架构（课堂笔记）_第6张图片
Day31中小规模集群架构（课堂笔记）_第7张图片

基础优化：

#规范目录

##mkdir -p /server/tools

##mkdir -p /server/scripts

#配置所有主机域名解析

##cat >/etc/hosts<

127.0.0.1    localhost localhost.localdomain localhost4localhost4.localdomain4

::1          localhost localhost.localdomainlocalhost6 localhost6.localdomain6

172.16.1.5 lb01

172.16.1.6 lb02

172.16.1.7 web01

172.16.1.8 web02

172.16.1.9 web03

172.16.1.31 nfs01

172.16.1.41 backup

172.16.1.51 db01 db01.etiantian.org

172.16.1.61 m01

EOF

# cat /etc/hosts

127.0.0.1    localhost localhost.localdomain localhost4localhost4.localdomain4

::1          localhost localhost.localdomainlocalhost6 localhost6.localdomain6

172.16.1.5 lb01

172.16.1.6 lb02

172.16.1.7web01

172.16.1.8 web02

172.16.1.9 web03

172.16.1.31 nfs01

172.16.1.41 backup

172.16.1.51 db01 db01.etiantian.org

172.16.1.61 m01

# ping lb01

PING lb01 (172.16.1.5) 56(84) bytesof data.


#1.基础优化操作项：更新yum源信息

第一个：就近使用yum源地址，安装软件更快。

curl -s-o /etc/yum.repos.d/CentOS-Base.repohttp://mirrors.aliyun.com/repo/Centos-7.repo

第二个：安装RHEL/CentOS官方源不提供的软件包

curl -s-o /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

安全优化

#2.关闭selinux

sed -i 's#SELINUX=.*#SELINUX=disabled#g'/etc/selinux/config

sed -i's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config

grep SELINUX=disabled/etc/selinux/config

setenforce 0

getenforce

#3.关闭firewalld防火墙服务

systemctl stop firewalld

systemctl disable firewalld


#4.基础优化操作项：设置普通用户提权操作（可选优化）

提权oldboy可以利用sudo

useradd oldboy

echo 123456|passwd --stdin oldboy

\cp /etc/sudoers /etc/sudoers.ori

echo "oldboy  ALL=(ALL) NOPASSWD: ALL ">>/etc/sudoers

tail -1 /etc/sudoers

visudo -c

#5.设置系统中文UTF8字符集

cat /etc/locale.conf

LANG="en_US.UTF-8"

修改命令如下：

cp/etc/locale.conf  /etc/locale.conf.ori

echo'LANG="zh_CN.UTF-8"' >/etc/locale.conf 

source/etc/locale.conf

echo$LANG

cp/etc/locale.conf  /etc/locale.conf.ori

localectlset-locale LANG="zh_CN.UTF-8"

cat/etc/locale.conf

#6.基础优化操作项：时间同步设置

设置系统时间同步

yum install ntpdate -y

/usr/sbin/ntpdate ntp3.aliyun.com

echo '#crond-id-001:time sync byoldboy' >>/var/spool/cron/root

echo"*/5 * * * * /usr/sbin/ntpdate ntp3.aliyun.com >/dev/null2>&1">>/var/spool/cron/root

crontab -l

#7.基础优化操作项：提升命令行操作安全性（可选优化）

提升命令行安全（可选配置）

echo 'export TMOUT=300'>>/etc/profile

echo 'export HISTSIZE=5'>>/etc/profile

echo 'export HISTFILESIZE=5'>>/etc/profile

tail -3 /etc/profile

. /etc/profile


#8.基础优化操作项：加大文件描述符

实例演示：加大文件描述

echo'*               -       nofile          65535 '>>/etc/security/limits.conf

tail -1 /etc/security/limits.conf

ulimit -SHn   65535

ulimit -n        #<==命令方式查看配置结果

#9.基础优化操作项：优化系统内核

cat>>/etc/sysctl.conf<

net.ipv4.tcp_fin_timeout = 2

net.ipv4.tcp_tw_reuse = 1

net.ipv4.tcp_tw_recycle = 1

net.ipv4.tcp_syncookies = 1

net.ipv4.tcp_keepalive_time = 600

net.ipv4.ip_local_port_range =4000    65000

net.ipv4.tcp_max_syn_backlog = 16384

net.ipv4.tcp_max_tw_buckets = 36000

net.ipv4.route.gc_timeout = 100

net.ipv4.tcp_syn_retries = 1

net.ipv4.tcp_synack_retries = 1

net.core.somaxconn = 16384

net.core.netdev_max_backlog = 16384

net.ipv4.tcp_max_orphans = 16384

#10.以下参数是对iptables防火墙的优化，防火墙不开会提示，可以忽略不理。

net.nf_conntrack_max = 25000000

net.netfilter.nf_conntrack_max =25000000

net.netfilter.nf_conntrack_tcp_timeout_established= 180

net.netfilter.nf_conntrack_tcp_timeout_time_wait= 120

net.netfilter.nf_conntrack_tcp_timeout_close_wait= 60

net.netfilter.nf_conntrack_tcp_timeout_fin_wait= 120

net.core.wmem_default = 8388608

net.core.rmem_default = 8388608

net.core.wmem_max = 16777216

net.core.rmem_max = 16777216

EOF

sysctl -p

#11.基础优化操作项：安装系统常用软件

CentOS6和CentOS7都要安装的企业运维常用基础工具包

yuminstall tree nmap dos2unix lrzsz nc lsof wget tcpdump htop iftop iotop sysstatnethogs -y

CentOS7要安装的企业运维常用基础工具包

yum install psmisc net-toolsbash-completion vim-enhanced -y

独行快，众行远。——老男孩

#12.基础优化操作项：优化SSH远程连接效率

禁止root远程连接

修改默认22端口，改为52113

监听内网服务器IP

###练习不动。

#13.扩展优化操作项-修改yum.conf文件配置信息

保留yum安装的软件包

将/etc/yum.conf中的keepcache=0改为keepcache=1，为日后一键安装网站集群留好rpm及依赖工具包。

#14. 锁定关键系统文件如/etc/passwd、/etc/shadow、/etc/group、/etc/gshadow、/etc/inittab，

处理以上内容后把chattr、lsattr改名为oldboy，转移走，这样就安全多了。

#15.    清空/etc/issue、/etc/issue.net，去除系统及内核版本登录前的屏幕显示。

#16.    清除多余的系统虚拟用户账号。

#17.    为grub引导菜单加密码（自学）。

#18.    禁止主机被ping（内核参数）。

#19.    打补丁并升级有已知漏洞的软件。

    yum update

#20.精简开机自启动服务

systemctl list-unit-files |grepenable|egrep -v"sshd.service|crond.service|sysstat|rsyslog|^NetworkManager.service|irqbalance.service"|awk'{print "systemctl disable",$1}'|bash

systemctl list-unit-files |grepenable

#保留服务：

sshd|crond|sysstat|rsyslog|NetworkManager|irqbalance

*****企业生产最小化原则：

*****1、安装软件包最小化。

*****2、用户权限最小化。

*****3、目录文件权限最小化。

*****4、自启动服务最小化。

*****5、服务运行用户最小化。

克隆三台：

B1-web服务器1       10.0.0.7/24     172.16.1.7/16  web01

C1-NFS存储服务器   10.0.0.31/24 172.16.1.31/16  nfs01

C2-rsync备份服务器  10.0.0.41/24 172.16.1.41/16  backup

你可能感兴趣的:(Day31中小规模集群架构（课堂笔记）)

  • 谷歌准备斥资 230 亿收购网络安全初创公司 Wiz 网络研究观 网络研究观谷歌
    Alphabet正在就收购Wiz进行深入谈判，这将显著增强其安全能力。这将是谷歌母公司有史以来最大规模的收购。这是路透社根据匿名消息来源撰写的内容。目标收购金额为230亿美元，即211亿欧元。Wiz拥有实时检测和响应网络威胁的技术。通过实施人工智能，Wiz能够在短时间内吸引许多公司作为客户。Alphabet的收购目标定于2020年初。到2023年，Wiz的收入将达到3.5亿美元。当时，全球40%的
  • 金三银四快过去一半了，是时候加把劲了 后端go找工作面试
    从复旦春招会的15000+岗位争夺战，到AI算法岗年薪百万的“神仙打架”，再到游戏行业20:1的残酷竞争比，今年的金三银四像极了《三体》里的黑暗森林：机会看似遍地，但稍有不慎就成了别人的“背景板”。但现实真的是“投晚了就凉了”吗？数据告诉你真相：智联研究院统计显示，算法工程师、机器人算法工程师等岗位需求同比激增44%，而中小企业的“捡漏窗口”才刚开启。这半个月，我整理了20+场面试实录（含小鹅通、
  • React性能优化的深度解析：React.memo和useMemo的真相与误区 今天也想MK代码 持续学习持续总结react.js性能优化前端
    引言在React应用开发中，性能优化始终是开发者关注的重点。随着应用规模的扩大，组件渲染效率成为影响用户体验的关键因素。React.memo和useMemo是React提供的两个常用性能优化API，但它们常常被误解和滥用。本文将深入剖析这两个API的工作原理、适用场景，并通过实际案例分析它们的优缺点，帮助开发者做出明智的性能优化决策。技术原理React.memo与useMemo的本质区别React
  • 模型微调：让AI更懂你的魔法棒 带上一无所知的我 pytorch人工智能python
    模型微调：让AI更懂你的魔法棒✨在人工智能的世界里，模型微调（Fine-tuning）就像是一位魔法师用魔法棒对预训练模型进行“个性化改造”，让它更适应特定的任务。今天，我们就来深入探讨模型微调的技术细节，让你也能像魔法师一样，轻松驾驭AI模型！什么是模型微调？模型微调是指在预训练模型的基础上，通过少量的特定任务数据进行训练，使模型更好地适应新任务的技术。预训练模型通常是基于大规模数据集（如Ima
  • 当现代教育技术遇上仓颉---探秘华为仓颉编程语言与未来教育技术的接轨 想成为高手499 华为服务器php
    引言随着人工智能、物联网、区块链等新兴技术的发展，编程语言的需求也在不断演化。据市场研究机构发布的数据显示，全球编程语言市场规模预计在未来五年内将以每年10%的速度增长。此外，越来越多的企业和高校正在积极推动基于分布式系统和硬件优化的新型语言开发，这进一步表明对高性能编程语言的需求日益旺盛。近年来，华为推出了自研编程语言“仓颉”，以其高效的语法设计、灵活的语义表达能力和强大的跨平台适配性能引发了编
  • 苹果企业签名与超级签名优势对比 苹果企业签名分发 苹果企业签名
    企业签名是苹果提供给企业开发者的一种分发方式，允许他们内部部署应用，不需要通过AppStore。而超级签名则是利用个人开发者账号，通过添加设备UDID来实现分发，据说可以绕过一些限制，支持更多设备。接下来，用户想知道企业签名对比超级签名的优势。我需要从多个角度来比较，比如分发数量、成本、稳定性、合规性、安装流程、设备管理、使用场景、风险等方面。首先，企业签名的分发数量理论上没有限制，适合大规模分发
  • 实战LLM强化学习——使用GRPO（DeepSeek R1出圈算法） 大富大贵7 程序员知识储备1程序员知识储备2程序员知识储备3经验分享
    引言近年来，深度强化学习（DRL）已经成为解决复杂决策问题的一个强有力工具，尤其是在自然语言处理（NLP）领域的广泛应用。通过不断优化决策策略，DRL能在大量数据中学习最佳行为，尤其是大型语言模型（LLM）在任务中展现出的巨大潜力。然而，随着模型规模的扩大和任务复杂性的增加，传统的强化学习算法开始暴露出训练效率低、收敛速度慢等问题。为了解决这些挑战，DeepSeek公司提出了一个新的强化学习算法—
  • java八股之redis面试题 MinusZXX 八股文-redisjavaredis开发语言面试
    目录1、redis是单线程还是多线程2、Redis为什么那么快3、Redis底层数据是如何用跳表来存储的4、RedisKey过期了为什么内存没释放（附删除策略）5、Redis没设置key的过期时间，为什么被Redis主动删除了（淘汰策略）6、Redis主从、哨兵、集群架构优缺点比较7、Redis集群数据分片8、Redis主从切换导致缓存雪崩9、Redis持久化RDB、AOF和混合持久化AOF4.0
  • Hotcoin精彩亮相2024香港Web3嘉年华 Hotcoin web3游戏去中心化区块链
    4月9日，由万向区块链实验室、HashKeyGroup联合推出，由W3ME承办的“2024香港Web3嘉年华”活动在香港圆满落幕。作为全球规模最大的Web3活动之一，2024年香港Web3嘉年华汇集了160+全球热门项目，100+行业垂直媒体，以及300+专家学者、知名项目代表、行业领军人物等演讲嘉宾，共同探索Web3发展新洞察。Hotcoin作为本次活动的七大一级参展商，在本次会场精心布置了展位
  • 基于 Docker 和 Flask 构建高并发微服务架构 TechStack 创行者 #服务器容器Linux架构dockerflask容器微服务
    基于Docker和Flask构建高并发微服务架构一、微服务架构概述（一）微服务架构的优点微服务架构是一种将应用程序拆分为多个小型、自治服务的架构风格，在当今的软件开发领域具有显著的优势。高度可扩展性：每个微服务可以独立进行扩展。例如，在电商系统中，订单服务在促销活动期间可能会面临高并发的订单处理需求，此时可以仅对订单服务进行横向扩展，增加服务实例数量，而无需对整个系统进行大规模的扩容，从而提高资源
  • 电商API接口：赋能商家，领跑未来电商新赛道 lovelin+vI7809804594 爬虫人工智能pythonAPI反向海淘
    在数字经济浪潮下，电子商务的竞争已从简单的价格战转向生态系统的效率比拼。API（ApplicationProgrammingInterface）作为数字世界的"连接器"，正在重塑电商行业的运行逻辑。全球API管理市场预计在2026年突破210亿美元规模，其中电商领域占据最大应用场景。从亚马逊的AWS到阿里巴巴的开放平台，API经济正在构建新型商业基础设施，推动电商行业进入"无界融合"的新纪元。本文
  • 大数据和人工智能概念全面解析 就犯得上方法
    一、大数据和人工智能大数据是伴随着信息数据爆炸式增长和网络计算技术迅速发展而兴起的一个新型概念。根据麦肯锡全球研究所的定义，大数据是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。大数据能够帮助各行各业的企业从原本毫无价值的海量数据中挖掘出用户的需求，使数据能够从量变到质变，真正产生价值
  • Ai时代初期全球不同纬度的层级辐射现象 龙胥伯 人工智能
    基于最新研究成果与行业动态，AI时代的"层级辐射"现象可被科学解构为以下六大维度，结合技术演进、产业实践和社会影响进行系统性分析：一、技术能力的层级跃迁模型效率革命DeepSeek研发的R1-Zero模型通过动态架构设计，将样本利用率提升40%以上，训练周期大幅缩短。这种技术突破推动AI从实验室走向规模化应用，在智能制造、生物医药等领域催生新生态。大语言模型的训练方式（预训练→多任务学习→强化学习
  • Rocky Linux安装部署Elasticsearch（ELK日志服务器）_rockylinux elk 2401_83739411 程序员服务器linuxelasticsearch
    一、Elasticsearch的简介Elasticsearch是一个强大的开源搜索和分析引擎，可用于实时处理和查询大量数据。它具有高性能、可扩展性和分布式特性，支持全文搜索、聚合分析、地理空间搜索等功能，是构建实时应用和大规模数据分析平台的首选工具。二、RockyLinux系统安装链接：VMwareWorkstation下载安装（含秘钥）链接：VMwareWorkstation创建虚拟机链接：Ro
  • matsim开发教程 若木胡 大数据信息可视化
    以下是基于MATSim的二次开发教程指南，结合交通仿真框架的核心功能和开发实践，提供从环境搭建到高级开发的完整路径：一、MATSim简介MATSim（Multi-AgentTransportSimulation）是一个基于Java的开源交通仿真框架，专注于大规模多智能体（Agent）交通行为模拟，支持动态需求建模、路径规划优化、政策评估等应用场景。二、开发环境搭建1.基础依赖JavaJDK11+：
  • Hadoop相关面试题 努力的搬砖人. java面试hadoop
    以下是150道Hadoop面试题及其详细回答，涵盖了Hadoop的基础知识、HDFS、MapReduce、YARN、HBase、Hive、Sqoop、Flume、ZooKeeper等多个方面，每道题目都尽量详细且简单易懂：Hadoop基础概念类1.什么是Hadoop？Hadoop是一个由Apache基金会开发的开源分布式计算框架，主要用于处理和存储大规模数据集。它提供了高容错性和高扩展性的分布式存
  • Canary Capital 向 SEC 递交首个 SUI ETF 申请文件 Sui_Network 区块链大数据物联网人工智能智能合约ETF
    随着对Sui这一L1区块链的机构兴趣不断增长，其生态正在加速迈向大规模采用。作为一项重大里程碑，CanaryCapital已向美国证券交易委员会（SEC）提交注册申请，拟推出首支基于SUI的交易所交易基金（ExchangeTradedFund，ETF）。SEC已正式受理该申请，这是ETF获批的关键初期步骤，一旦获得批准，该基金将能够在美国公开交易所上市交易。该ETF计划以传统基金产品的形式，为机构
  • 游戏开发引擎对比：Godot、Unity、Unreal与cocos2d的优劣分析 scoone 游戏引擎godotunity
    在游戏开发的世界中，选择合适的游戏引擎是项目成功的关键之一。本文将对比四种流行的游戏开发引擎：Godot、Unity、UnrealEngine和cocos2d，分析各自的优缺点，帮助开发者做出明智的选择。Godot：优点：开源且免费，无商业授权费用。轻量级，适合中小型游戏开发。使用GDScript脚本语言，易于上手。跨平台支持良好。缺点：社区相对较小，资源不如Unity丰富。在3D游戏开发方面不如
  • 基于 KubeSphere v4 的 Kubernetes 生产环境部署架构设计及成本分析 KubeSphere 云原生 kubernetes容器云原生
    本文作者：运维有术。今天分享的主题是：如何规划设计一个高可用、可扩展的中小规模生产级K8s集群？通过本文的指导，您将掌握以下设计生产级K8s集群的必备技能：集群规划能力合理规划节点规模和资源配置设计高可用的控制平面、计算平面、存储平面架构规划网络拓扑和安全策略制定存储解决方案组件选型能力选择适合的容器运行时(ContainerRuntime)评估和选择网络插件(CNIPlugin)规划监控、日志等
  • 数据增强：扩充数据集，提升模型的鲁棒性 AI天才研究院 DeepSeekR1&大数据AI人工智能大模型LLM大模型落地实战指南计算科学神经计算深度学习神经网络大数据人工智能大型语言模型AIAGILLMJavaPython架构设计AgentRPA
    数据增强：扩充数据集，提升模型的鲁棒性1.背景介绍1.1数据集的重要性在机器学习和深度学习领域中,数据集是训练模型的基础。高质量的数据集对于构建准确、鲁棒的模型至关重要。然而,在现实世界中,获取大量高质量的数据通常是一个巨大的挑战。数据采集过程耗时耗力,而且成本高昂。此外,某些领域的数据存在隐私和安全问题,难以获取。1.2数据集不足的挑战当数据集规模有限时,模型很容易过拟合,无法很好地推广到新的、
  • Node.js系列（4）--微服务架构实践 一进制ᅟᅠ        ‌‍‎‏  Node.js架构node.js微服务
    Node.js微服务架构实践引言微服务架构已成为构建大规模Node.js应用的主流选择。本文将深入探讨Node.js微服务架构的设计与实现，包括服务拆分、服务治理、通信机制等方面，帮助开发者构建可扩展的微服务系统。微服务架构概述Node.js微服务架构主要包括以下方面：服务拆分：业务领域划分与服务边界服务治理：服务注册、发现与负载均衡通信机制：同步与异步通信方案数据管理：分布式事务与数据一致性可观
  • 做电池寿命预测有福了---2024最新退化数据集，来自cell子刊 优化算法侠Swarm-Opti 深度学习数据集电池寿命预测深度学习人工智能
    引言本期介绍2024年最新发表在cell子刊CellReportsPhysicalScience上的电池退化数据集。该数据集是世界上规模最大，最贴近实际运行场景，持续时间最长的电池退化数据集。在实验室和现实生活中对电池退化进行了为期4年的广泛实验调查，考虑了随机充放电电流、频率、深度以及多电池成组、环境温度的影响，涉及数百个电池和电池组的大约546,000次充放电循环。参考文献DongzhenLy
  • 低成本入门！盘点6款适合中小企业的ERP系统
    在竞争激烈的市场环境中，中小企业亟需通过数字化工具提升运营效率。ERP系统（企业资源计划）能够整合财务、库存、销售等核心业务流程，是降低成本、优化管理的关键利器。今天，我将为大家推荐6款便宜又好用的ERP系统，分别从功能、价格、适用场景等方面为大家详细介绍这些产品，希望能帮助你找到最适合自己企业的ERP系统。一、ZohoBooks：轻量级ERP，中小企业的全能助手ZohoBooks是Zoho旗下专
  • 思途CMS高并发、高性能、高可用架构设计 php
    一、整体架构概述思途CMS采用分层架构设计，整体架构分为客户层、接入层、站点层、数据存储层和缓存层。各层之间通过松耦合的方式协同工作，确保系统在高并发场景下的高性能和高可用性。通过分布式部署、负载均衡、多级缓存等技术手段，思途CMS能够有效应对大规模用户访问，保障系统的稳定性和响应速度。二、各层技术特点及实现方式客户层1.1CDN加速思途CMS支持与主流CDN服务商（如阿里云CDN、腾讯云CDN等
  • 2025制造业进销存软件解析：6款主流软件功能+价格对比
    制造业中小企业的进销存管理需要兼顾效率、成本和合规性。本文基于2025年市场调研，精选6款主流软件（ZohoBooks、用友U8+、金蝶云星空、SAPBusinessOne、QuickBooksCommerce、简道云），从功能适配性、价格竞争力、行业场景覆盖等维度进行全面对比，助力企业精准选型。一、制造业进销存管理的核心需求生产流程协同：BOM管理、工单跟踪、工序进度可视化库存精准管控：多仓库调
  • 【AI大模型】RAG如何让生成AI更智能？最新方法与优劣深度解析 健忘的派大星 人工智能语言模型aiAI大模型agiRAG程序员
    前言近年来，人工智能技术突飞猛进，尤其是生成式AI，简直像是开了挂一样，各种惊艳的表现让人直呼“未来已来”。根据IDC的研究，生成式AI的市场规模在2022年已经达到了107亿美元，而到2026年，这个数字预计会飙升至326亿美元！不过，尽管生成式AI很强大，但它也并非完美无缺——比如生成内容的质量、准确性和可靠性，依然有提升的空间。这时候，检索增强生成（RAG）技术登场了！RAG的核心思路很简单
  • 企业数据存储的几种方式对比 存储
    在当今信息化时代，企业常见的数据存储方式包括本地存储、云存储、网络附加存储（NAS）、对象存储等，它们在安全性、扩展性与成本方面各有优势。其中，云存储凭借高弹性、低维护成本等特点备受青睐。它利用网络将数据托管于远程服务器，企业无需自建机房，也能快速扩容并进行全球化部署，极大降低了初期投入成本。这种方式实现了随用随付、自动备份，为众多中小型企业提供了便捷且经济的选择。一、本地存储本地存储是指企业将数
  • Deepseek的本地化部署软件工具包 哈拉少12 人工智能
    选择模型版本参数规模硬件要求（最低）适用场景1.5B/7B8GB内存，无专用GPU文本处理、简单问答14B16GB内存+12GB显存代码生成、逻辑推理32B/70B24GB显存+32GB内存企业级复杂任务执行命令：ollamarundeepseek-r1:14b（以14B为例）。配置环境变量新增用户变量：OLLAMA_HOST=0.0.0.0OLLAMA_ORIGINS=*重启Ollama服务使配
  • 使用LangChain实现大规模语言模型自发现推理结构 VYSAHF langchain语言模型人工智能python
    使用LangChain实现大规模语言模型自发现推理结构在现代自然语言处理(NLP)的研究中，大规模语言模型（LLMs）已经展示了强大的能力。然而，在应对复杂的推理问题时，传统的提示方法常常力不从心。这篇文章将带您了解SELF-DISCOVER，一种新兴的框架，如何通过LangChain来实现自动化、动态化的推理结构构建，以提高LLMs的性能。技术背景介绍大规模语言模型（如GPT-4和PaLM2）已
  • web端 -- RPC - 通用方案 扁舟·TF 爬虫爬虫
    背景当一个目标站加密字段特别多，而且我们对其并不需要大规模爬取时，考虑到时间成本，我们就可以使用RPC来获取加密数据。原理：搭建一个后端服务器，然后在浏览器中hook加密函数，注册到web.js端中，最后通过client端来回调加密函数，实现rpc远程调用以上就是整个RPC获取加密数据的流程。自己封装了一个通用框架，使用时只需修改一个点就行：自定义client端的type自定义web端typecl
  • ASM系列四 利用Method 组件动态注入方法逻辑 lijingyao8206 字节码技术jvmAOP动态代理ASM
            这篇继续结合例子来深入了解下Method组件动态变更方法字节码的实现。通过前面一篇，知道ClassVisitor 的visitMethod()方法可以返回一个MethodVisitor的实例。那么我们也基本可以知道，同ClassVisitor改变类成员一样，MethodVIsistor如果需要改变方法成员，注入逻辑，也可以
  • java编程思想 --内部类 百合不是茶 java内部类匿名内部类
    内部类;了解外部类 并能与之通信 内部类写出来的代码更加整洁与优雅   1,内部类的创建  内部类是创建在类中的 package com.wj.InsideClass; /* * 内部类的创建 */ public class CreateInsideClass { public CreateInsideClass(
  • web.xml报错 crabdave web.xml
    web.xml报错   The content of element type "web-app" must match "(icon?,display-  name?,description?,distributable?,context-param*,filter*,filter-mapping*,listener*,servlet*,s
  • 泛型类的自定义 麦田的设计者 javaandroid泛型
       为什么要定义泛型类，当类中要操作的引用数据类型不确定的时候。 采用泛型类，完成扩展。   例如有一个学生类     Student{ Student(){ System.out.println("I'm a student....."); } }  有一个老师类  
  • CSS清除浮动的4中方法 IT独行者 JavaScriptUIcss
    清除浮动这个问题，做前端的应该再熟悉不过了，咱是个新人，所以还是记个笔记，做个积累，努力学习向大神靠近。CSS清除浮动的方法网上一搜，大概有N多种，用过几种，说下个人感受。 1、结尾处加空div标签 clear:both 1 2 3 4 .div 1 { background : #000080 ; border : 1px   s
  • Cygwin使用windows的jdk 配置方法 _wy_ jdkwindowscygwin
    1.[vim /etc/profile]    JAVA_HOME="/cgydrive/d/Java/jdk1.6.0_43"  (windows下jdk路径为D:\Java\jdk1.6.0_43)    PATH="$JAVA_HOME/bin:${PATH}"    CLAS
  • linux下安装maven 无量 mavenlinux安装
    Linux下安装maven(转) 1.首先到Maven官网 下载安装文件，目前最新版本为3.0.3，下载文件为 apache-maven-3.0.3-bin.tar.gz，下载可以使用wget命令； 2.进入下载文件夹，找到下载的文件，运行如下命令解压 tar -xvf  apache-maven-2.2.1-bin.tar.gz 解压后的文件夹
  • tomcat的https 配置,syslog-ng配置 aichenglong tomcathttp跳转到httpssyslong-ng配置syslog配置
    1) tomcat配置https,以及http自动跳转到https的配置     1)TOMCAT_HOME目录下生成密钥(keytool是jdk中的命令)      keytool -genkey -alias tomcat -keyalg RSA -keypass changeit -storepass changeit
  • 关于领号活动总结 alafqq 活动
    关于某彩票活动的总结 具体需求，每个用户进活动页面，领取一个号码，1000中的一个； 活动要求 1，随机性，一定要有随机性； 2，最少中奖概率，如果注数为3200注，则最多中4注 3，效率问题，（不能每个人来都产生一个随机数，这样效率不高）； 4，支持断电（仍然从下一个开始），重启服务；（存数据库有点大材小用，因此不能存放在数据库） 解决方案 1，事先产生随机数1000个，并打
  • java数据结构 冒泡排序的遍历与排序 百合不是茶 java
    java的冒泡排序是一种简单的排序规则   冒泡排序的原理：           比较两个相邻的数，首先将最大的排在第一个，第二次比较第二个 ，此后一样；         针对所有的元素重复以上的步骤，除了最后一个     例题；将int array[]
  • JS检查输入框输入的是否是数字的一种校验方法 bijian1013 js
    如下是JS检查输入框输入的是否是数字的一种校验方法： <form method=post target="_blank"> 数字：<input type="text" name=num onkeypress="checkNum(this.form)"><br> </form>
  • Test注解的两个属性：expected和timeout bijian1013 javaJUnitexpectedtimeout
    JUnit4：Test文档中的解释： 　　The Test annotation supports two optional parameters. 　　The first, expected, declares that a test method should throw an exception. 　　If it doesn't throw an exception or if it
  • [Gson二]继承关系的POJO的反序列化 bit1129 POJO
    父类     package inheritance.test2; import java.util.Map; public class Model { private String field1; private String field2; private Map<String, String> infoMap
  • 【Spark八十四】Spark零碎知识点记录 bit1129 spark
    1. ShuffleMapTask的shuffle数据在什么地方记录到MapOutputTracker中的 ShuffleMapTask的runTask方法负责写数据到shuffle map文件中。当任务执行完成成功，DAGScheduler会收到通知，在DAGScheduler的handleTaskCompletion方法中完成记录到MapOutputTracker中  
  • WAS各种脚本作用大全 ronin47 WAS 脚本
    　　　http://www.ibm.com/developerworks/cn/websphere/library/samples/SampleScripts.html 　　　无意中，在WAS官网上发现的各种脚本作用，感觉很有作用，先与各位分享一下 　　　 获取下载 这些示例 jacl 和 Jython 脚本可用于在 WebSphere Application Server 的不同版本中自
  • java-12.求 1+2+3+..n不能使用乘除法、 for 、 while 、 if 、 else 、 switch 、 case 等关键字以及条件判断语句 bylijinnan switch
    借鉴网上的思路，用java实现： public class NoIfWhile { /** * @param args * * find x=1+2+3+....n */ public static void main(String[] args) { int n=10; int re=find(n); System.o
  • Netty源码学习-ObjectEncoder和ObjectDecoder bylijinnan javanetty
    Netty中传递对象的思路很直观： Netty中数据的传递是基于ChannelBuffer（也就是byte[]）； 那把对象序列化为字节流，就可以在Netty中传递对象了 相应的从ChannelBuffer恢复对象，就是反序列化的过程 Netty已经封装好ObjectEncoder和ObjectDecoder 先看ObjectEncoder ObjectEncoder是往外发送
  • spring 定时任务中cronExpression表达式含义 chicony cronExpression
    一个cron表达式有6个必选的元素和一个可选的元素，各个元素之间是以空格分隔的，从左至右，这些元素的含义如下表所示： 代表含义            是否必须 允许的取值范围         &nb
  • Nutz配置Jndi ctrain JNDI
    1、使用JNDI获取指定资源： var ioc = { dao : { type :"org.nutz.dao.impl.NutDao", args : [ {jndi :"jdbc/dataSource"} ] } } 以上方法,仅需要在容器中配置好数据源,注入到NutDao即可.
  • 解决 /bin/sh^M: bad interpreter: No such file or directory daizj shell
    在Linux中执行.sh脚本，异常/bin/sh^M: bad interpreter: No such file or directory。   分析：这是不同系统编码格式引起的：在windows系统中编辑的.sh文件可能有不可见字符，所以在Linux系统下执行会报以上异常信息。 解决： 1）在windows下转换： 利用一些编辑器如UltraEdit或EditPlus等工具
  • [转]for 循环为何可恨？ dcj3sjt126com 程序员读书
      Java的闭包(Closure)特征最近成为了一个热门话题。 一些精英正在起草一份议案，要在Java将来的版本中加入闭包特征。 然而，提议中的闭包语法以及语言上的这种扩充受到了众多Java程序员的猛烈抨击。 不久前，出版过数十本编程书籍的大作家Elliotte Rusty Harold发表了对Java中闭包的价值的质疑。 尤其是他问道“for 循环为何可恨？”[http://ju
  • Android实用小技巧 dcj3sjt126com android
    1、去掉所有Activity界面的标题栏 　　修改AndroidManifest.xml 　　在application 标签中添加android:theme="@android:style/Theme.NoTitleBar"   2、去掉所有Activity界面的TitleBar 和StatusBar  　　修改AndroidManifes
  • Oracle 复习笔记之序列 eksliang Oracle 序列sequenceOracle sequence
    转载请出自出处：http://eksliang.iteye.com/blog/2098859 1.序列的作用 序列是用于生成唯一、连续序号的对象 一般用序列来充当数据库表的主键值 2.创建序列语法如下：   create sequence s_emp start with 1 --开始值 increment by 1 --増长值 maxval
  • 有“品”的程序员 gongmeitao 工作
    完美程序员的10种品质　　   完美程序员的每种品质都有一个范围，这个范围取决于具体的问题和背景。没有能解决所有问题的   完美程序员（至少在我们这个星球上），并且对于特定问题，完美程序员应该具有以下品质： 　　1. 才智非凡- 能够理解问题、能够用清晰可读的代码翻译并表达想法、善于分析并且逻辑思维能力强   （范围：用简单方式解决复杂问题）　　
  • 使用KeleyiSQLHelper类进行分页查询 hvt sql.netC#asp.nethovertree
    本文适用于sql server单主键表或者视图进行分页查询，支持多字段排序。KeleyiSQLHelper类的最新代码请到http://hovertree.codeplex.com/SourceControl/latest下载整个解决方案源代码查看。或者直接在线查看类的代码：http://hovertree.codeplex.com/SourceControl/latest#HoverTree.D
  • SVG 教程 （三）圆形，椭圆，直线 天梯梦 svg
    SVG <circle> SVG 圆形 - <circle> <circle> 标签可用来创建一个圆： 下面是SVG代码： <svg xmlns="http://www.w3.org/2000/svg" version="1.1"> <circle cx="100" c
  • 链表栈 luyulong java数据结构
    public class Node { private Object object; private Node next; public Node() { this.next = null; this.object = null; } public Object getObject() { return object; } public
  • 基础数据结构和算法十：2-3 search tree sunwinner Algorithm2-3 search tree
      Binary search tree works well for a wide variety of applications, but they have poor worst-case performance. Now we introduce a type of binary search tree where costs are guaranteed to be loga
  • spring配置定时任务 stunizhengjia springtimer
    最近因工作的需要，用到了spring的定时任务的功能,觉得spring还是很智能化的,只需要配置一下配置文件就可以了,在此记录一下，以便以后用到：     //------------------------定时任务调用的方法------------------------------ /** * 存储过程定时器 */ publi
  • ITeye 8月技术图书有奖试读获奖名单公布 ITeye管理员 活动
    ITeye携手博文视点举办的8月技术图书有奖试读活动已圆满结束，非常感谢广大用户对本次活动的关注与参与。 8月试读活动回顾： http://webmaster.iteye.com/blog/2102830 本次技术图书试读活动的优秀奖获奖名单及相应作品如下（优秀文章有很多，但名额有限，没获奖并不代表不优秀）： 《跨终端Web》 gleams：http
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他