本文用于连续记录近期关于大模型推理部署的思考和答疑。后续相关问题都追加到本文，不再按每个主题拆成新的文档。
记录格式：
## 问题 N：问题标题
### 我的思考 / 问题
用户提出的问题或阶段性理解。
### 答疑结论
直接结论。
### 扩展知识
相关背景、架构、示例和实践建议。原创...大约 76 分钟
JumpServer 介绍
一、为什么需要堡垒机
以更安全的⽅式管控和登录各种类型的资产。
堡垒机的 4A 能力
- 身份鉴别 Authentication
- 授权控制 Authorization
- 账号管理 Accounting
- 安全审计 Auditing
原创...大约 16 分钟
一、 意义
测试网络性能
二、 网络性能指标
-
带宽（Bandwidth）
- 定义：网络连接在单位时间内能够传输的最大数据量，通常以每秒兆比特（Mbps）或每秒千兆比特（Gbps）来表示。
- 正常范围：取决于网络类型和需求。例如，家庭宽带通常为100 Mbps到1 Gbps；企业网络可能为100 Mbps到10 Gbps或更高。
-
吞吐量（throughput）
- 定义：实际在单位时间内传输的数据量，通常以每秒兆比特（Mbps）来表示。
- 正常范围：理想情况下接近带宽，但由于网络开销和其他因素，实际吞吐量通常比带宽低。
原创...大约 7 分钟
获取 OS 镜像下载链接
通过官网或镜像站[^1]获取下载链接
选择系统架构及所需镜像版本
- Network Install ISO（网络安装 ISO）：
- 特点：这是一个较小的 ISO 镜像，通常只包含基本的安装程序和必要的工具。
- 用途：在安装过程中需要连接到网络，从在线存储库中下载和安装软件包。
- 适用场景：适用于网络环境良好的场合，可以灵活选择和安装最新的软件包和组件。
原创...大约 3 分钟
GPU 直通已成为PVE下获取GPU性能的最佳方案，但独占模式使得GPU变得很局限；比如我有俩个VPS都需要使用GPU，那么加入俩张物理显卡进行分配
当然使用Proxmox VE(PVE)虚拟化的GPU可以通过以下几种方案来实现
- intel GVT-g
- Nvida vGPU
- GPU Passthrough
- Docker-Nvidia
相对来说还是比较灵活，当然每种方案都有利有弊这里会简要的总结一下特点:
| 方案 | 性能 | 运行模式 | 成本 |
|---|---|---|---|
| intel GVT-g | 最低(intel集成显卡) | 多台VPS可同时使用 | 低(随有核显CPU的得到) |
| Nvida vGPU | 高(可控) | 多台VPS可同时使用 | 昂贵且vGPU需商业授权 |
| GPU Passthrough | 高(视显卡型号) | 独占1台VPS来使用 | 按需购买独立显卡 |
| Docker-Nvidia | 较高(视显卡型号) | 宿主独占 多Docker同时使用 | 按需购买独立显卡 |
...大约 10 分钟
一、为什么需要监控系统
监控系统可以实时监控和管理系统、网络设备、应用程序等，帮助运维管理员及时发现和解决问题，提高系统的可用性、安全性和性能，节约运维成本。
二、什么是Zabbix
Zabbix 是一个企业级的开源分布式网络监控解决方案；可用于监视各种IT设备，包括服务器、网络设备、数据库、应用程序等。
- 企业级：Zabbix具有可扩展性、高可用性、安全性、可定制性和易于使用和管理等特点，这使得它成为了一种适合大型企业和组织使用的监控系统。
- 开源：Zabbix是一个开源的监控系统，意味着它是免费的，并且源代码是公开的，可以自由地使用、修改和分发。
- 分布式：Zabbix支持分布式监控，这意味着可以将监控负载分散到多个Zabbix服务器上，从而实现更高的可扩展性和容错性。
原创...大约 8 分钟