跳到主要内容
更新时间：2025-08-25 06:44:09

增加：SSD是什么，SSD什么时候怎么用；SSD使用的注意事项；

SSD数据是否为长期保存数据，若不是长期保存，如何与共享存储做数据转移；

如何使用本地盘SSD

【本地盘SSD】本地数据盘是计算节点本地的高性能SSD，一般为NVMe SSD。适用于需要频繁读写大文件、临时数据缓存等场景。本地数据盘的性能高于共享文件存储，它的生命周期与任务相同，任务结束后对应本地数据盘会被回收，请勿存储需持久化的重要数据。

功能价值​

提升AI训练、数据预处理等任务的I/O性能，降低临时文件存储成本。

功能概述​

当选择A100计算卡时，可申请挂载高性能本地SSD：

  • 挂载路径：/localdisk-tmp；
  • 性能有数：比普通云盘读写速度快10倍+；
  • 数据生命周期：任务结束后自动清空（非持久化数据）；

操作步骤​

1. 创建开发环境任务​

drawio_01aa15e8551.png

2. 任务内操作​

  • 在代码/脚本中将临时文件路径指向：
# python示例：
tem_path = "/localdisk-tmp/experiment_123"
  • 任务运行时检查挂载状态：
bash
df -h | grep localdisk  # 查看SSD使用情况

3.高校用户场景指南​

场景1：大规模数据集预处理​

# 传统方式
! tar -xvf /data/dataset.tar → 耗时25分钟  

# 使用本地SSD
! cp /data/dataset.tar /localdisk-tmp  
! tar -xvf /localdisk-tmp/dataset.tar → 仅需2分钟

场景2：实验中间结果缓存​

# 将迭代中的checkpoint暂存SSD
for epoch in range(100):
    torch.save(model, f"/localdisk-tmp/epoch_{epoch}.pt")
    # 每10epoch持久化到云存储
    if epoch % 10 == 0:
        ! cp /localdisk-tmp/epoch_{epoch}.pt /mnt/nas/checkpoints/

4.数据迁移操作​

必须手动迁移的场景：​

  • 需在任务结束前将重要数据移出SSD

迁移命令示例：​

# 同步中间结果到NAS（推荐rsync增量同步）
rsync -av --progress /localdisk-tmp/interim_results/ /mnt/nas/project_202/

# 压缩后上传至对象存储
tar -czf /localdisk-tmp/logs.tar.gz /localdisk-tmp/logs
ossutil cp /localdisk-tmp/logs.tar.gz oss://your-bucket/

5.关键注意事项​

数据风险预警​

  • 任务主动终止/系统故障/超时自动释放→SSD数据立即清空；
  • 防护建议：每小时自动备份关键数据脚本示例：
*/30 * * * * rsync -a /localdisk-tmp/important_data /mnt/nas/backups/

最佳实践​

  • 将SSD作为/tmp 目录的符号链接：
ln -s /localdisk-tmp /tmp  # 兼容临时文件默认路径
  • 任务结束前添加自检脚本：
if os.path.exists("/localdisk-tmp/final_results"):
    send_email_alert("未迁移的实验结果！")
最后于 更新