本页PDF

阿里云镜像：-i https://mirrors.aliyun.com/pypi/simple/

nvidia-smi：针对N卡，查看GPU型号，显存使用情况，使用率等

lscpu：查看cpu的信息

• P-core：性能核心（支持超线程，可以虚拟化为2个核心）
• E-core：能效核心（不支持超线程）

本页PDF

如果碰到服务器无法访问外网情况，可设置环境变量

• 在文件开始写入这两行代码，代表访问HG的镜像社区

  import os
  os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'

• 或者在终端输入 export USE_MODELSCOPE_HUB=1或者export HF_ENDPOINT=https://hf-mirror.com

本页PDF

模型压缩三部分优化：

1. 减少内存密集的范围量
2. 提高获取模型参数时间
3. 加速模型推理时间

模型剪枝（Pruning）

研究模型权重的冗余，尝试删除/修改冗余或者非关键权重，会改变模型参数量