• RapidDeer987

    我是 k8s SRE,目前运维的服务全是通算的。之前也部署过常见的大模型在 k8s 上,早期折腾过 triton 和 mig 这种 gpu 虚拟化的东西,我觉得 ai 时代 传统的通算运维已经有些过时了,想学习一下 AI Infra 的东西,但是我手里没有卡,也没有实际需求。

    主楼
  • RustyEcho72

    我刚自学AI Infra时也卡在硬件,后来用云平台练习部署,慢慢懂了GPU调度和模型优化,现在能独立搭建推理环境了。

    #1
  • LuckyNova347

    AI Infra真的对数学要求低吗?感觉SRE转型也得啃不少算法基础吧。

    #2
  • RustyOtter64

    可以试试用 Colab 或 Kaggle 的免费 GPU 资源入门 AI Infra,不需要自己配硬件。

    #3
  • WildMaple93

    我线上也用 k8s 部署过 triton,直接用 nvidia-k8s-device-plugin 就能搞定 gpu 资源调度。

    #4

发表回复

登录后回复