梧州學院電子信息與人工智能學院
項目背景
客戶需要將已采購的二十多臺服務器資源管理起來，用于老師科研，并且需要在平臺上對不同型號的GPU服務器做監管，其中包括購買的華為服務器和華為升騰顯卡，上百萬的服務器一直沒有用起來，處于閑置狀態，另外學院還有Intel 、AMD的服務器無法統一管理。
華為服務器：CPU配置4*huawei 鯤鵬920，內存：1t，顯卡：8*昇騰910B（32G顯存）
華三服務器：CPU配置2*Intel 5320，內存:4*64GB，顯卡:NVIDIA 7*A10（24GB顯存）
通過AI Paas在虛擬機中安裝華為AI 大模型，將服務器資源利用起來
華為服務器4塊顯卡直通、4塊顯卡做虛擬化，底層部署歐拉虛擬機
不同架構CPU、顯卡在同一平臺管理，實現資源靈活調用，科研老師通過申請定制周期桌面，使用后自動釋放桌面資源
項目概況
電子信息與人工智能學院由原來的大數據與軟件工程學院和電子與信息工程學院合并，教師科研力量提高，和華為共建廣西首個“華為開發者創新中心”，和京東科技共建“梧州學院-京東AI智能實驗室”，學院對高算力資源需求增大，但是如何高效利用這些算力資源是個難題，尤其是在華為服務器中部署AI 大模型，滿足訓練與科研使用，同時，學院不同老師使用的資源大小不一，資源什么時候釋放也沒有平臺做統一管理，因此需要將異構服務器能夠統一納管，靈活調度。
應用場景
-
部署華為AI大模型，用于AI日常訓練及項目科研
-
資源納管包括：移動渲染顯卡、高性能數據處理工作站、國產服務器、GPU服務器、NVIDIA TESLA A100 80G GPU、NVIDIA RTX3090 24G GPU、NVIDIA A40 48G GPU計算卡、NVIDIA Tesla A10 24G GPU計算卡
-
教學平臺系統：人工智能設備智能機器人、大數據開發平臺、機器視覺教學研究創新實驗平臺等
應用價值
-
將服務器不同的顯卡資源動態分配出去并且能夠回收
-
能夠實現公網映射，不同賬號分配對應顯卡資源，并且管理平臺能夠對不同顯卡資源統一管理
-
滿足教師科研使用之后，可以開放給學生教學使用，提高資源利用率
建設效果
|
|
|
