隨著生成式AI(GenAI)的快速發展，使用者對於大型語言模型的應用需求與日俱增。基於對應用場景與多租戶的需求，本院開發多租戶大語言模型部署系統，透過彈性的模型供裝機制與資源調度技術，協助使用者快速導入並應用各類開源語言模型，加速創新應用的開發。系統具備三大特色：

(1)開源語言模型隨選供裝

系統提供一站式開源語言模型部署服務，支援使用者快速選用並部署所需的開源模型。透過標準化的模型封裝與自動化部署流程，大幅降低模型導入的技術門檻，使使用者可在數小時內完成模型部署，較傳統方式縮短90%部署時間。目前已整合超過10種主流開源大語言模型，涵蓋不同參數規模與專業領域，讓使用者能依據應用情境靈活選用最適合的模型。

(2)多租戶隔離與資源管理

運用容器化技術實現租戶間強而有效的隔離，以確保不同使用者的模型運算環境與資料完全隔離。透過資源配額管理，每個租戶都能獲得專屬且穩定的運算資源，避免互相干擾。同時，系統整合了Kubernetes編排技術，實現了模型服務的自動擴展與縮減，可依實際負載動態調整運算資源，有效平衡性能與成本。

(3)GPU虛擬化技術

採用Nvidia 相容的GPU虛擬化技術，實現運算資源的細粒度分配與共享。透過虛擬化層的設計，單一實體GPU可同時支援多個模型的推理運算，大幅提升硬體資源使用效率。本虛擬化方案支援動態記憶體分配，能根據不同語言模型的需求特性，自動調整GPU記憶體配置，預期可將GPU使用效率提升至85%以上。

整體而言，多租戶大型語言模型部署平台為使用者提供了一個高效且靈活的GenAI應用基礎架構。透過創新的技術方案，大幅降低開源語言模型的部署門檻，並實現運算資源的最佳化利用，後續將持續強化平台功能，擴充支援模型類型，協助更多使用者發揮生成式AI的應用價值。

隨著生成式AI技術的進步，本院將進一步優化模型的多租戶管理機制，提升系統的資源利用率和服務效率。未來將計劃結合更多的開源語言模型，並開發專屬的插件，為各領域的 GenAI 應用提供更專門及高效的技術支持。