Official Blog
國網中心算圖農場透過全快閃設備突破資料傳輸效能瓶頸
Sandra Tseng
2020-07-24

國網中心算圖農場透過全快閃設備突破資料傳輸效能瓶頸

「過去在 HPC (高效能運算) 平台中,儲存是配角,但在雲端 3D 影像運算這個領域,儲存會是個重要角色。」國家實驗研究院國家高速網路與計算中心(簡稱國網中心)算圖農場計畫主持人、藝術科技運算組組長郭嘉真博士指出,國網中心在 2019 年全新升級的算圖農場服務中,Synology 儲存設備提供了穩定有效的支援。「整體而言,雲端服務不再只是單一的技術供應而已,我們很開心可以跟國內優秀的儲存廠商合作,這也讓我們相信,國內的儲存能量已經走到可支撐雲端服務系統的量級。」

3D 影像運算內容,儲存設備 I/O 需求提高

國網中心成立於 1991 年,擁有全台灣唯一的大型計算平台,透過此平台,國內外各領域研發團隊可執行 HPC 高速運算服務。平台服務對象起初以資訊、理工背景的數學方程式、資料庫運算等為主,但隨影像處理需求增加,國網中心也開始強化 3D 影像等圖形分析處理的運算能力,並於 2011 年推出台灣唯一一座結合 3D 動畫軟體、特效模擬計算軟體以及雲端排程服務的 3D 雲端算圖農場,協助國內影視動畫業者,在短時間內將各類 3D 電影的呈現結果運算出來。

運算內容的差異推動國網中心升級儲存架構。過去理工資料以文數字為主的高速運算需求,專注在 CPU RAM 等核心資源上即可;但在 3D 影像運算中,除了核心運算外,也需要高速的儲存空間來暫存 3D 電影算圖後的影像結果。「3D 影片運算過程所產生的資料量非常龐大,以好萊塢等級的 3D 動畫為例,檔案都是 TB 等級,儲存設備的 I/O 速度需要能跟上系統,才能滿足創作需求。」

(3D影片過程中所產生的資料量非常龐大,儲存設備的I/O速度需要能跟上系統,才能讓3D算圖的效率滿足創作需求。圖為第八屆HPC功夫─國網3D動畫全國大賽冠軍作品《調情師The Perfumer》劇照。)

不到一半成本,實際效能更勝國際品牌

國網中心算圖農場團隊表示,在評估儲存系統的建置時,曾比較過 Synology 與其他國際一線儲存品牌的差異。以建置成本來看,其它品牌每 TB 單位成本至少都是 Synology 的兩到三倍。「國外品牌的價格並不是那麼透明,常常要購買設備後才能確切知道效能以及後續維護成本,加上綁定硬碟規格,整體耗費成本相當巨大。相較之下,Synology 設備與搭配硬碟的價錢都十分透明,在採購時就能確切掌握成本,並評估後續維護費用。」

即便價格平易近人,Synology 在效能的表現上卻也毫不遜色。當初國網中心也設立 Benchmark 來測試 Synology RS3617xs+ 與他牌設備,「讓我們感到相當驚訝的是,RS3617xs+ 在效能上取勝,傳輸速度甚至快了 100MB/s 左右。Synology 的整體效能以及性價比,都有非常大的優勢。」

導入 Synology 滿足高速、大容量儲存與資料備援等需求

國網中心最後在新竹本部與台中分部兩地機房分別部署了三台 Synology 儲存設備,其中,台中部署一台 RS3617xs+ 作為主要的儲存裝置,透過 CIFS 掛載用於儲存算圖、點雲資料,在連接兩個擴充櫃後,總容量達到超過百 TB,並於新竹部署一台 DS3617xs 作為備份儲存。而在快閃儲存部分,國網中心採用 FS3017 部份作為虛擬機的 Datastore,以加快桌面 VDI 與虛擬機開啟的速度,另外一部份作為中繼的儲存裝置,因應大量的小檔存取需求,加快檔案的開啟與運算速度。

全閃存乘載 VM 在線算圖,傳輸效能提升三至四倍

算圖農場將影像工作的製程都搬上雲端,倚賴的是 Synology 全快閃儲存機種 FS3017。目前,算圖農場上的虛擬機器同時算圖的機器近百個,這些虛擬機都放在 FS3017 上,透過全快閃儲存的特性,除了能同時乘載多組用戶製作影視作品之外,也加快用戶在啟動算圖工作時的速度,並縮短等待時間,讓作品的產出流程更順利。此外, FS3017 同樣提供了優異的隨機存取速度,透過安裝 Synology VAAI Plug-in,資料複製速度從過去約四十分鐘縮短到幾分鐘內完成,整體效能估計提升三到四倍。

內建快照功能,用戶誤刪 1TB 檔案也能快速復原

為完善資料保護與備援,國網中心運用 Snapshot Replication 快照功能建立不同天期的資料備份,並以 Hyper Backup 執行異地備份。而讓團隊印象深刻的是,國網中心每年皆會舉辦全國 3D 動畫比賽,曾有參賽團隊誤刪多達 1TB 的檔案,但透過能還原到特定時間點的多版本備份,成功取回檔案。算圖農場團隊認為, Synology 的系統操作介面非常易於使用,只要開設特定權限,就能讓非 IT 專業的使用者自行至檔案總管取回所需檔案,透過完整的資料備援機制,讓算圖農場在提供對外服務時,確實滿足用戶需求。

「國網中心算圖農場資源目前支援越來越多影視團隊的創作需求,而背後其中一個重要角色,莫過於高效的儲存。」國網中心算圖農場團隊指出,「Synology 提供算圖農場穩定有效的儲存,如果其它國際級單位有儲存需求,我們會推薦優秀的臺灣品牌。」