搜索
    首頁 解決方案 技術(shù)解決方案 人工智能
    AI深度學(xué)習(xí)高性能存儲
    YRCloudFile通過標準X86器為AI用戶構(gòu)建一套容量與性能可無限水平擴展的分布式文件存儲,為深度學(xué)習(xí)平臺上萬個客戶端提供并發(fā)訪問支持。
    方案咨詢
    數(shù)據(jù)是推動AI革命的動力
    YRCloudFile通過市場上標準的X86服務(wù)器為AI用戶構(gòu)建一套容量與性能可無限水平擴展的分布式文件存儲,可承載數(shù)百億個幾十KB的小文件,為深度學(xué)習(xí)平臺上萬個客戶端提供并發(fā)訪問支持,滿足AI訓(xùn)練中GPU或CPU計算集群的高帶寬、低延時的小文件訪問特性,使GPU等計算資源得到最大程度的利用,在數(shù)十億文件數(shù)量下仍然能夠提供穩(wěn)定的數(shù)據(jù)訪問性能,有效提升訓(xùn)練效率。
    高性能數(shù)據(jù)訪問縮短訓(xùn)練過程
    高性能存儲縮短了IO訪問路徑
    支持基于RDMA(遠程直接內(nèi)存訪問)協(xié)議的網(wǎng)絡(luò)(如IB網(wǎng)絡(luò)),提高了數(shù)據(jù)并發(fā)處理的效率
    通過文件系統(tǒng)性能的提升,使GPU持續(xù)處于高效率運轉(zhuǎn)狀態(tài),從而縮短深度學(xué)習(xí)訓(xùn)練時間
    承載海量文件將不再成為難題
    深度學(xué)習(xí)訓(xùn)練過程以海量文件為基礎(chǔ),數(shù)據(jù)量的規(guī)模是人工智能企業(yè)提升模型精度的關(guān)鍵手段,各家人工智能企業(yè)通過提取、歸類、分析等處理流程對數(shù)以億計的圖片和語音文件反復(fù)迭代,從而提高模型的準確性。
    YRCloudFile元數(shù)據(jù)集群可按需在線擴展,單集群可承載數(shù)百億文件,文件訪問性能在海量文件場景下無衰減,單個文件系統(tǒng)命名空間承載的文件數(shù)量不再成為深度學(xué)習(xí)的瓶頸。
    多級智能緩存,減少數(shù)據(jù)跨網(wǎng)絡(luò)加載
    AI深度學(xué)習(xí)的模型訓(xùn)練階段,每個訓(xùn)練集數(shù)據(jù)量約幾百GB到幾TB,IO以讀為主,傳統(tǒng)的分布式文件系統(tǒng)在計算節(jié)點客戶端只能通過內(nèi)存緩存來提高客戶端的數(shù)據(jù)加載性能,但內(nèi)存緩存空間小、成本高、內(nèi)存置換算法對AI場景沒有針對性優(yōu)化。
    YRCloudFile智能緩存技術(shù),對AI訓(xùn)練任務(wù)完全透明,結(jié)合面向AI場景的置換算法,極大提高訓(xùn)練過程中數(shù)據(jù)加載的命中率,數(shù)據(jù)加載性能可提升近500%。
    為容器化訓(xùn)練任務(wù)提供數(shù)據(jù)
    AI企業(yè)越來越多地借助Kubernetes編排平臺對訓(xùn)練任務(wù)及GPU等資源進行調(diào)度,訓(xùn)練任務(wù)已經(jīng)逐步運行在容器中。
    YRCloudFile從產(chǎn)品定位上就設(shè)計了大量面向容器持久化存儲的功能,包括Persistent Volume級別的Quota配置、QoS限速、ACL控制等。
    這些功能使Kubernetes能對YRCloudFile存儲能力進行規(guī)劃和調(diào)度,使訓(xùn)練任務(wù)能通過PV管理和訪問YRCloudFile中的訓(xùn)練數(shù)據(jù)。
    方案優(yōu)勢
    AI頭部企業(yè)的認可
    業(yè)界領(lǐng)先的性能水平
    海量小文件的性能無衰減
    支持容器化訓(xùn)練任務(wù)
    YRCloudFile 高性能分布式文件存儲產(chǎn)品架構(gòu)圖
    相關(guān)產(chǎn)品
    YRCloudFile 高性能分布式文件存儲
    YRCloudFile是焱融科技推出的一款高性能分布式文件存儲系統(tǒng),提供高性能、高可用、高擴展的文件訪問接口,支持 Kubernetes 等主 流容器編排框架,并率先在多種云環(huán)境下,提供容器持久化存儲。 更多
    YRCloudFile是焱融科技推出的一款高性能分布式文件存儲系統(tǒng),提供高性能、高可用、高擴展的文件訪問接口,支持 Kubernetes 等主 流容器編排框架,并率先在多種云環(huán)境下,提供容器持久化存儲。 收起
    產(chǎn)品咨詢
    F8000X 系列全閃存儲一體機
    全閃分布式存儲一體機焱融追光 F8000X 系列,是焱融科技為了完美匹配 GPU 數(shù)據(jù)處理需求,傾力打造的新一代全閃分布式文件存儲一體機產(chǎn)品。搭載第三代 AMD EPYC 計算平臺和焱融高性能分布式文件存儲系統(tǒng) YRCloudFile ,采用全 NVMe SSD、InfiniBand 高速網(wǎng)絡(luò),支持 RDMA,以極高性能充分釋放數(shù)據(jù)潛力。 更多
    全閃分布式存儲一體機焱融追光 F8000X 系列,是焱融科技為了完美匹配 GPU 數(shù)據(jù)處理需求,傾力打造的新一代全閃分布式文件存儲一體機產(chǎn)品。搭載第三代 AMD EPYC 計算平臺和焱融高性能分布式文件存儲系統(tǒng) YRCloudFile ,采用全 NVMe SSD、InfiniBand 高速網(wǎng)絡(luò),支持 RDMA,以極高性能充分釋放數(shù)據(jù)潛力。 收起
    產(chǎn)品咨詢
    97无码久久久久中文字幕精品,成 人免费va视频无码,日韩黄片在线大全,在线观看91精品国产免费