搜索
    首頁 解決方案 技術(shù)解決方案 人工智能
    AI深度學(xué)習(xí)高性能存儲
    YRCloudFile通過標(biāo)準(zhǔn)X86器爲(wèi)AI用戶構(gòu)建一套容量與性能可無限水平擴(kuò)展的分佈式文件存儲,爲(wèi)深度學(xué)習(xí)平臺上萬個客戶端提供併發(fā)訪問支持。
    方案諮詢
    數(shù)據(jù)是推動AI革命的動力
    YRCloudFile通過市場上標(biāo)準(zhǔn)的X86服務(wù)器爲(wèi)AI用戶構(gòu)建一套容量與性能可無限水平擴(kuò)展的分佈式文件存儲,可承載數(shù)百億個幾十KB的小文件,爲(wèi)深度學(xué)習(xí)平臺上萬個客戶端提供併發(fā)訪問支持,滿足AI訓(xùn)練中GPU或CPU計(jì)算集羣的高帶寬、低延時的小文件訪問特性,使GPU等計(jì)算資源得到最大程度的利用,在數(shù)十億文件數(shù)量下仍然能夠提供穩(wěn)定的數(shù)據(jù)訪問性能,有效提升訓(xùn)練效率。
    高性能數(shù)據(jù)訪問縮短訓(xùn)練過程
    高性能存儲縮短了IO訪問路徑
    支持基於RDMA(遠(yuǎn)程直接內(nèi)存訪問)協(xié)議的網(wǎng)絡(luò)(如IB網(wǎng)絡(luò)),提高了數(shù)據(jù)併發(fā)處理的效率
    通過文件系統(tǒng)性能的提升,使GPU持續(xù)處於高效率運(yùn)轉(zhuǎn)狀態(tài),從而縮短深度學(xué)習(xí)訓(xùn)練時間
    承載海量文件將不再成爲(wèi)難題
    深度學(xué)習(xí)訓(xùn)練過程以海量文件爲(wèi)基礎(chǔ),數(shù)據(jù)量的規(guī)模是人工智能企業(yè)提升模型精度的關(guān)鍵手段,各家人工智能企業(yè)通過提取、歸類、分析等處理流程對數(shù)以億計(jì)的圖片和語音文件反覆迭代,從而提高模型的準(zhǔn)確性。
    YRCloudFile元數(shù)據(jù)集羣可按需在線擴(kuò)展,單集羣可承載數(shù)百億文件,文件訪問性能在海量文件場景下無衰減,單個文件系統(tǒng)命名空間承載的文件數(shù)量不再成爲(wèi)深度學(xué)習(xí)的瓶頸。
    多級智能緩存,減少數(shù)據(jù)跨網(wǎng)絡(luò)加載
    AI深度學(xué)習(xí)的模型訓(xùn)練階段,每個訓(xùn)練集數(shù)據(jù)量約幾百GB到幾TB,IO以讀爲(wèi)主,傳統(tǒng)的分佈式文件系統(tǒng)在計(jì)算節(jié)點(diǎn)客戶端只能通過內(nèi)存緩存來提高客戶端的數(shù)據(jù)加載性能,但內(nèi)存緩存空間小、成本高、內(nèi)存置換算法對AI場景沒有針對性優(yōu)化。
    YRCloudFile智能緩存技術(shù),對AI訓(xùn)練任務(wù)完全透明,結(jié)合面向AI場景的置換算法,極大提高訓(xùn)練過程中數(shù)據(jù)加載的命中率,數(shù)據(jù)加載性能可提升近500%。
    爲(wèi)容器化訓(xùn)練任務(wù)提供數(shù)據(jù)
    AI企業(yè)越來越多地藉助Kubernetes編排平臺對訓(xùn)練任務(wù)及GPU等資源進(jìn)行調(diào)度,訓(xùn)練任務(wù)已經(jīng)逐步運(yùn)行在容器中。
    YRCloudFile從產(chǎn)品定位上就設(shè)計(jì)了大量面向容器持久化存儲的功能,包括Persistent Volume級別的Quota配置、QoS限速、ACL控制等。
    這些功能使Kubernetes能對YRCloudFile存儲能力進(jìn)行規(guī)劃和調(diào)度,使訓(xùn)練任務(wù)能通過PV管理和訪問YRCloudFile中的訓(xùn)練數(shù)據(jù)。
    方案優(yōu)勢
    AI頭部企業(yè)的認(rèn)可
    業(yè)界領(lǐng)先的性能水平
    海量小文件的性能無衰減
    支持容器化訓(xùn)練任務(wù)
    YRCloudFile 高性能分佈式文件存儲產(chǎn)品架構(gòu)圖
    相關(guān)產(chǎn)品
    YRCloudFile 高性能分佈式文件存儲
    YRCloudFile是焱融科技推出的一款高性能分佈式文件存儲系統(tǒng),提供高性能、高可用、高擴(kuò)展的文件訪問接口,支持 Kubernetes 等主 流容器編排框架,並率先在多種雲(yún)環(huán)境下,提供容器持久化存儲。 更多
    YRCloudFile是焱融科技推出的一款高性能分佈式文件存儲系統(tǒng),提供高性能、高可用、高擴(kuò)展的文件訪問接口,支持 Kubernetes 等主 流容器編排框架,並率先在多種雲(yún)環(huán)境下,提供容器持久化存儲。 收起
    產(chǎn)品諮詢
    F8000X 系列全閃存儲一體機(jī)
    全閃分佈式存儲一體機(jī)焱融追光 F8000X 系列,是焱融科技爲(wèi)了完美匹配 GPU 數(shù)據(jù)處理需求,傾力打造的新一代全閃分佈式文件存儲一體機(jī)產(chǎn)品。搭載第三代 AMD EPYC 計(jì)算平臺和焱融高性能分佈式文件存儲系統(tǒng) YRCloudFile ,採用全 NVMe SSD、InfiniBand 高速網(wǎng)絡(luò),支持 RDMA,以極高性能充分釋放數(shù)據(jù)潛力。 更多
    全閃分佈式存儲一體機(jī)焱融追光 F8000X 系列,是焱融科技爲(wèi)了完美匹配 GPU 數(shù)據(jù)處理需求,傾力打造的新一代全閃分佈式文件存儲一體機(jī)產(chǎn)品。搭載第三代 AMD EPYC 計(jì)算平臺和焱融高性能分佈式文件存儲系統(tǒng) YRCloudFile ,採用全 NVMe SSD、InfiniBand 高速網(wǎng)絡(luò),支持 RDMA,以極高性能充分釋放數(shù)據(jù)潛力。 收起
    產(chǎn)品諮詢
    97无码久久久久中文字幕精品,成 人免费va视频无码,日韩黄片在线大全,在线观看91精品国产免费