搜索
    首頁(yè) 解決方案 技術(shù)解決方案 人工智能
    AI深度學(xué)習(xí)高性能存儲(chǔ)
    YRCloudFile通過標(biāo)準(zhǔn)X86器為AI用戶構(gòu)建一套容量與性能可無限水平擴(kuò)展的分布式文件存儲(chǔ),為深度學(xué)習(xí)平臺(tái)上萬個(gè)客戶端提供并發(fā)訪問支持。
    方案咨詢
    數(shù)據(jù)是推動(dòng)AI革命的動(dòng)力
    YRCloudFile通過市場(chǎng)上標(biāo)準(zhǔn)的X86服務(wù)器為AI用戶構(gòu)建一套容量與性能可無限水平擴(kuò)展的分布式文件存儲(chǔ),可承載數(shù)百億個(gè)幾十KB的小文件,為深度學(xué)習(xí)平臺(tái)上萬個(gè)客戶端提供并發(fā)訪問支持,滿足AI訓(xùn)練中GPU或CPU計(jì)算集群的高帶寬、低延時(shí)的小文件訪問特性,使GPU等計(jì)算資源得到最大程度的利用,在數(shù)十億文件數(shù)量下仍然能夠提供穩(wěn)定的數(shù)據(jù)訪問性能,有效提升訓(xùn)練效率。
    高性能數(shù)據(jù)訪問縮短訓(xùn)練過程
    高性能存儲(chǔ)縮短了IO訪問路徑
    支持基于RDMA(遠(yuǎn)程直接內(nèi)存訪問)協(xié)議的網(wǎng)絡(luò)(如IB網(wǎng)絡(luò)),提高了數(shù)據(jù)并發(fā)處理的效率
    通過文件系統(tǒng)性能的提升,使GPU持續(xù)處于高效率運(yùn)轉(zhuǎn)狀態(tài),從而縮短深度學(xué)習(xí)訓(xùn)練時(shí)間
    承載海量文件將不再成為難題
    深度學(xué)習(xí)訓(xùn)練過程以海量文件為基礎(chǔ),數(shù)據(jù)量的規(guī)模是人工智能企業(yè)提升模型精度的關(guān)鍵手段,各家人工智能企業(yè)通過提取、歸類、分析等處理流程對(duì)數(shù)以億計(jì)的圖片和語音文件反復(fù)迭代,從而提高模型的準(zhǔn)確性。
    YRCloudFile元數(shù)據(jù)集群可按需在線擴(kuò)展,單集群可承載數(shù)百億文件,文件訪問性能在海量文件場(chǎng)景下無衰減,單個(gè)文件系統(tǒng)命名空間承載的文件數(shù)量不再成為深度學(xué)習(xí)的瓶頸。
    多級(jí)智能緩存,減少數(shù)據(jù)跨網(wǎng)絡(luò)加載
    AI深度學(xué)習(xí)的模型訓(xùn)練階段,每個(gè)訓(xùn)練集數(shù)據(jù)量約幾百GB到幾TB,IO以讀為主,傳統(tǒng)的分布式文件系統(tǒng)在計(jì)算節(jié)點(diǎn)客戶端只能通過內(nèi)存緩存來提高客戶端的數(shù)據(jù)加載性能,但內(nèi)存緩存空間小、成本高、內(nèi)存置換算法對(duì)AI場(chǎng)景沒有針對(duì)性優(yōu)化。
    YRCloudFile智能緩存技術(shù),對(duì)AI訓(xùn)練任務(wù)完全透明,結(jié)合面向AI場(chǎng)景的置換算法,極大提高訓(xùn)練過程中數(shù)據(jù)加載的命中率,數(shù)據(jù)加載性能可提升近500%。
    為容器化訓(xùn)練任務(wù)提供數(shù)據(jù)
    AI企業(yè)越來越多地借助Kubernetes編排平臺(tái)對(duì)訓(xùn)練任務(wù)及GPU等資源進(jìn)行調(diào)度,訓(xùn)練任務(wù)已經(jīng)逐步運(yùn)行在容器中。
    YRCloudFile從產(chǎn)品定位上就設(shè)計(jì)了大量面向容器持久化存儲(chǔ)的功能,包括Persistent Volume級(jí)別的Quota配置、QoS限速、ACL控制等。
    這些功能使Kubernetes能對(duì)YRCloudFile存儲(chǔ)能力進(jìn)行規(guī)劃和調(diào)度,使訓(xùn)練任務(wù)能通過PV管理和訪問YRCloudFile中的訓(xùn)練數(shù)據(jù)。
    方案優(yōu)勢(shì)
    AI頭部企業(yè)的認(rèn)可
    業(yè)界領(lǐng)先的性能水平
    海量小文件的性能無衰減
    支持容器化訓(xùn)練任務(wù)
    YRCloudFile 高性能分布式文件存儲(chǔ)產(chǎn)品架構(gòu)圖
    相關(guān)產(chǎn)品
    YRCloudFile 高性能分布式文件存儲(chǔ)
    YRCloudFile是焱融科技推出的一款高性能分布式文件存儲(chǔ)系統(tǒng),提供高性能、高可用、高擴(kuò)展的文件訪問接口,支持 Kubernetes 等主 流容器編排框架,并率先在多種云環(huán)境下,提供容器持久化存儲(chǔ)。 更多
    YRCloudFile是焱融科技推出的一款高性能分布式文件存儲(chǔ)系統(tǒng),提供高性能、高可用、高擴(kuò)展的文件訪問接口,支持 Kubernetes 等主 流容器編排框架,并率先在多種云環(huán)境下,提供容器持久化存儲(chǔ)。 收起
    產(chǎn)品咨詢
    F8000X 系列全閃存儲(chǔ)一體機(jī)
    全閃分布式存儲(chǔ)一體機(jī)焱融追光 F8000X 系列,是焱融科技為了完美匹配 GPU 數(shù)據(jù)處理需求,傾力打造的新一代全閃分布式文件存儲(chǔ)一體機(jī)產(chǎn)品。搭載第三代 AMD EPYC 計(jì)算平臺(tái)和焱融高性能分布式文件存儲(chǔ)系統(tǒng) YRCloudFile ,采用全 NVMe SSD、InfiniBand 高速網(wǎng)絡(luò),支持 RDMA,以極高性能充分釋放數(shù)據(jù)潛力。 更多
    全閃分布式存儲(chǔ)一體機(jī)焱融追光 F8000X 系列,是焱融科技為了完美匹配 GPU 數(shù)據(jù)處理需求,傾力打造的新一代全閃分布式文件存儲(chǔ)一體機(jī)產(chǎn)品。搭載第三代 AMD EPYC 計(jì)算平臺(tái)和焱融高性能分布式文件存儲(chǔ)系統(tǒng) YRCloudFile ,采用全 NVMe SSD、InfiniBand 高速網(wǎng)絡(luò),支持 RDMA,以極高性能充分釋放數(shù)據(jù)潛力。 收起
    產(chǎn)品咨詢
    97无码久久久久中文字幕精品,成 人免费va视频无码,日韩黄片在线大全,在线观看91精品国产免费