[Čína, Shenzhen, 14. července 2023] Společnost Huawei dnes představila své nové řešení úložiště AI pro éru velkých modelů, které poskytuje optimální řešení úložiště pro základní školení modelů, školení modelů specifických pro odvětví a odvození v segmentovaných scénářích. uvolnění nových schopností umělé inteligence.
Při vývoji a implementaci rozsáhlých modelových aplikací čelí podniky čtyřem hlavním výzvám:
Za prvé, čas potřebný na přípravu dat je dlouhý, zdroje dat jsou rozptýlené a agregace je pomalá, přičemž předzpracování stovek terabajtů dat trvá asi 10 dní. Za druhé, u multimodálních velkých modelů s masivními textovými a obrázkovými datovými sadami je aktuální rychlost načítání velkých malých souborů nižší než 100 MB/s, což má za následek nízkou efektivitu načítání cvičné sady. Za třetí, časté úpravy parametrů u velkých modelů spolu s nestabilními tréninkovými platformami způsobují přerušení tréninku přibližně každé 2 dny, což vyžaduje mechanismus Checkpoint k obnovení tréninku, přičemž zotavení zabere jeden den. A konečně vysoké limity implementace pro velké modely, složité nastavení systému, problémy s plánováním zdrojů a využití zdrojů GPU často pod 40 %.
Huawei se přizpůsobuje trendu vývoje AI v éře velkých modelů a nabízí řešení šitá na míru pro různá odvětví a scénáře. Představuje OceanStor A310 Deep Learning Data Lake Storage a FusionCube A3000 Training/Inference Super-Converged Appliance. Úložiště OceanStor A310 Deep Learning Data Lake Storage se zaměřuje na základní i průmyslové scénáře velkých modelových datových jezer, čímž dosahuje komplexní správy dat AI od agregace dat, předběžného zpracování až po trénování modelů a aplikace odvození. OceanStor A310 v jediném racku 5U podporuje špičkovou šířku pásma 400 GB/s a až 12 milionů IOPS s lineární škálovatelností až 4096 uzlů, což umožňuje bezproblémovou komunikaci napříč protokoly. Globální systém souborů (GFS) usnadňuje inteligentní propojování dat napříč regiony a zefektivňuje procesy agregace dat. Near-storage computing realizuje předzpracování téměř dat, snižuje pohyb dat a zvyšuje efektivitu předběžného zpracování o 30 %.
Super-konvergované zařízení FusionCube A3000 Training/Inference, navržené pro tréninkové/inferenční scénáře velkých modelů na průmyslové úrovni, se stará o aplikace zahrnující modely s miliardami parametrů. Integruje vysoce výkonné úložné uzly OceanStor A300, školicí/odvozovací uzly, přepínací zařízení, software platformy AI a software pro správu a provoz a poskytuje velkým modelovým partnerům možnost nasazení plug-and-play pro jednorázové dodání. Připraveno k použití, lze jej nasadit do 2 hodin. Jak tréninkové/inferenční, tak úložné uzly lze nezávisle a horizontálně rozšiřovat tak, aby odpovídaly různým požadavkům na modelové měřítko. Mezitím FusionCube A3000 využívá vysoce výkonné kontejnery, které umožňují vícenásobné trénování modelů a úlohy odvození pro sdílení GPU, čímž se zvyšuje využití zdrojů ze 40 % na více než 70 %. FusionCube A3000 podporuje dva flexibilní obchodní modely: Huawei Ascend One-Stop Solution a partnerské komplexní řešení třetích stran s otevřeným softwarem pro výpočetní, síťové a AI platformy.
Zhou Yuefeng, prezident produktové řady datových úložišť společnosti Huawei, prohlásil: „V éře velkých modelů určují data výšku inteligence AI. Jako nosič dat se úložiště dat stává klíčovou základní infrastrukturou pro rozsáhlé modely umělé inteligence. Huawei Data Storage bude i nadále inovovat, poskytovat diverzifikovaná řešení a produkty pro éru velkých modelů AI a spolupracovat s partnery na posílení AI v celé řadě průmyslových odvětví.“
Čas odeslání: srpen-01-2023
