在张北,阿里的“算力天路”

在张北,阿里的“算力天路”

在河北张家口市张北县,有这样一条“草原天路”。全长130多公里,好比一条蛟龙,蓝天相接、白云呼应,驭车其上仿佛漫步在云端,故有“天路”之称。过去几年间,不少游客慕名而来。而在张北,阿里云也启动了一座智算中心。和该中心一起启动的,还有位于内蒙古乌兰察布的超级智算中心,它们均基于飞天智算平台。

其中,张北智算中心单集群规模达到12EFLOPS,是目前全球最大的智算中心。其还结合达摩院AI大规模训练模型、AI Earth、数字人等技术。乌兰察布智算中心的建设规模为3EFLOPS,旨在服务自动驾驶、生物制药、科学探索、元宇宙等场景。两大智算中心也将结合相关产业,形成因地制宜的产业联盟,共同推动区域数字经济的发展。

高性能、高效率和“一云多芯”

算法、数据和算力,被称为拉动AI技术发展的三驾马车,其中算力尤为重要,是AI得以不断发展的的基础。“十三五”期间,中国算力总规模增长近5倍,通用算力仅增长了大约3倍,而AI智能算力却增长了近百倍。

8月30日,除启动两座智算中心之外,飞天智算平台也于当日发布。其由算力底座“灵骏”支持,千卡并行计算效率可达到90%,能让AI训练效率提高11倍,AI推理效率提高6倍。其还支持多种芯片类型,能实现GPU、CPU、NPU等处理的混合部署和统一调度,从而做到“一云多芯”。

AI发展到今天,除了对算力有要求,也对效率、环保和智能提出了更高要求。阿里云智算系统的负责人曹政表示,为了满足AI在效率时代的新需求,在开发飞天智算中心的过程中,研发人员尤其重视超大规模智能算力池的能力、超高计算效率的能力、以及释放多元芯片的能力。

首先,为了达到超大规模智能算力池的能力,实现根据业务需求将算力进行智能效率分配,在飞天智算平台的计算存储分离架构上、以及高性能自算网络的自研上,阿里云付出了诸多努力。

一般来说,计算存储分离架构能让计算和存储的发展互相解耦,从而分别满足计算和存储的不同需求。而研发团队在该架构的基础上,进一步实现了通用计算和异构计算的再分离,使二者可分别按照需求进行独立耦合。基于此,该算力池可通过解耦的融合,实现多元算力的融合。例如,高性能计算中常用的FP64、AI训练中常用的FP32、推理中所用的FP16、以及控制所用的INT型的多元算力,都能在这一平台中解耦融合。

算力池的构建也依赖于高性能智算网络的能力,而飞天智算平台则通过自研网络Solar-RDMA,实现了端到端延时仅为2微秒,能支持100G-200G的跨代兼容,让基础设施的资源利用率得以最大化。

其次,鉴于AI计算普遍有着超高计算效率的需求。飞天智算平台可提供近似于线性的并行计算加速比,从而让硬件损耗效率更低、AI转化效率更高。

计算中心所消耗的能量,除了最终用于计算,还有一部分用于数据读取、移动以及虚拟化等,这些用于非计算方面的计算资源,便是算力的损耗。

为了减少算力损耗、提高计算效率,飞天智算中心做了如下攻坚工作:例如,为了最小化IO读取的损耗,开发团队自研了KSpeed IO库,不仅能在计算存储分离架构的基础上实现近端缓存,将数据放置于离消费最近的地方,还能把整个AI数据的流水线进行重构,将数据预处理与加载完全并行,借此带来最高10倍的IO性能提升。

同时,为提高计算效率,研发团队在通信上“发力”,实现了高性能的RDMA网络能力,并通过优化算法的方式,让应用通信特征与底层硬件特征得到更好的匹配。

通过以上耕耘,飞天智算平台将计算损耗最小化,在实现资源增加的同时,让算力也得到线性增长,进而让所提供的智算服务,在云弹性的基础上叠加一层效率保障。

最后,由于不同应用对算力的需求是多种多样的,平台还得具备发挥每一种芯片的能力,通过增值、组合等手段来满足不同需求。

飞天智算平台的“一云多芯”,可以释放多元芯片的算力,无论是X86还是ARM通用处理器,亦无论是GPU还是NPU加速器,平台都能进行统一调度和管理。

算力底座“灵骏”,用“一抹草原绿”助力开发者

正是高性能、高效率、“一云多芯”的能力,构成了飞天智算平台的算力底座——灵骏。灵骏得以问世,不仅有内部研发人员的充分打磨,也经历了外部行业的验证,帮助算力真正贴近于生产,更有效地将算力转化为生产力。

2022年8月,由阿里云和小鹏汽车合建的的乌兰察布智算中心,正是由灵骏做支持,其训练性能提升170倍,其PUE(Power Usage Effectiveness,电源使用效率)低于1.2,具备绿色环保的优势。

如此高算力平台的实现,并没有建立在牺牲环保的基础上。相反,飞天智算平台不仅实现了最低仅为1.09的液冷PUE,其大模型训练的能耗只有同等规模的1%。

阿里云智能全球销售总裁蔡英华表示,为了在数字经济发展的过程中将单位算力的碳排放量降到最低,飞天智算平台的团队在开发过程中制定了系统性的行动计划,包括技术减排、能源结构优化、区域布局优化、供应链上下游减碳计划、以及资源利用等五个方向。

尤其是在技术减排方面,其通过液冷、电源技术以及智能运维,将数据中心的整体PUE降到最低。例如杭州仁和阿里云计算数据中心,就通过单项浸没式的液冷技术,实现了年均1.09的PUE。据介绍,目前该中心拥有中国最大的液冷集群,同时也是中国首座5A级数据绿色中心。

在优化能源结构方面,飞天智算中心也持续加大清洁能源的使用,其在2021年的交易清洁能源达2.69亿千瓦时,减排二氧化碳达23万吨以上。

同时,为让开发者更充分地利用飞天智算平台,阿里云也推出了AI工具包。比如,由达摩院研发的通用性超大规模的AI训练模型M6,可在512张GPU同步运行的前提下,在10天内训练出具有可用水平的10万亿的模型,其所消耗的能耗仅为同等规模训练模型的1%左右。

据悉,超大规模模型有着成百上千倍的神经元数量,且经历了大量数据的预训练,故能表现出接近人类的举一反三的学习能力。因此,大模型被普遍认为是未来的基础模型,并将成为下一代AI的基础设施。而达摩院M6模型,也将以更低的能耗帮助开发者轻松体验前沿技术。

在PaaS平台的支撑下,阿里云已构建出AI开放生态。阿里云智能AI产品总监黄博远介绍说,基于最基础的语音、视觉、自然语言处理、决策等基础技术,阿里云提供上百种SaaS化的AI服务,这些服务简单且易用。目前部署在阿里云上的AI服务,每天被调用次数超过一万亿次,可给用户提供稳定、可靠的AI服务体系。

此外,阿里云已服务100多万位AI开发者。这些开发者大致分为三类:一类是算法的研发人员,即负责编写算法的工程师;第二类是业务专家,即清楚了解其业务模型、知道在何处使用何种AI算法、但是不会写算法的人员,在阿里云的帮助下业务专家可通过平台快速搭建业务流程;第三类也是用户占比最多的开发者群体,即应用AI的开发者,这些开发者可能完全不懂AI,但也能在平台上运用AI技术。可以看出,无论开发者的AI技术背景如何,都能在阿里云上获得良好实践。

绝知此事要躬行:飞天智算平台的行业实践

目前,飞天智算平台已在不同行业中落地应用。不久前,上汽集团旗下的智己汽车,通过飞天智算平台的高性能计算,将工业仿真的效率提升25%,进而使智能驾驶训练效率提升70%,大幅加快了新车型研发上市的步伐。

在飞天智算平台的支持下,以固体废物处理为主要业务的浙能锦江环境公司,发电量得到了有效提升。此外,来自山东的德州电力,也在该平台的支持下,通过对清洁能源、清洁电力的复合预测,将准确率提升到98%,预测耗时则从几小时缩短到几分钟的时间。

此外,飞天智算平台也为数字孪生提供了有力的支持:例如,四川成宜高速就是借助数字孪生技术来进行车路协同,将交通事故成功降低了60%;重庆水务也在智算平台的支持下,通过遥感数据和仿真推演,将水力调度预测准确性提高到95%;南方电网和中国气象局也借助智能智算的能力,来提高气象预报准确性以及稳定性。

当下,科研领域流行着名为“第五范式”的新概念。简单来说,科学发展的第一范式来源于对概念的认知,第二范式来源于定理和规则,第三和第四范式来源于计算和密集计算。第一范式到第四范式的核心,在于计算水平的快速爆发以及需求的驱动。而第五范式则是由AI驱动,即越来越高强度的算力对AI提出了更高要求。

在该领域,北京化学与分子工程学院利用飞天智算平台进行靶向药物研究,使数据集的构建效率提升100多倍;中科院与环境信息国家重点实验室利用飞天智算平台,搭建了陆地表层系统模拟与计算平台,借此开展与地球相关的、重大灾害的预判和研究。未来,飞天智算平台也将应用于越来越多的领域,为创新者加速、为区域产业加速、为数字经济加速,打造出一条“算力天路”。

深圳SEO优化公司吴忠优化报价罗湖网站优化按天收费太原网站建设设计哪家好连云港英文网站建设抚州关键词按天扣费哪家好辽源seo网站优化报价杭州网站关键词优化推荐株洲网站关键词优化哪家好清远外贸网站建设哪家好肇庆网络营销价格信阳外贸网站设计推荐宿迁百度竞价包年推广推荐通化百度网站优化排名哪家好大连阿里店铺托管多少钱潜江百度关键词包年推广哪家好沧州百搜标王价格银川网络营销哪家好平湖seo排名价格横岗网站seo优化多少钱宜昌网站优化按天扣费多少钱永州网站推广工具多少钱开封网站改版哪家好盘锦百度竞价哪家好海南SEO按天收费价格梧州关键词按天计费多少钱娄底seo优化推荐东营外贸网站设计报价漳州至尊标王报价廊坊网站改版哪家好广元网站建设哪家好歼20紧急升空逼退外机英媒称团队夜以继日筹划王妃复出草木蔓发 春山在望成都发生巨响 当地回应60岁老人炒菠菜未焯水致肾病恶化男子涉嫌走私被判11年却一天牢没坐劳斯莱斯右转逼停直行车网传落水者说“没让你救”系谣言广东通报13岁男孩性侵女童不予立案贵州小伙回应在美国卖三蹦子火了淀粉肠小王子日销售额涨超10倍有个姐真把千机伞做出来了近3万元金手镯仅含足金十克呼北高速交通事故已致14人死亡杨洋拄拐现身医院国产伟哥去年销售近13亿男子给前妻转账 现任妻子起诉要回新基金只募集到26元还是员工自购男孩疑遭霸凌 家长讨说法被踢出群充个话费竟沦为间接洗钱工具新的一天从800个哈欠开始单亲妈妈陷入热恋 14岁儿子报警#春分立蛋大挑战#中国投资客涌入日本东京买房两大学生合买彩票中奖一人不认账新加坡主帅:唯一目标击败中国队月嫂回应掌掴婴儿是在赶虫子19岁小伙救下5人后溺亡 多方发声清明节放假3天调休1天张家界的山上“长”满了韩国人?开封王婆为何火了主播靠辱骂母亲走红被批捕封号代拍被何赛飞拿着魔杖追着打阿根廷将发行1万与2万面值的纸币库克现身上海为江西彩礼“减负”的“试婚人”因自嘲式简历走红的教授更新简介殡仪馆花卉高于市场价3倍还重复用网友称在豆瓣酱里吃出老鼠头315晚会后胖东来又人满为患了网友建议重庆地铁不准乘客携带菜筐特朗普谈“凯特王妃P图照”罗斯否认插足凯特王妃婚姻青海通报栏杆断裂小学生跌落住进ICU恒大被罚41.75亿到底怎么缴湖南一县政协主席疑涉刑案被控制茶百道就改标签日期致歉王树国3次鞠躬告别西交大师生张立群任西安交通大学校长杨倩无缘巴黎奥运

深圳SEO优化公司 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化