浅谈AI任务调度

虚拟试衣是通过虚拟的技术手段，实现用户不用脱去身上衣服，完成变装的效果。最初，起源于换装游戏，随着互联网的普及和电子商务的兴起，消费者对在线购物体验的需求不断增加，虚拟试衣技术因此得到了快速发展。现如今，虚拟试衣技术多应用于：电子商务：为用户提供在线试穿服务，提升购物体验，减少退货率。服装设计：帮助设计师快速试验不同设计方案，降低样品制作成本。游戏和娱乐：在游戏和虚拟现实中为角色定制服装，增强沉浸感。

最初，因隋炀帝思念心切，命工匠按照柳抃的形象制作了木偶机器人，被认为是历史上最早的机器人之一。这些木偶机器人通过精巧设计的机关，能够执行坐、起、拜、伏等动作。如今，随着科技的发展，机器人已经广泛应用于医疗、军事、教育、服务等各个领域，为人类提供更安全、更便捷、更高效的服务。因此，本文整理了一些机器人相关的开源数据集、模型和项目，旨在帮助研究人员更好地开展相关领域的工作。

这种方法可以检测多个对象，并且速度更快，准确率更高。参考本节，体验使用 YOLO 系列中精度最高的 yolov8x 推理预测交通信息，包括：识别交通工具、车辆进区域计数、车辆越线计数。5.推理完成后，当前目录（/gemini/code/）会生成相应推理结果视频，下载并观看。4.运行过程中，右上角的实心圈会逐渐变成空心圈，当完全变成空心圈时代表推理完成。2.双击左侧目录中“体验2-车辆进区域计数.ipynb”，切换至该文件。:可自定义，如“yolov8监控交通流”，详情如图1。，解压刚才上传的代码包。

企业在使用GPU时，一般都是通过静态分配的方式给开发人员，也有一些企业会将GPU虚拟化之后静态分配给开发人员，不管是哪一种，都会存在GPU浪费的情况，因为开发人员不是一直都在使用GPU，大部分时间都在进行代码开发调试、超参数选择优化等，因此如何在有限的预算下高效使用GPU算力，让昂贵的GPU卡能够满足更多的开发人员需求，成为企业亟待解决的实际问题。未来，随着技术的不断进步和应用场景的不断拓展，我们有理由相信，GPU池化将在AI领域发挥举足轻重的作用，助力企业实现智能化转型和可持续发展。

最初，Reddit 社区出现了一系列利用深度学习技术制作的明星换脸小视频，这些视频将一位明星的脸替换成另一位明星的脸，但保留了原始视频中的面部表情和动作。这一现象引起了大量用户的关注，随之而来的是这一技术被命名为“DeepFake”。如今，由 AI 合成的换脸视频已经不再罕见，但也伴随着各种法律和伦理问题。如果被恶意使用，DeepFake 技术可能在诸如色情制造、虚假新闻、视频语音诈骗等领域被用来误导舆论、扰乱社会秩序，甚至危害国家主权安全。

生物特征识别技术是结合了计算机科学与光学、声学、生物传感器以及生物统计学原理，通过利用人体固有的生理特征（如指纹、人脸、虹膜、掌纹、指静脉等）和行为特征（如笔迹、声音、步态等），来进行个人身份的鉴定。随着科技的飞速发展，“指纹开金库”、“扫脸抓逃犯”等高科技场景不再局限于电影情节中，“指纹解锁”、“刷脸支付”已经融入到了人们的日常生活中，成为了寻常百姓不可或缺的便利工具。这一切的背后都离不开生物特征识别技术的广泛应用。本文将介绍一些生物特征识别领域的热门技术和应用，为该领域的研究人员提供一些有益的支持。

照进现实中AI算法使用GPU的现状，同理，业界想提高GPU的利用率，提升GPU生产力的话，要不就是算法针对GPU进行定制开发（需要针对GPU型号，CUDA版本等），就是按GPU的资源去定制最优化的线程块和warp数量，尽量利用GPU资源，提高生产力（即旅行社进行团员数量和团数量的最大优化）；另外，趋动科技的OrionX软件可以将整个GPU服务器集群中所有的GPU组成一个大的GPU资源池，然后针对算法程序的需求，可以基于整个资源池的资源（算力和显存）进行按需供给，也就是可以跨节点调用GPU资源，见下图。

在这一阶段，OrionX不仅集成了前述各阶段的功能，还实现了软件定义的AI算力，支持虚拟机、容器、网络调用等多种模式，具备完善的数据面和控制面，以及对多种AI芯片的池化支持。例如，如果某个vGPU的实际计算需求突然增加，而其他vGPUs的资源未被充分利用，系统也无法将闲置资源重新分配给需求较高的vGPU，从而导致资源浪费和性能瓶颈。具体而言，算力效率实现了4倍增长，硬件投资减少了55%，同时，这也带来了碳排放的大幅下降，减少了约42.8%，体现了企业对社会责任的积极承担。

不同部门、不同业务、不同场景下构建的AI算力基础设施缺乏统一的管理运维工具。通过用户态或内核态的方式对AI算力资源进行虚拟化，可以实现算力和显存维度的简单或任意比例切分，能够实现单机多卡的聚合，如果是多机多卡等跨节点的资源需求则依赖任务管理模块将作业切分成多个分布式的任务，然后任务被集群调度框架插件调度到合适的节点，因此节点虚拟化软件和集群调度框架插件必须同时使用才能在一定程度上解决以上问题，目前比较常见的节点虚拟化软件有cGPU、qGPU等云厂商的GPU虚拟化方案，以及开源的GPU Manager。

伴随大模型时代的到来，算力需求持续增长而资源利用率低下的矛盾日益凸显，趋动科技提出软件定义的异构AI算力云化调度解决方案，通过软件定义的方式，利用硬件虚拟池化技术，基于云化调度引擎，解决AI算力资源碎片的问题，旨在为企业发展人工智能技术提供敏捷、高效、弹性、易用的异构算力资源。趋动科技基于软件定义异构AI算力云化调度解决方案，依托自研的云化资源调度引擎，从多维度增强了异构AI算力资源管控能力，在提升整个数据中心资源利用率的同时，给予AI任务更大的资源调配的灵活性。

用以支持虚拟机更好的使用GPU，在那个年代，人工智能尚未爆发，更多的使用场景是VDI，即大家熟悉的Citrix和VMware的虚拟桌面方案，用以在制造和设计领域，更好的利用GPU资源。所以，本质上来讲，趋动的OrionX和此类VM或容器GPU共享方案不仅技术路线不一样，实现的功能不一样，而且，看到的愿景也完全不一样——一个看到的是网络联通的整个GPU资源池，一个仅仅是单服务器节点内的卡。等，这类方案也是遵循类似的思路，针对单张GPU卡，按照业务的需求，采用细颗粒度算力和显存的静态分配。

但随着硬件采购受限，且一般的IaaS平台对算力管理调度、尤其是异构算力的管理和使用能力有限，多以直通方式为主，现有的资源提供模式的弊端就会突显出来：AI算力不能在各个任务之间灵活切换，使资源使用率不理想，也增加了运维人员的工作量。通过OrionX的跨机聚合能力，可以快速方便的提供多卡的运行环境，提升使用效率。OrionX vGPU具备动态加载和释放的能力，当有AI任务执行时，才会占用GPU的算力资源，任务执行完毕GPU资源会立即释放，这样就能很好解决GPU在不同使用者之间切换的问题。

那么我们可以通过高速的CXL交换机将多个主机互联组成一个高速‘内存网络‘， 通过该内存网络加上上述CXL的地址一致性的能力就可以组成了一个完全可以共享的内存池，解决了‘memory stranding’的问题！从目前业界的情况来说，内存池化的技术，不像GPU池化那样具备较多的实际客户案例，而且内存池化这种技术更多是大型数据中心需求的，也多在大型数据中心测试和实验。微软Azure做过调查， 他们有高达25%的内存都是闲置的，有50%的虚拟机使用的内存占比仅为50%，大约有一半的内存没有被用上。

技术不是一蹴而就，AI应用的平台和系统往往也没有统一规划，是烟囱式的竖井结构，很多企业面临着算力资源孤岛的挑战，业务协同受限，而传统的调度方式在适应多变的业务需求上显得力不从心；多芯算力交叉拉远是指：通过高效的网络传输技术、算力池化和调度算法，将不同厂商、型号的算力设备资源调度到单一算力需求侧，以实现多样化的算力资源协同调度和灵活使用，提高整体算力利用效率和业务灵活性。通过硬件虚拟化和软件虚拟化，实现了对AI算力资源的灵活分配，提高了系统对多芯算力设备的兼容性，使其能够统一管理。

在该方案中，所有的AI算力通过部署了OrionX的智算容器云纳管，调度和分配，其它多个应用集群的应用都通过无损网络来使用这个算力集群的算力。该方案是指，每种形态的应用维持原有AI算力资源拓扑使用，通过各自部署一套OrionX软件，进行AI算力的纳管和灵活高效的调度，并通过oCenter作为管理界面，进行多资源池的统一运维和管理。AI赋能千行百业，在AI浪潮席卷而来的背景下，所有人都希望尽快参与到AI的盛宴中，首先关注的是make it work，于是就不可避免的出现了多AI应用形态并存的局面。

这是因为巨大规模算力以月为单位的租用成本对研究团队来说是一笔不小的开支，而大模型研究正当其道，因此学界研究大模型的实验室或团队拥有算力资源的优先分配权。从这一点来说，GPU完成了最关键的、最具压力的部分，但并不代表它必须贯穿应用的始终。本就稀缺的算力，在学界又有成为追逐热点砝码的倾向，“做大模型，意味着放弃现有研究成果，同时要面临同类团队无尽的内卷；特别是对于老W所在的非大模型团队来说，2024年充满了挑战和未知，而灵活、高效的系统也让科研教学充满了活力和优势，更容易在竞争中抢占先机。

综述，AI算力池化技术作为智算中心的基石，具有重要意义。智算中心是基于最新人工智能理论，采用领先的人工智能计算架构，提供人工智能应用所需算力服务、数据服务和算法服务的公共算力新型基础设施，其通过算力的生产、聚合、调度和释放，高效支撑数据开放共享、智能生态建设、产业创新聚集，能够有力促进AI产业化、产业AI化及政府治理智能化。第一层、生产算力：基于领先的AI服务器为算力机组，支持先进多样的AI芯片，支持成熟丰富的软件生态，形成高性能、高吞吐的计算系统，为AI训练和AI推理生产输出强大、高效、易用的计算力。

而通常的服务器都是两颗CPU配置一至多块GPU卡，CPU很容易被占满，占满后成为瓶颈，GPU业务往往只能使用多卡中的1到2块，剩余GPU全部闲置，并且业务在调用单块GPU的过程中也是短暂调用，不会长时间利用卡资源。虽然目前研究院服务器集群中CPU与GPU搭配的计算组合已实现高性能并行计算，但针对对GPU卡运行要求高的Omega及t-Navigator等软件，均是通过物理形式直接调用GPU，GPU并没有像云场景中计算、存储、网络虚拟化一样实现资源池化，GPU的利用率相比于CPU较低。

中山大学由中华人民共和国教育部直属，是教育部、国家国防科技工业局和广东省共建的综合性全国重点大学，位列国家“双一流”、“211工程”、“985工程”，入选国家“珠峰计划”、“111计划”、全国深化创新创业教育改革示范高校、首批高等学校科技成果转化和技术转移基地等，是环太平洋大学联盟、中国人工智能教育联席会等成员。这场生动的路演不仅为中山大学的学生们提供了深入了解最新人工智能技术的机会，促使了实际技能的培养和交流，同时也展示了趋动云团队在人工智能领域的专业性和引领地位。