gpu
陈巍：8.1（中）NVDLA硬件架构之激活到数据接口——《GPGPU 芯片设计：原理与实践》节选
陈巍 博士
高级职称（清华/中科院） 大模型/存算一体/GPGPU
《GPGPU 芯片设计：原理与实践》系列：适合AI芯片设计人员入门与芯片赛道投资人了解技术内涵。本文介绍第8章 8.1（中） 《NVDLA硬件架构之激活到数据接口》 主编作者■ 陈巍 博士存算一体/GPU架构和AI专家，高级职称。中关村云计算产业联盟，中国光学工程学会专家，国际计算机学会（ACM）会员，中国计算机学会（CCF）专业会员。曾任AI企业首席科学家、存储芯片大厂3D NAND设计负责人，主要成就包括国内 首个大算力可重构存算处理…
陈巍：特斯拉Dojo芯片架构全面分析（超越GPGPU？） 收录于《先进封装Chiplet与片上超算》
陈巍 博士
高级职称（清华/中科院） 大模型/存算一体/GPGPU
陈巍：本文将深入特斯拉D1处理器的整体架构和设计哲学，并结合特斯拉的专利对其进行深度分析，包括矩阵计算单元、指令集、Chiplet封装、编译生态等。（特斯拉D1芯片算力强大，特别是ExaPOD媲美超级计算机） [图片] D1处理器与其他自动驾驶/机器人处理器的对比 1，特斯拉强大在于“内芯”？2023年9月，大摩调高了特斯拉的股价评级。除了特斯拉本身在AI技术的积累外，更主要得益于特斯拉 强劲的自研AI芯片。这颗AI芯片，不是传统上的CPU，…
GPU内存(显存)的理解与基本使用
kaiyuan
分享知识与快乐
引言：GPU显存的组成与CPU的内存架构类似，但为了满足并行化运算GPU的显存做了特殊设计，与之相关的概念很多如host memory、device memory、L1/L2 cache、register、texture、constant、shared memory、global memory等，还会涉及一些硬件概念DRAM、On/Off chip memory，还涉及到一些操作如pin memory，zero copy等。概念多了对于初学者就会困惑，比如： 数据从系统内存传入到GPU运算单元，需要经过一些什么操作/位置？texture m…
陈巍：最新发布的壁仞GPU BR100参数深度对比和优势分析
陈巍 博士
高级职称（清华/中科院） 大模型/存算一体/GPGPU
从专业视角来看BR100的技术亮点，包括算力、能效比、多GPU互连、多实例GPU。架构上做了优化，特别是做了近存计算/存算一体优化，芯片可圈可点，专利壁垒和生态上的挑战才刚刚开始。 [图片] 作者： 陈巍 博士 存算一体/GPU架构和AI专家，高级职称。曾任AI企业首席科学家、国内首个3D NAND设计团队负责人。无利益相关，归纳一下BR100已公开的 可能弱项和亮点。1，可能的弱项（这里仅仅说可能，因为具体技术细节还需要由壁仞公开） 1）对…
Flash Attention on INTEL GPU
毛毛雨
上海农民工
之前是业余看论文写了这篇FlashAttention的介绍，后面team也在做LLM上的优化了，我刚好负责的是kernel的优化，于是花了一个多月的时间，针对intel的GPU实现了FlashAttention，这期间多了很多感悟，所以把文章更新下。自从2017年谷歌DeepMind推出Transformer模型 [1]，Transformer便取代了RNN模型，成为了NLP领域的Top。如今大火的Bert，GPT系列，以及Stable-Diffusion都是基于Transformer。Transformer的核心是self-attention机…
英伟达 GTC 大会发布「核弹级」GPU，将为 AI 发展带来哪些助力？
Pulsar
清华大学 工学博士
上午边工作，边看完了GTC大会演讲，时长78分钟，内容比较多。 https://www.nvidia.com/gtc/keynote/?nvid=nv-int-cwmfg-877214 开始讲了提了计算光刻和软件加速库（cuLitho），可助力2nm芯片的量产制造。 计算光刻是用软件仿真，去模拟光刻过程中的光学、化学等变化，可指导生产过程的优化，理论探索更先进的工艺。这对我来说是个新知识，蛮有意思。 [图片] [图片] 之后的演讲重点都是与 「生成式AI」相关的软硬件产品。老黄最先提到的是DGX（AI超级计算机），还引述了他曾亲手将全球首款…
如何用 Taichi 加速 GPU 粒子碰撞检测？（内含代码挑战大奖赛）
太极图形
已认证账号
熟悉 Taichi 的同学都知道 99 行代码的 MPM 可以被用来模拟类似雪花，软体，流体等大变形的物体，而现实生活中也有很多材料只产生微小的形变，比如岩石，玻璃、金属等。那么为了研究这些「硬」物质的运动过程，我们就需要一种擅长刚体仿真的方法来进行计算。 离散元方法（Discrete Element Method，简称 DEM）是一类将大量刚性物体视作不连续离散介质，并根据牛顿运动定律进行仿真的数值计算方法的总称。通过添加不同的物质材料…
英伟达首席科学家：深度学习硬件的过去、现在和未来
OneFlow
已认证账号
[图片] 作者｜Bill Dally 翻译｜胡燕君、沈佳丽、贾川 过去十年是深度学习的“黄金十年”，它彻底改变了人类的工作和娱乐方式，并且广泛应用到医疗、教育、产品设计等各行各业，而这一切离不开计算硬件的进步，特别是GPU的革新。 深度学习技术的成功实现取决于三大要素：第一是算法。20世纪80年代甚至更早就提出了大多数深度学习算法如深度神经网络、卷积神经网络、反向传播算法和随机梯度下降等。 [图片] 第二是数据集。训练神经网络的数据…
如何看待兆芯?
guee
特别关注国产CPU的无证程序员。本号文章允许以任何形式转载。
本文比较长，有万字左右，因此在前面把小标题集中亮个相。 兆芯承运应时生，抢得先机石成金， 架海擎天担重任，同德一心报国恩。 多核增效非万能，单核性能是根本， 乌合之众难逞强，真机实测见原形。 十年提速靠工艺，同频性能涨一成， 春蚕到死丝方尽，四十二年续传承。 假子本是半人马，虽着华服不改姓， 祖宗敝帚难续命，不敌自主莫怨人。兆芯承运应时生，抢得先机石成金 2013年，广东云浮主动承担了一项试点任务：在政府部…
人的大脑相当于什么水平的 GPU 和 CPU ?
盐选科普
知乎 官方账号
你的大脑比 CPU 强悍多了。 光是静静地坐着，什么都不做，你的大脑在 30 秒里处理的信息，就超过了哈勃太空望远镜 30 年的工作量。 宇宙中最超凡的东西，就在你的头颅里面。哪怕你穿梭于外太空的每一寸，说不定都找不到任何东西比你两耳之间这两斤半软乎乎如海绵般的物事更神奇、更复杂、功能更强劲的了。 幽默严瑾小科普，带你真正了解大脑的奥秘。 大脑：你的大脑 80% 都是水 [图片] 「大脑，比天空更辽阔，因为，把它们并排在一起，…
CPU 和 GPU 的区别是什么？
虫子君
公众号《FPGA开发之路》，分享 FPGA 道路上的点滴思考
本回答内容为转载。 原作者： Magnum Programm Life 原出处：博客园 原文链接： Magnum Programm Life 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 以下为正式内容 ============================================= CPU和GPU之所以大不相同，是由于其设计目标的不同，它们分别针对了两种不同的应用场景。CPU需要很强的通用性来处理各种不同的数据类型，同时又要逻辑判断又会引入大量的分支跳转和中断的…
摩尔线程官宣 2022 秋季发布会，预计发布新款国产 GPU，该产品有哪些技术亮点？
陈巍 博士
高级职称（清华/中科院） 大模型/存算一体/GPGPU
陈巍谈芯：主要的技术亮点包括两个：1）自研AI推理引擎TensorX 2）CUDA on MUSA兼容技术。一个针对硬件/芯片算力增强，一个针对生态增强。这两个技术，看样子应该是摩尔线程在GPU业内一片质疑之中，踩着炮灰卧薪尝胆认真自研的东西。说明摩尔线程的团队确实在认真思考GPU架构的发展和自主创新。（打游戏那不是关键点，基本上有IMG核的都会有） [图片] 利益不相关，就讲讲这两个技术的重要性和根据新闻评估的情况。 （答者： 陈巍 博士 存…
从游戏显卡、矿卡到“AI霸主”，英伟达凭什么？
阿Test正经比比
2021 年度新知答主
你用过最强的显卡是啥？
WebGPU深入研究
汇智网
学习软件编程
WebGPU 是即将推出的 Web API，提供了一组访问 GPU的低级通用API。 我对图形学不是很有经验。我通过阅读有关如何使用 OpenGL 构建游戏引擎的教程来学习 WebGL 的知识点，并通过观看 Inigo Quilez在 ShaderToy 上仅使用着色器（不使用任何 3D 网格或模型）做令人惊奇的事情来了解有关着色器的更多信息。这让我可以在PROXX 中构建背景动画之类的东西，但我对 WebGL 并不满意，我将很快解释原因。 [图片] 当 WebGPU 出现在我的视野中时，我想深…
英伟达 GTC 大会发布「核弹级」GPU，将为 AI 发展带来哪些助力？
嘉慧Lincoln
数据挖掘等 3 个话题下的优秀答主
据说H100 NVL 的处理速度比A100快十倍，听起来非常流弊，但实际上就是把2张H100通过PCIe板桥接在一起 , H100每张卡显存为94GB，两张加一起合计为188GB，钱真的是太好赚了（笑）~ 数据显示，目前Nvidia数据中心业务已经超过游戏部门 ，再次成为Nvidia最大的收入来源。而且今年以来，英伟达股价的涨幅已超过80%，不得不说作为GPT背后的那个男人才是真正的幕后赢家。 [图片] 三种 H100参数对比（NVIDIA H100 Accelerator Specification Comp…
陈巍：8.1（上）NVDLA硬件架构之卷积核心——《GPGPU 芯片设计：原理与实践》节选
陈巍 博士
高级职称（清华/中科院） 大模型/存算一体/GPGPU
欢迎对技术感兴趣的加入 GPU讨论小组GPGPU与先进GPU技术讨论 http://c.suo.nz/gpu 《GPGPU 芯片设计：原理与实践》系列：适合AI芯片设计人员入门与芯片赛道投资人了解技术内涵。本文介绍第8章 8.1（上） 《NVDLA硬件架构之卷积核心》 主编作者■ 陈巍 博士存算一体/GPU架构和AI专家，高级职称。中关村云计算产业联盟，中国光学工程学会专家，国际计算机学会（ACM）会员，中国计算机学会（CCF）专业会员。曾任AI企业首席科学家、…
讨论量
23.5 万