备案 控制台
开发者社区 云计算 文章 正文

大语言模型一键转存到OSS并挂载PAI实现企业知识库

本文涉及的产品
对象存储 OSS,20GB 3个月
推荐场景:
基于PAI-EAS挂载OSS部署AIGC服务 ossutil工具管理OSS
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 本文介绍如何实现一键转载主流的大语言模型到自己的对象存储OSS空间中,然后再挂载到PAI-DSW实现多种模型切换测试知识库的效果。

步骤一:通过《LLM模型库,专属知识库大模型惹你选》活动页面转存模型文件

  1. 如果您已经通过活动页面将SD模型库文件转存到了自己的OSS Bucket中,请跳过步骤一。

进入 《LLM模型库,专属知识库大模型任你选》页面活动,在方案1:使用对象存储 OSS 作为模型库存储空间处单击一键复制

image.png

  1. 单击一键复制按钮后,将会弹出公共库转存信息对话框,输入新建对象存储OSS Bucket名称,此处示例填写osslibtestforllm;地域请从杭州,上海,北京,乌兰察布这四个Region选择,此处选择华东2(上海);选择大语言模型的来源,此处选择来自Huggingface;签署转存的授权协议;最后单击确认转存

image.png

  1. 确认转存后几秒钟,将会弹出文件框提示转存成功,记录对象存储OSS Bucket名称为 osslibtestforllm

image.png

  1. 前往 对象存储OSS控制台,确认您刚才转存的模型文件。在Bucket列表找并单击osslibtestforllm

image.png

进入Bucket的文件管理-文件列表处,然后逐个单击文件夹,进入/data-oss/models的目录,可以看到模型文件已经转存进来。

image.png

步骤二:将OSS模型库挂载到PAI-DSW

您已经将LLM模型库转存至了自己的对象存储OSS中,该存储空间中的模型可以在LLM的WebUI中进行快速切换测试。

  1. 符合试用条件的新用户可领取PAI-DSW免费试用资源包, 领取链接
  1. 【重要】:PAI-DSW免费资源包只适用于本教程中的PAI-DSW产品。如果您领取了PAI-DSW资源包后,使用了PAI-DSW及PAI的其他产品功能(如PAI-DLC、PAI-EAS等),PAI-DSW产品产生的费用由资源包抵扣,其他产品功能产生的费用无法抵扣,会产生对应的费用账单。
  1. 前往 PAI控制台。开通机器学习PAI并创建默认工作空间。其中关键参数配置如下,更多详细内容,请参见 开通并创建默认工作空间。如果您后续使用RAM用户来创建DSW实例进行开发,请先将RAM用户添加为默认工作空间的成员,并配置算法运维/管理员角色,详情请参见 管理成员
  • 本教程地域选择:华东2(上海)
  • 组合开通:本教程无需使用其他产品,去除勾选其他产品即可。
  • 服务角色授权:单击去授权,完成服务角色授。

image.png

  1. 进入 PAI管理控制台,确认区域为华东2(上海),确认进入了刚才创建的工作空间,单击数据集,进入数据集页面。
  • 创建方式选择从阿里云云产品
  • 数据集名称此处设置为huggingfacellm
  • 选择数据存储为阿里云对象存储(OSS)
  • 属性为文件夹
  • 选择对象存储Bucket名为osslibforllm,选择OSS目录为data-oss/LLM,最终地址会显示为oss://osslibforllm.oss-cn-shanghai.aliyuncs.com/data-oss/LLM/
  • 默认挂载路径为/mnt/data
  • 单击提交

image.png

  1. 查看 基于LangChain的检索知识库问答WebUI案例,请注意此处备注不同规模的模型所需要的显卡资源规格要求,然后在右上角单击在阿里云DSW打开

image.png

  1. 单击后会弹出如下的页面,确认可用区为华东2(上海),如果您是新用户将不会有任何已有资源,请单击新建DSW实例。image.png
  2. 实例创建页面配置:
  1. 选择华东2(上海)区域,实例名称此处设置为langchainLLM,资源组选择公共资源组-按量付费image.png
  2. 本教程选择公共资源组-按量付费资源资源组:GPU规格,规格名称为ecs.gn6v-c8g1.2xlarge。【说明】:阿里云免费试用提供的资源类型包括以下几种类型:
  • ecs.gn7i-c8g1.2xlarge
  • ecs.g6.xlarge
  • ecs.gn6v-c8g1.2xlarg
  • image.png
  1. 存储配置:单击共享数据集按钮,选择刚才创建的数据集huggingfacellm,挂载路径为/mnt/data/image.png
  2. 镜像选择:官方镜像,选择modelscope:1.9.3-pytorch2.0.1tensorflow2.13.0-gpu-py38-cu118-ubuntu20.04版本,然后单击下一步。

image.png

e.在总结页面查看配置,然后单击创建实例

image.png

f. 创建实例后,跳转到如下的页面,等待实例状态显示运行中后,单击实例名称langchainLLMimage.png

步骤三:快速模型切换和测试多个LLM大模型

  1. 打开刚刚创建完成的实例,按照Notebook中的步骤逐一执行。(推荐使用huggingface的模型)

image.png

  1. 执行完毕后,将会弹出一个url的地址,单击 http://0.0.0.0:7860

image.png

  1. 启动WebUI之后,根据oss挂载的模型来源,将llm_source切换成对应的模型来源,此处切换为huggingface,然后重新选择large language model为ChatGLM-6B-int8,最后单击重新加载模型按钮即可自动切换模型。完全按照案例执行,您在执行时可以秒级切换chatglm系列、baichuan-inc/Baichuan2-7B-Chat-4bits、Qwen/Qwen-7B模型,并对比验证模型效果。

image.png

  1. 此处可以使用样例文本数据来训练和交互提问,您也可以在WebUI左下角按照指引上传自己的知识库文件。

image.png

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
Developer_Aliyun
目录
相关文章
阿里云大数据Al技术
|
6月前
|
SQL 人工智能 分布式计算
基于阿里云PAI平台搭建知识库检索增强的大模型对话系统
基于原始的阿里云计算平台产技文档,搭建一套基于大模型检索增强答疑机器人。本方案已在阿里云线上多个场景落地,将覆盖阿里云官方答疑群聊、研发答疑机器人、钉钉技术服务助手等。线上工单拦截率提升10+%,答疑采纳率70+%,显著提升答疑效率。
阿里云大数据Al技术
37599 59
你鞋带开了~
|
13天前
|
机器学习/深度学习 存储 分布式计算
机器学习PAI常见问题之DLC的数据写入到另外一个阿里云主账号的OSS中如何解决
PAI(平台为智能,Platform for Artificial Intelligence)是阿里云提供的一个全面的人工智能开发平台,旨在为开发者提供机器学习、深度学习等人工智能技术的模型训练、优化和部署服务。以下是PAI平台使用中的一些常见问题及其答案汇总,帮助用户解决在使用过程中遇到的问题。
你鞋带开了~
198 8
阿里云大数据Al技术
|
13天前
|
人工智能 算法 开发工具
通义千问1.5(Qwen1.5)大语言模型在PAI-QuickStart的微调与部署实践
Qwen1.5(通义千问1.5)是阿里云最近推出的开源大型语言模型系列。作为“通义千问”1.0系列的进阶版,该模型推出了多个规模,从0.5B到72B,满足不同的计算需求。此外,该系列模型还包括了Base和Chat等多个版本的开源模型,为全球的开发者社区提供了空前的便捷性。阿里云的人工智能平台PAI,作为一站式的机器学习和深度学习平台,对Qwen1.5模型系列提供了全面的技术支持。无论是开发者还是企业客户,都可以通过PAI-QuickStart轻松实现Qwen1.5系列模型的微调和快速部署。
阿里云大数据Al技术
177070 6
stefanie燕
|
13天前
|
人工智能 自然语言处理 运维
PAI+Hologres基于大模型搭建企业级知识库
本文为您介绍如何通过计算巢服务,一键完成Hologres与大规模问答知识库所需的硬件资源与软件资源部署,快速完成企业级问答知识库的搭建。
stefanie燕
67 0
Developer_Aliyun
|
13天前
|
存储 缓存 对象存储
威联通 QNAP 挂载阿里云对象存储 OSS 完整攻略
详细介绍本地NAS设备如何通过云网管关的能力,挂载云上的对象存储OSS
Developer_Aliyun
724 0
灵杰开发者
|
7月前
|
机器学习/深度学习 人工智能 弹性计算
快速使用 Elasticsearch+PAI 部署 AI 大模型知识库对话
本文为您介绍如何通过Elasticsearch和PAI-EAS部署企业级AI知识库对话,利用Elasticsearch进行企业专属知识库的检索,利用PAI-EAS来进行AI语言大模型推理,并通过开源框架LangChain将二者有机结合,从而集成到您的业务服务当中。
灵杰开发者
51796 6
快速使用 Elasticsearch+PAI 部署 AI 大模型知识库对话
ftw2fzqaoykua
|
8月前
|
存储 机器学习/深度学习 分布式计算
热门Stable Diffusion模型库快速转存至个人OSS与加载训练
本实验介绍如何使用阿里云在线迁移服务,将热门模型库从国内镜像站点转存到个人对象存储OSS空间,并且可将OSS Bucket里的模型挂载到FC函数计算或PAI平台进行推理和训练。
ftw2fzqaoykua
269 0
叫个什么名字
|
13天前
|
机器学习/深度学习 存储 搜索推荐
利用机器学习算法改善电商推荐系统的效率
电商行业日益竞争激烈,提升用户体验成为关键。本文将探讨如何利用机器学习算法优化电商推荐系统,通过分析用户行为数据和商品信息,实现个性化推荐,从而提高推荐效率和准确性。
叫个什么名字
110 14
游客i66wb7w7cg4tk
|
13天前
|
机器学习/深度学习 算法 搜索推荐
Machine Learning机器学习之决策树算法 Decision Tree(附Python代码)
Machine Learning机器学习之决策树算法 Decision Tree(附Python代码)
游客i66wb7w7cg4tk
179 0
东方睿赢
|
13天前
|
机器学习/深度学习 算法 数据可视化
实现机器学习算法时,特征选择是非常重要的一步,你有哪些推荐的方法?
实现机器学习算法时,特征选择是非常重要的一步,你有哪些推荐的方法?
东方睿赢
38 1

热门文章

最新文章

  • 1
    通过OOS实现定时备份Redis实例转储到OSS
  • 2
    对象存储OSS产品常见问题之前端直传视频获取视频的长度获得多少秒如何解决
  • 3
    对象存储OSS产品常见问题之有几十亿个txt文件,单个4kb,使用oss如何解决
  • 4
    对象存储OSS产品常见问题之python sdk中的append_object方法支持追加上传xls文件如何解决
  • 5
    对象存储OSS产品常见问题之在URL中包含签名如何解决
  • 6
    对象存储OSS产品常见问题之OSS Bucket 创建好后更改存储类型如何解决
  • 7
    对象存储OSS产品常见问题之使用中上传图片慢如何解决
  • 8
    对象存储oss使用问题之flutter使用http库进行post请求文件上传返回400如何解决
  • 9
    对象存储oss使用问题之使用oss上服务器后显示服务异常如何解决
  • 10
    对象存储OSS产品常见问题之使用Spring Cloud Alibaba情况下文档添加水印如何解决
  • 1
    【AAAI 2024】再创佳绩!阿里云人工智能平台PAI多篇论文入选
    509
  • 2
    阿里云人工智能平台PAI多篇论文入选EMNLP 2023
    465
  • 3
    阿里云人工智能平台 PAI 扩散模型加速采样算法论文入选 CIKM 2023
    36848
  • 4
    基于IA信息架构的知识库理论和实践 - Baklib
    27
  • 5
    接入QAnything的AI问答知识库,可私有化部署的企业级WIKI知识库
    885
  • 6
    【Docker项目实战】使用Docker部署Raneto知识库平台
    80
  • 7
    写给工程师的 MacBook 商用级大模型知识库部署方案(上)
    321
  • 8
    写给工程师的 MacBook 商用级大模型知识库部署方案(中)
    155
  • 9
    写给工程师的 MacBook 商用级大模型知识库部署方案(下)
    174
  • 10
    【RAG实践】基于LlamaIndex和Qwen1.5搭建基于本地知识库的问答机器人
    1651
  • 相关课程

    更多
  • 场景实践 - 机器学习PAI实现精细化营销
  • 场景实践 - 基于阿里云PAI机器学习平台使用时间序列分解模型预测商品销量
  • 场景实践 - 基于机器学习进行收入预测分析
  • 机器学习概览及常见算法
  • 玩转对象存储OSS使用入门
  • 机器学习入门-概念原理及常用算法
  • 相关电子书

    更多
  • 大规模机器学习在蚂蚁+阿里的应用
  • 基于Spark的面向十亿级别特征的 大规模机器学习
  • 基于Spark的大规模机器学习在微博的应用
  • 相关实验场景

    更多
  • 基于Hologres+PAI+计算巢,5分钟搭建企业级AI问答知识库
  • 使用阿里云ECS搭建WIKI知识库
  • 为OSS Bucket配置BucketPolicy
  • 使用OSS助力游戏资源加速
  • 函数计算X RDS PostgreSQL,基于LLM大语言模型构建AI知识库
  • OSS生命周期管理与访问行为分析
  • 下一篇
    2024年阿里云免费云服务器及学生云服务器申请教程参考

    深圳SEO优化公司德州网站关键词优化价格眉山seo排名哪家好辽源品牌网站设计报价醴陵营销型网站建设多少钱商丘seo网站优化推荐阳泉英文网站建设价格张北seo优化哪家好福田网站建设价格南京设计网站公司庆阳高端网站设计公司芜湖百姓网标王推广安阳百姓网标王温州高端网站设计价格池州百度关键词包年推广公司周口品牌网站设计报价郑州优秀网站设计公司绥化外贸网站建设报价常德关键词按天收费公司鞍山百度关键词包年推广公司福田品牌网站设计哪家好庆阳网站设计价格宁德营销型网站建设阜新网站建设设计伊犁SEO按天扣费推荐辽阳网络推广报价平顶山关键词排名多少钱大庆百姓网标王推广多少钱南山SEO按效果付费哪家好保山网站优化按天扣费价格迁安设计网站哪家好歼20紧急升空逼退外机英媒称团队夜以继日筹划王妃复出草木蔓发 春山在望成都发生巨响 当地回应60岁老人炒菠菜未焯水致肾病恶化男子涉嫌走私被判11年却一天牢没坐劳斯莱斯右转逼停直行车网传落水者说“没让你救”系谣言广东通报13岁男孩性侵女童不予立案贵州小伙回应在美国卖三蹦子火了淀粉肠小王子日销售额涨超10倍有个姐真把千机伞做出来了近3万元金手镯仅含足金十克呼北高速交通事故已致14人死亡杨洋拄拐现身医院国产伟哥去年销售近13亿男子给前妻转账 现任妻子起诉要回新基金只募集到26元还是员工自购男孩疑遭霸凌 家长讨说法被踢出群充个话费竟沦为间接洗钱工具新的一天从800个哈欠开始单亲妈妈陷入热恋 14岁儿子报警#春分立蛋大挑战#中国投资客涌入日本东京买房两大学生合买彩票中奖一人不认账新加坡主帅:唯一目标击败中国队月嫂回应掌掴婴儿是在赶虫子19岁小伙救下5人后溺亡 多方发声清明节放假3天调休1天张家界的山上“长”满了韩国人?开封王婆为何火了主播靠辱骂母亲走红被批捕封号代拍被何赛飞拿着魔杖追着打阿根廷将发行1万与2万面值的纸币库克现身上海为江西彩礼“减负”的“试婚人”因自嘲式简历走红的教授更新简介殡仪馆花卉高于市场价3倍还重复用网友称在豆瓣酱里吃出老鼠头315晚会后胖东来又人满为患了网友建议重庆地铁不准乘客携带菜筐特朗普谈“凯特王妃P图照”罗斯否认插足凯特王妃婚姻青海通报栏杆断裂小学生跌落住进ICU恒大被罚41.75亿到底怎么缴湖南一县政协主席疑涉刑案被控制茶百道就改标签日期致歉王树国3次鞠躬告别西交大师生张立群任西安交通大学校长杨倩无缘巴黎奥运

    深圳SEO优化公司 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化