阿里通义千问LLM Qwen-7B-Chat与Qwen-VL-Chat 使用；国内huggingface模型下载

loong_XL

已于 2024-04-28 09:16:19 修改

阅读量2k

点赞数

分类专栏：深度学习文章标签：大模型 1024程序员节

于 2023-09-04 10:34:05 首次发布

本文链接： https://blog.csdn.net/weixin_42357472/article/details/132663693

版权

深度学习专栏收录该内容

185 篇文章 59 订阅 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

参考：
https://github.com/QwenLM/Qwen-7B
https://github.com/QwenLM/Qwen-VL

https://huggingface.co/Qwen
在这里插入图片描述

1、国内下载模型：

1）直接huggingface-cli 命令下载
参考：https://blog.csdn.net/wandererXX/article/details/135371458
https://zhuanlan.zhihu.com/p/665532276

如果是授权模型需要先创建token登录： https://huggingface.co/settings/tokens 连接进行token的创建write模式的

然后cmd运行：huggingface-cli login

export HF_ENDPOINT=https:/

了解本专栏

订阅专栏解锁全文

超级会员免费看

优惠劵

loong_XL

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
打赏
0
评论
阿里通义千问LLM Qwen-7B-Chat与Qwen-VL-Chat 使用；国内huggingface模型下载

参考：https://github.com/QwenLM/Qwen-7Bhttps://github.com/QwenLM/Qwen-VL下载模型：https://huggingface.co/Qwen下载好代码与模型后运行：下载好代码与模型后运行：运行QwenQwen-VL-Chat-Int4 大概需要15G显卡：（运行报错基本可以对应升级包的库即可 accelerate、peft等）
复制链接

扫一扫

专栏目录

订阅专栏

开源模型应用落地-qwen模型小试-入门篇（四）

一入IT深似海、从此亲朋是路人！

01-19

665

使用gradio，构建Qwen-1_8B-Chat测试界面

阿里通义千问AI模型目前最强的开源中文大语言模型（下载地址）.txt

10-17

本地运行140亿参数，阿里千问玩起来！Qwen+Win11+3060，含Qwen-7B和Qwen-14B模型类似ChatGPT的AI模型，可以进行AI聊天，回答各类问题，可以关联上下文，做一定的推理。这个模型都有如下特征： 1免费 2可商用 3可以在常用显卡上流畅运行。 4对话能力达到了一定的水平。模型简介通义千问-14B（Qwen-14B）是阿里云研发的通义千问大模型系列的140亿参数规模的模型。Qwen-14B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。同时，在Qwen-14B的基础上，我们使用对齐机制打造了基于大语言模型的AI助手Qwen-14B-Chat。本仓库为Qwen-14B-Chat的仓库。 7B大概在一个月前发布，这次发布了14B版本。单从测评数据来看，要比上次讲的Baichuan2还要强不少。模型类型目前发布的模型有7B和14B包括基础模型，聊天模型，量化模型。还有VL的模型。

参与评论您还未登录，请先登录后发表或查看评论

AIGC：阿里开源大模型通义千问部署与实战

十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎

12-20

7902

通义千问-7B（Qwen-7B）是阿里云研发的通义千问大模型系列的70亿参数规模的模型。Qwen-7B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。

Qwen-VL 模型使用官方示例试玩

R先生专栏

03-14

664

通义千问-VL-Chat 模型简单玩玩

【工程实践】使用modelscope下载大模型文件

Dong_ZH的博客

12-08

1973

Modelscope（魔搭社区）是阿里达摩院的一款开源模型平台，里面提供了很多的热门模型供使用体验，其中的模型文件可以通过git clone 快速下载。并且为模型提供了Notebook的快速开发体验，使用阿里云服务，不需要额外部署机器进行模型的运行调试，即可自动在阿里云进行实例创建。

Qwen-14B Ai新手部署开源模型安装到本地

weixin_46458535的博客

12-19

2529

AI 新手本地化 Qwein - 14B

阿里的通义千问也能本地部署了？首发Qwen-VL-Chat模型的本地部署教程（A卡）

梦马韶华

09-18

6603

Qwen-VL 是一款支持中英文等多种语言的视觉语言（Vision Language，VL）模型，相较于此前的 VL 模型，其除了具备基本的图文识别、描述、问答及对话能力之外，还新增了视觉定位、图像中文字理解等能力。Qwen-VL 以 Qwen-7B 为基座语言模型，在模型架构上引入视觉编码器，使得模型支持视觉信号输入，该模型支持的图像输入分辨率为 448，此前开源的 LVLM 模型通常仅支持 224 分辨率。

qwen.cpp和模型下载方式

qq_44576434的博客

03-02

571

139行assert中的!=应改为==，否则在debug模式下无法正常运行。将CMakeLists.txt的Release改成Debug。

利用WSL2本地部署-通义千问Qwen-7B-Chat

qq_43687808的博客

09-04

2750

通义千问-7B（Qwen-7B）是阿里云研发的通义千问大模型系列的70亿参数规模的模型。Qwen-7B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。同时，在Qwen-7B的基础上，我们使用对齐机制打造了基于大语言模型的AI助手Qwen-7B-Chat。本仓库为Qwen-7B-Chat的Int4量化模型的仓库。评测表现ModelMMLUC-EvalGSM8KHumanEvalCMMLU。

Qwen的github主页 - 介绍

人工智能曾小健

02-08

1215

🤗 Hugging Face | 🤖 ModelScope | 📑 Paper ｜ 🖥️ Demo WeChat (微信) | Discord ｜ API We opensource our Qwen series, now including Qwen, the base language models, namely Qwen-1.8B, Qwen-7B, Qwen-14B, and Qwen-72B, as well as Qwen-Chat, t

开源模型应用落地-qwen-7b-chat与vllm实现推理加速的正确姿势（一）

一入IT深似海、从此亲朋是路人！

01-10

3128

qwen-7b-chat集成vllm，流式输出

ChatGLM2-6B: An Open Bilingual Chat LLM - 开源双语对话语言模型

02-06

ChatGLM2-6B: An Open Bilingual Chat LLM | 开源双语对话语言模型

算法部署-使用TensorRT-LLM部署通义千问Qwen-7B大模型-附详细优化+分析流程教程-优质大模型部署项目实战.zip

03-06

算法部署_使用TensorRT-LLM部署通义千问Qwen-7B大模型_附详细优化+分析流程教程_优质大模型部署项目实战

算法部署-使用TensorRT-LLM部署llama大模型-毕业设计-附详细性能优化+分析+实现流程教程-优质大模型部署项目实战

03-06

算法部署_使用TensorRT-LLM部署llama大模型_毕业设计_附详细性能优化+分析+实现流程教程_优质大模型部署项目实战

支持模型(ChatGLM-6B, LLaMA, Bloom-7B, baichuan-7B), 支持(LoRA, QLoRA

08-21

中文大模型微调(LLM-SFT), 数学指令数据集MWP-Instruct, 支持模型(ChatGLM-6B, LLaMA, Bloom-7B, baichuan-7B), 支持(LoRA, QLoRA, DeepSpeed, UI, TensorboardX),

大模型部署-使用OpenVINO部署LLM大语言模型-支持LLama2+ChatGLM3+Qwen7B-项目源码-优质项目实战

热门推荐

weixin_42357472的博客

06-23

1万+

1、标记数据用labelme，建议用ubuntu版本去做，因为window可能因为这个需要环境改变影响其他，自己犯过这个问题 https://github.com/wkentaro/labelme 2、labelme转化成coco数据集用于分割任务 labelme2coco.py进行转化 # -*- coding:utf-8 -*- import argparse import json im...

BERT 获取最后一层或每一层网络的向量输出

weixin_42357472的博客

10-21

1万+

参考：https://zhuanlan.zhihu.com/p/422533717 https://blog.csdn.net/sunyueqinghit/article/details/105157609 transformer输出的结果 last_hidden_state：shape是(batch_size, sequence_length, hidden_size)，hidden_size=768,它是模型最后一层输出的隐藏状态 pooler_output：shape是(batch_size, hid

神经网络 Embedding层理解； Embedding层中使用预训练词向量

weixin_42357472的博客

10-21

8756

Embedding：高维稀疏特征向量到低维稠密特征向量的转换；嵌入层将正整数（下标）转换为具有固定大小的向量 Embedding 字面理解是 “嵌入”，实质是一种映射，从语义空间到向量空间的映射，同时尽可能在向量空间保持原样本在语义空间的关系，如语义接近的两个词汇在向量空间中的位置也比较接近。应用：在深度学习推荐系统中，Embedding主要的三个应用方向： 1、在深度学习网络中作为Embedding层，完成从高维稀疏特征向量到低维稠密特征向量的转换； 2、作为预训练的Embedding特征向量，与其

deepke-llm

07-28

DeepKE-LLM是DeepKE项目的一个版本，它是一个开源可扩展的知识图谱抽取工具。DeepKE-LLM可以实现命名实体识别、关系抽取和属性抽取等抽取任务，并支持低资源少样本、文档篇章和多模态等复杂场景。该版本基于大模型对数据进行智能解析以实现知识抽取，支持多种大模型、遵循指令和自定义知识类型、格式。\[3\] #### 引用[.reference_title] - *1* *2* *3* [开源开放 | 开源知识图谱抽取工具发布大模型版DeepKE-LLM](https://blog.csdn.net/TgqDT3gGaMdkHasLZv/article/details/131297637)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]