wiwjxx

请叫我红领巾
管理成员
2022/05/11
2,432
84
7
38
金币
27,230金币
1,188次观看 首播开始于 23小时之前 #deepseek #科技 #人工智能
一、视频概括
①00:00 - 01:27 前言
②01:27 - 01:56 第一步:需要安装Ollama
③01:56 - 02:23 第二步:打开电脑的命令提示符
④02:23 - 03:48 第三步:下载Deepseek模型并运行
⑤03:48 - 04:41 第四步:下载Page Assist来装饰deepseek本地部署界面
⑥04:41 - 05:02 尾言感慨

二、所用到的工具网址
①Ollama:https://ollama.com/
②Page Assist:https://chromewebstore.google.com/detail/page-assist-本地-ai-模型的-web/jfgfiigpkhlkbnfnbobbkinehhfdhndo

三、视频中用到的指令。
①检测Ollama安装成功指令:ollama help
②搜索的模型名称:deepseek-r1

#deepseek #知识 #科技#2024年科技年度盘点#本地部署#深度求索 #科普#保姆及教程#人工智能

 

wiwjxx

请叫我红领巾
管理成员
2022/05/11
2,432
84
7
38
金币
27,230金币
试了一下在我自己的机器上纯本地部署DeepSeek-R1,22G显存的2080Ti上竟然可以丝滑地跑起来32b参数的模型,而且输出速度良好。

32b模型,载入后实际使用了19.8G的显存。
14b的模型, 好像用了10G显存。

这意味着可以低成本的、免费、没有网络连接、离线本地(没有数据泄露和隐私风险,这点对很多特殊BM应用场景尤为重要)地获得 GPT-4级别的个人智能助理,那是真香啊...

这是可能颠覆AI竞争格局的科技成果。
 

wiwjxx

请叫我红领巾
管理成员
2022/05/11
2,432
84
7
38
金币
27,230金币
在v2看到了windyboy的帖子,好多年的队员,我基于我的认知说说我的看法。
1.ollama更多用在验证上,生产上用的不多;
2.显存的计算粗暴是模型尺寸*2 + 2g左右的浮动(推理),举例说明:deepseek-r1:32b,标准fp16小这个模型应该是32g的文件大小,deepseek做了fp8量化,那么应该是16g的文件大小,算到显存上应该是16 *2 + 2,ollama看到的20g的大小,是因为ollama在model那一块描述的很清楚。Q4_K_M量化,文件降到了8G左右。
3.cpu和内存在现阶段模型架构下只能是玩具,或者说玩具都不是。想尝试想体验建议直接租算力,2元一个小时左右
4.华为的卡一言难尽(纯浅应用开发牢骚)
我的认知不一定正确,这些都是花钱买了张4090摸索出来的。
 

wiwjxx

请叫我红领巾
管理成员
2022/05/11
2,432
84
7
38
金币
27,230金币
"并且,最关键的一点,它不会结合之前的历史对话信息,它每次的回答只是针对本次提问,是完全孤立的,跟之前的提问和回答没有任何关联。"
世界上目前任何一个模型都没有这个能力。为啥我会这么说了,因为模型都是离线的产物,都是训练完就已经固化了。至于你感觉deepseek有这个意思,能有最新的知识,那是工程化应用层面的实现。举个最简单的例子,假如你也可以部署r1 600多b的那个,但你肯定复现不了在官网和你本地化部署的效果。
 

wiwjxx

请叫我红领巾
管理成员
2022/05/11
2,432
84
7
38
金币
27,230金币
三个租赁算力的平台