【ollama】(2):在linux搭建环境,编译ollama代码,测试qwen大模型,本地运行速度飞快,本质上是对llama.cpp 项目封装
使用autodl服务器,两个3090显卡上运行, Yi-34B-Chat-int4模型,用vllm优化,增加 --num-gpu 2,速度23 words/s
【xinference】(17):在本地CPU上,运行xinference,使用llama.cpp运行qwen2-7B大模型,解决内存18G溢出问题
【wails】(8):发现一个用golang重写llama.cpp的llama.go项目,经测试支持f32模型,半年未更新,找到llama.cpp对应的版本
【wails】(1):使用go做桌面应用开发,wails框架入门学习,在Linux上搭建环境,运行demo项目,并打包测试
使用autodl服务器,在A40显卡上运行, Yi-34B-Chat-int4模型,并使用vllm优化加速,显存占用42G,速度18 words/s
【全200集】Linux操作系统从基础入门到精通必学教程!通俗易懂,2025最新版,学完即可就业!Linux操作系统_Linux安装_Linux系统学习路线图!
使用llama.cpp项目bin文件运行,glm4-chat-9b大模型,速度不快,建议选择量化小的Q2试试
【wails】(3):解决 go-chatglm.cpp 项目部署编译的问题,在Linux本地环境成功运行,可以使用CPU进行模型训练,速度还可以
【deepseek】(3):经过我的认真反思,终于把DeepSeeK-Coder-6.7B给运行起来了,使用A40显卡运行速度挺快的。
【Dify知识库】(11):Dify0.4.9改造支持MySQL,成功接入yi-6b 做对话,本地使用fastchat启动,占8G显存,完成知识库配置
【LocalAI】(11):本地使用CPU运行LocalAI,一次运行5个能力,embedding模型,qwen-1.5-05b模型,生成图模型,语音转文字互转
【wails】(7):运行llama.go项目,使用纯golang写的代码,下载了模型文件,然后可以本地执行了,可以执行,就是模型文件26G,运行速度慢
【ai技术】(4):在树莓派4上,使用ollama部署qwen0.5b大模型+chatgptweb前端界面,搭建本地大模型聊天工具,速度飞快
【LocalAI】(9):本地使用CPU运行LocalAI,一次运行4个大模型,embedding模型,qwen-1.5-05b模型,生成图模型,语音转文字模型
【大模型研究】(5):在AutoDL上部署,一键部署DeepSeek-MOE-16B大模型,可以使用FastChat成功部署,显存占用38G,运行效果不错。
🚀 Ubuntu 25.04 更新:竟然如此重大!
【fastllm】学习框架,本地运行,速度还可以,可以成功运行chatglm2模型
【deepseek】(4):使用xinf在autodl上 用4090启动deepseek-r1-distill-qwen 7B大模型,速度还可以,还是非常方便的
【LocalAI】(12):本地使用CPU运行LocalAI,piper语音模型已经切换到了hugging faces上了,测试中文语音包成功!