【wails】(2):使用go-llama.cpp 运行 yi-01-6b大模型,使用本地CPU运行,速度还可以,等待下一版本更新

1015
0
2024-02-20 08:37:51
正在缓冲...
12
8
24
3
【wails】(2):使用go-llama.cpp 运行 yi-01-6b大模型,使用本地CPU运行,速度还可以,等待下一版本更新 https://blog.csdn.net/freewebsys/article/details/136176433 模型下载地址: https://www.modelscope.cn/models/shaowenchen/chinese-llama-2-7b-gguf/files https://hf-mirror.com/TheBloke/Chinese-Llama-2-7B-GGUF
大模型,IOT和边缘计算研究。加微:fly-iot
1.5万播放
简介
【wails】(1):使用go做桌面应用开发,wails框架入门学习,在Linux上搭建环境,运行demo项目,并打包测试
23:15
【wails】(2):使用go-llama.cpp 运行 yi-01-6b大模型,使用本地CPU运行,速度还可以,等待下一版本更新
14:37
【wails】(3):解决 go-chatglm.cpp 项目部署编译的问题,在Linux本地环境成功运行,可以使用CPU进行模型训练,速度还可以
11:51
【wails】(4):使用wails做桌面应用开发,整合chatgpt-web项目做前端,进行本地开发,web端也可以连调,使用websocket实现
14:45
【wails】(5):经过一段时间的研究,使用wails做桌面应用开发,使用gin+go-chatglm.cpp本地运行大模型,开发接口,在linux上运成功!
12:47
【wails】(6):研究发现一个新的项目llama.go,使用纯golang写的代码,可以支持win,linux,mac平台运行,理论可以运行llama2大模
10:45
【wails】(7):运行llama.go项目,使用纯golang写的代码,下载了模型文件,然后可以本地执行了,可以执行,就是模型文件26G,运行速度慢
23:01
【wails】(8):发现一个用golang重写llama.cpp的llama.go项目,经测试支持f32模型,半年未更新,找到llama.cpp对应的版本
20:18
【wails】(9):经测试可以四月wails进行跨平台编译,目前支持linux,windows平台,不支持mac,且目前的cgo不支持跨平台编译
16:46
【wails】(10):在windows上利用CPU使用llama.cpp工具运行qwen2-7B大模型,速度和可以,同时也支持ChatGLM6大模型
16:09
客服
顶部
赛事库 课堂 2021拜年纪