百度360必应搜狗淘宝本站头条
linux文件压缩linux用户组查看linux磁盘mysql安装linuxlinux多线程
当前位置：网站首页 > 优雅编程 > 正文

1文件+2个命令，无需安装，单机离线运行70亿大模型

sinye56 2024-11-27 20:31 1 浏览 0 评论


大家好，我是老章

最近苹果发布了自己的深度学习框架--MLX，专门为自家M系列芯片优化。看了展示视频，这个框架还能直接运行Llama 7B的大模型，在M2 Ultral上运行流畅。但是我尝试了一下，我的M2 Mac mini根本跑不动，模型权重太大了。

这倒勾起了我继续单机玩大模型的兴趣，然后就发现了llamafile的玩法：下载模型文件、直接执行即可浏览器中运行，就可以开始聊天，还可以上传图片进行提问。

先不介绍原理，直接看看如何运行吧：

1、下载llava-v1.5-7b-q4-server.llama 文件（对应模型是LLaVA 1.5，在 Llama 2 之上进行微调的大型多模式模型 ）

下载地址：https://huggingface.co/jartine/llava-v1.5-7B-GGUF/resolve/main/llava-v1.5-7b-q4-server.llamafile?download=true

鉴于有些同学可能无法访问huggingface，我也准备了这个文件在网盘，有需要可以找我要一下。

2、MacOS和linux用户需要在命令行中先授权这个文件可执行

chmod +x llava-v1.5-7b-q4-server.llamafile
# 然后运行
./llava-v1.5-7b-q4-server.llamafile

如果是windows用户，那就更省事了，直接重命名这个文件，后面加上 .exe 即可

3、浏览器会自动弹开聊天界面（如果没有，浏览器中直接打开https://localhost:8080即可）

首次打开需要配置一些参数，也可以直接使用默认值。

除了聊天，也可以上传图片让它识别。聊天完毕后，返回终端并点击 Control-C关闭 llamafile。

顺便简单介绍一下llamafile：

这个大模型文件是Mozilla 团队发布的，这个文件包含 LLM 的模型权重和运行该模型所需的代码 ，可以将它视为一个完整的本地服务器，带有用于与其交互的 Web UI。

llamafile是基于llama.cpp（一个领先的开源 LLM 聊天机器人框架）和Cosmopolitan Libc（一个开源项目，使 C 程序能够在大量平台和架构上编译和运行）实现的。使用 llamafile，可以将大型语言模型 (LLM) 权重文件转换为可在六种操作系统（macOS、Windows、Linux、FreeBSD、OpenBSD 和 NetBSD）上运行的二进制文件，而无需安装，确保给定的一组权重将永远保持可用并一致且可重复地执行。

想要了解更多，可以参考一下资料：

模型演示：https://llava.hliu.cc/

模型简介：https://llava-vl.github.io/

模型代码：https://github.com/haotian-liu/LLaVA

llamafile开源地址：https://github.com/Mozilla-Ocho/llamafile

llamafile简介：https://hacks.mozilla.org/2023/11/introducing-llamafile/

相关推荐

Linux基础知识之修改root用户密码

现象：Linux修改密码出现：Authenticationtokenmanipulationerror。故障解决办法：进入单用户，执行pwconv，再执行passwdroot。...

Linux如何修改远程访问端口

对于Linux服务器而言，其默认的远程访问端口为22。但是，出于安全方面的考虑，一般都会修改该端口。下面我来简答介绍一下如何修改Linux服务器默认的远程访问端口。对于默认端口而言，其相关的配置位于/...

如何批量更改文件的权限

如果你发觉一个目录结构下的大量文件权限(读、写、可执行)很乱时,可以执行以下两个命令批量修正：批量修改文件夹的权限chmod755-Rdir_name批量修改文件的权限finddir_nam...

CentOS「linux」学习笔记10:修改文件和目录权限

?linux基础操作：主要介绍了修改文件和目录的权限及chown和chgrp高级用法6.chmod修改权限1：字母方式[修改文件或目录的权限]u代表所属者，g代表所属组，o代表其他组的用户，a代表所有...

Linux下更改串口的权限

问题描述我在Ubuntu中使用ArduinoIDE，并且遇到串口问题。它过去一直有效，但由于可能不必要的原因，我觉得有必要将一些文件的所有权从root所有权更改为我的用户所有权。...

Linux chown命令:修改文件和目录的所有者和所属组

chown命令，可以认为是"changeowner"的缩写，主要用于修改文件（或目录）的所有者，除此之外，这个命令也可以修改文件（或目录）的所属组。当只需要修改所有者时，可使用...

chmod修改文件夹及子目录权限的方法

chmod修改文件夹及子目录权限的方法打开终端进入你需要修改的目录然后执行下面这条命令chmod777*-R全部子目录及文件权限改为777查看linux文件的权限：ls-l文件名称查看li...

Android 修改隐藏设置项权限

在Android系统中，修改某些隐藏设置项或权限通常涉及到系统级别的操作，尤其是针对非标准的、未在常规用户界面显示的高级选项。这些隐藏设置往往与隐私保护、安全相关的特殊功能有关，或者涉及开发者选项、权...

完蛋了!我不小心把Linux所有的文件权限修改了!在线等修复!

最近一个客户在群里说他一不小心把某台业务服务器的根目录权限给改了，本来想修改当前目录，结果执行成了根目录。...

linux改变安全性设置-改变所属关系

CentOS7.3学习笔记总结（五十八）-改变安全性设置-改变所属关系在以前的文章里，我介绍过linux文件权限，感兴趣的朋友可以关注我，阅读一下这篇文章。这里我们不在做过的介绍，注重介绍改变文件或者...

Python基础到实战一飞冲天(一)--linux基础(七)修改权限chmod

#07_Python基础到实战一飞冲天（一）--linux基础（七）--修改权限chmod-root-groupadd-groupdel-chgrp-username-passwd...

linux更改用户权限为root权限方法大全

背景在使用linux系统时，经常会遇到需要修改用户权限为root权限。通过修改用户所属群组groupid为root，此操作只能使普通用户实现享有部分root权限，普通用户仍不能像root用户一样享有超...

怎么用ip命令在linux中添加路由表项?

在Linux中添加路由表项，可以使用ip命令的route子命令。添加路由表项的基本语法如下：sudoiprouteadd<network>via<gateway>这...

Linux配置网络

1、网卡名配置相关文件回到顶部网卡名命名规则文件：/etc/udev/rules.d/70-persistent-net.rules#PCIdevice0x8086:0x100f(e1000)...

Linux系列---网络配置文件

1.网卡配置文件在/etc/sysconfig/network-scripts/下:[root@oldboynetwork-scripts]#ls/etc/sysconfig/network-s...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表