实测机器：MacBook Pro，Apple M4 Pro，48GB 统一内存
运行方案：Ornith-1.5-35B-A3B Q4_K_M + llama.cpp Metal

前面在这台 M4 Pro 上折腾 Qwen3.8-27B，普通 4-bit 生成大约 15 token/s，加上 DFlash2 后能到 27～31.5 token/s。后来看到 Ornith 1.5，我又装了它的 35B-A3B 版本。本来只是想看看这个偏编程和 Agent 的 MoE 模型能不能在 48GB Mac 上稳定运行，结果文本生成直接跑到了 51.5～56.98 token/s，图片理解和 OpenCode 工具调用也都走通了。

这次没有继续折腾 MLX，也没有额外加草稿模型。我选择的是约 21.7GB 的 Q4_K_M GGUF，通过 Homebrew 安装的 llama.cpp 在 Metal 后端运行，视觉部分再加载一个约 0.9GB 的 mmproj。整套部署最后保留文本对话、图片理解、OpenAI 兼容 API 和 OpenCode 四种入口。

这篇只记录我实际安装成功的流程。命令以 ~/Develop/AI 为示例，换成自己的目录也可以。

如果关注我的朋友，可能知道我被wise搞崩溃的情况。我注册了wise，通过我的香港银行卡转账到wise，结果wise不给我入金，要求我证明是由我自己发起的转账。

我提交了转账记录、银行截图、护照所有能提交的材料，wise依然给我打回了，要给我退款。更搞的来了，退款不支持退回到我的香港卡（香港卡招商香港一卡通），wise认为我的是内地卡。

最后我又跑到香港办了一张众安银行（ZaBank）的卡才把钱退回来，然后我果断卸载了。

所以有一张海外卡和顺畅的海外支付渠道非常重要，而Starryblu 提供了一个相对简单的解决方案。它是 WoTransfer 旗下的全球支付产品，与熊猫速汇属于同一体系，支持多币种账户、跨境转账，以及 Mastercard 虚拟卡和实体卡。国内现在可以直接通过护照完成认证，管理跨境消费和订阅ChatGPT和Claude。

如果你没有香港卡、新加坡卡，又经常订阅 AI 工具和国际 SaaS，可以把 Starryblu 作为一张独立的海外订阅卡。下面讲一下注册流程。

这两天刚在 M1 Pro 上跑完 Qwen3.8-27B，普通 4-bit 推理大约 8～8.7 token/s。一直想着换个更牛逼的设备，今天在家里翻了下电脑，找到了我还有一台 48GB 的 M4 Pro（我家有四台mac，配置我真搞不清楚了）
又跑起来了标准4bit版本已经能稳定在 14.8 token/s 左右，但看到L总发的 DFlash 2 相关优化，我还是想试一下：再加一个草稿模型，到底能把本地生成速度推到什么程度？

最后的结果比我预想得更明显。相同提示词和采样参数下，数学推理从 14.78 token/s 提升到 31.33 token/s，代码生成从 14.76 提升到 26.15 token/s；三轮 GSM8K 测试里，DFlash 2 也跑到了 28.27 token/s，整体加速 1.91 倍。

这不是换了一个更小、更笨的模型来冒充 Qwen3.8-27B。DFlash 2 只是负责并行起草 token，最后仍由 27B 主模型验证，因此不会因为草稿猜错就把错误内容直接放出去。代价很小：除了约 16GB 的主模型，只要多下载一个约 3.6GB 的草稿模型。

昨天看了L总的推，心里直痒痒，27B 参数的模型到底能不能跑在一台 32GB 内存的老款 M1 Pro？

我原本觉得有点悬。毕竟内存不是只给模型用，macOS、Python、推理框架、KV Cache 全都要抢这 32GB。真把模型加载起来以后，结果比我预想的好：4-bit 版本可以稳定运行，本地 API 也能正常对话，生成速度大约 8～8.7 token/s。

不算快，但已经脱离“跑个 Demo 看一眼”的阶段。日常问答、改代码、写点东西，完全能用。

这篇只记录我实际走通的方案：Apple Silicon Mac、MLX-VLM、Qwen3.8-27B 4-bit，以及几个很容易踩错的开关。

昨天在 X 上刷到一条帖子：国外大佬 拿 RTX 4060 8GB 笔记本跑起了 Qwen3.8-27B，64K 上下文，生成速度大约 5 token/s。

我正好也有一张 4060 Ti 8GB，就照着他的参数装了一遍。中间踩了个不小的坑，模型能加载，速度却一度只有 0.19 token/s，半天蹦不出一句话。好在最后找到了原因。

现在这套配置稳定生成约 4.2 token/s，MTP 也正常工作。代价很明确：27B 模型不可能全塞进 8GB 显存，剩下的权重主要靠系统内存和 CPU。聊个天就巨慢了，更别说处理任务了，纯玩具。

实测机器：Windows 10、RTX 4060 Ti 8GB、Ryzen 7 7800X3D、32GB 内存
安装目录：D:\AI\MiniMax-H3

4060 Ti 8GB 可以在本地跑 MiniMax H3。

我已经在这台电脑上跑通文生视频、图生视频和原生音频。原版工作流用 20 步，装上 Turbo LoRA 后可以降到 6～8 步。8GB 显存的麻烦也很明显：模型远大于显存，只能边算边卸载，时长和分辨率稍微往上加，速度就会掉得很快。

第一次安装时，我手动创建目录、装依赖，再逐个下载四个模型。过程不难，步骤太碎。为了让后面的人少敲几十条命令，我把这部分整理成了一份 PowerShell 脚本。

这篇文章只讲两件事：怎么把 H3 装起来，以及 4060 Ti 8GB 怎么设置才不会把时间浪费在无效生成上。

适用环境：Windows / DeepSeek Harness 0.1.0-rc.6

DeepSeek Harness，简称 DSH，是 DeepSeek 推出的开源 Agent 框架。

它不只是给模型套了一个聊天界面。模型可以在里面读取和编辑文件、执行终端命令、搜索代码、调用插件，还能根据任务切换不同的 Agent 工作方式。

这篇文章分成四部分：

1. 安装流程
2. DSH 四种模式介绍
3. 插件推荐，以 dshmarket 为核心
4. DeepSeek 模型切换

目前 DSH 仍处于开发预览阶段，版本更新可能改变配置结构和插件接口。遇到界面或命令不一致时，以 DeepSeek Harness 官方仓库 的最新说明为准。

项目：https://github.com/Andrew-liu/mini-agent

01｜Agent 没有想象中那么神秘

前几天看了李博杰老师的《深入理解 AI Agent》，了解了Agent = LLM + 上下文 + 工具这一核心概念。但是对Agent到底怎么运行的还是很好奇，于是今天花了点时间写了一个mini agent，核心函数只有50行左右。

项目链接在这里：https://github.com/Andrew-liu/mini-agent

它不接 LangChain，不接 AutoGen，也没有一堆抽象类。核心就是 Python + OpenAI SDK + Tool Calling。完整的 agent.py 因为加了 CLI、日志、兼容接口处理和安全提示，大概 200 多行；但如果只看 Agent 的最小闭环，其实 50 行左右就能讲清楚。

我写这个项目时最大的感受是：Agent 不是一个新物种。它就是让模型在回答前，有机会先调用几个外部函数。模型负责判断“要不要用工具、用哪个工具、参数是什么”，Python 负责真正执行工具，然后把结果塞回上下文里，让模型继续回答。

这件事拆开以后，只有四块：messages对应上下文、tools schema和tool dispatcher对应工具、loop。

很久没有更新博客了, 前段时间迷上了王者农药, 戒了农药后又重新入了暴雪爸爸暗黑3的大坑, 呵呵.
除此之外, 公司离职回来一直准备毕业论文、毕业答辩、毕业相关材料, 真是焦头烂额.
不过想想十九年求学生涯就要结束了, 即将AFK了, 简直幸福.

为什么要重装? Mac系统的乱七八糟的东西已经占据了90%的磁盘空间, 无法减少文件保持一定空闲磁盘空间, 这种情况已经严重影响了我的日常工作.

重装方案严格按照 Apple 官方文档 如何重新安装 macOS 执行.

系统偏好设置

• 允许安装任何来源的APP: 安全性与隐私->通用. 若无该选项，请命令行执行sudo spctl --master-disable

• 设置快捷键: 键盘->快捷键 更改输入法切换快捷键

• 设置触摸板: 选取全部触摸板设置

• 设置触发角: 桌面与屏幕保护程序->触发角

• 设置密码验证: 系统偏好设置->安全性与隐私->选择 进入休眠或屏保后立即要求输入密码

• 编辑 /etc/paths(sudo vim /etc/paths)

1
2
3
4
5
6

/usr/local/bin
/usr/local/sbin
/usr/bin
/usr/sbin
/bin
/sbin

本博客采用创作共用版权协议, 要求署名、非商业用途和保持一致. 转载本博客文章必须也遵循署名-非商业用途-保持一致的创作共用协议.

一转眼，2016年又结束了，我的本命年就这样不知不觉溜走了，回头一看，很多年初许下的目标因为各种拖延症没有完成，心情还是有些小抑郁的。2016年算是奔波的一年吧，往返南京、北京、深圳三座城市也是挺心酸了，还不是为了生活的苟且。

本文想到哪里写到哪里，毕竟我没有过目不忘的记忆

2016年解锁成就：

• Zhihu.inc全体验成就达成，拿到Offer后跑路
• Baidu.inc全体验成就达成，拿到Offer后又干了一个月因其他原因不得不跑路
• Tencent.inc实习成就达成，并期待解锁终生成就奖（然而已经错过了一波企鹅18岁的全员股票）
• NJU最浪/最不务正业研二学生成就达成，一整年没回几次学校，没睡几次宿舍的床，感觉宿舍的床已经长毛了，不能再睡了。
• BAT实习成就解锁2/3，预计剩余1/3是没有机会解锁了，毕竟企业文化是很重要的，选择一个适合的企业文化才能让自己开心的浪
• iPhone 7成就达成，喊了这么多年想拥有一个iPhone，终于这一次iPhone发布会剁手，虽然没有太多的外形变化，但是总是比我的辣鸡魅族不知道高到哪里去了，辣鸡魅族，毁我青春，败我钱财
• Apple三件套成就达成，还记得第一件iPad是去南大读书的时候，妈妈送我的礼物，还记得第二件Macbook是送给自己的开发礼物，用Apple的产品总是不会错的，虽然我一直鼓吹自己是个谷歌脑残粉，嗯，谷歌大法好！