详细内容或原文请订阅后点击阅览
我用本地语言模型做的 5 件很酷的事情
一段时间以来，我一直在日常工作流程中运行本地模型，最令我惊讶的是，本地模型常常被证明是更好的选择，而不是妥协。
来源:KDnuggets简介
第一次在终端中运行 llama 时，运行 llama3.2 并观察 70 亿个参数的模型加载到您自己的计算机上 — 没有 API 密钥、没有计费仪表板、没有数据离开您的计算机 — 有些东西发生了变化。并不是因为它在技术上令人印象深刻，尽管确实如此。但因为它速度快、能力强，而且完全属于您。对话由你掌控。没有人记录它。没有人按代币向您收费。该模型不知道也不关心您是否离线。
我已经将本地模型作为日常工作流程的一部分运行一段时间了，最令我惊讶的是本地模型常常被证明是更好的选择，而不是妥协。以下是我实际上使用本地语言模型所做的五件事，而这些事情是我使用云工具不会做（或无法做）的。重要的地方还有工作代码。
“本地”表示模型在您的计算机上运行。该设置是 Ollama，这是一个工具，它使下载和运行开源模型与安装任何其他应用程序一样复杂。下面的大部分内容都适用于具有 8 GB RAM（较小型号）的计算机，16 GB RAM（适合较小型号）。由于统一内存，Apple Silicon Mac（M1 及更高版本）能够出色地处理此问题。专用 NVIDIA GPU 可以显着加快速度，但这并不是开始的必要条件。
项目1：构建私有文档大脑
我处理各种研究论文、合同和项目笔记，这些文件的积累速度比我正确索引它们的速度要快。在某个时候，我在磁盘上保存了三年的 PDF、一些 Word 文档和一个纯文本笔记文件夹——理论上很有用，但它们都无法以任何有意义的方式进行搜索。
运行它需要一个命令：
我加载了一个研究论文文件夹，并向它询问了需要阅读多个文档的问题：
这是我使用的提示：
项目 2：运行一个从不评判你的代码审查程序
我每次复习时使用的系统提示：
我给它提供了这个函数：