Meta and others now allow military agencies to access their AI software
科技巨头 Meta 宣布，将向美国政府提供其生成式人工智能 (AI) 模型，这一有争议的举动给使用该软件的每个人都带来了道德困境。Meta 上周透露，它将向政府机构提供这些名为 Llama 的模型，“包括那些 […]
Fine-tune multimodal models for vision and text use cases on Amazon SageMaker JumpStart
在本文中，我们将展示如何微调文本和视觉模型（例如 Meta Llama 3.2），以便在视觉问答任务中表现更好。Meta Llama 3.2 Vision Instruct 模型在具有挑战性的 DocVQA 视觉问答基准上表现出色。通过利用 Amazon SageMaker JumpStart 的强大功能，我们展示了调整这些生成式 AI 模型以更好地理解和回答有关图像的自然语言问题的过程。
#452 – Dario Amodei: Anthropic CEO on Claude, AGI & the Future of AI & Humanity
Dario Amodei 是 Anthropic 公司的首席执行官，该公司创造了 Claude。Amanda Askell 是一名人工智能研究员，致力于研究 Claude 的性格和个性。 Chris Olah 是一位致力于机械可解释性的人工智能研究员。感谢您的聆听❤查看我们的赞助商：https://lexfridman.com/sponsors/ep452-sc请参阅下面的时间戳、成绩单，并提供反馈、提交问题、联系 Lex 等。成绩单：https://lexfridman.com/dario-amodei-transcript联系 LEX：反馈 - 向 Lex 提供反馈：https://lex
在本文中，我们将演示如何使用 Amazon SageMaker JumpStart 针对特定领域的应用程序微调 Meta 最新的 Llama 3.2 文本生成模型 Llama 3.2 1B 和 3B。通过使用 SageMaker JumpStart 中提供的预构建解决方案和可定制的 Meta Llama 3.2 模型，您可以解锁模型增强的推理、代码生成和指令遵循功能，以根据您的独特用例进行定制。
От гражданского ИИ к военному: Meta превращает Llama в инструмент нацбезопасности
中国已将人工智能应用于军事任务 - 该公司正在采取新措施进行应对。
Budget bill elevated to Senate plenary
参议院的 6.352 万亿比索国家预算法案已提交全体会议辩论，国会预计将在 12 月中旬休会前批准该支出计划。在周二的全体会议上，参议员兼财务委员会主席 Mary Grace Natividad S. Poe-Llamanzares 表示，预算法案增加了对卫生和教育项目的资金投入，包括额外的 […]
Reducing the Size of AI Models
在边缘设备上运行大型 AI 模型使用 Pixlr 创建的图像AI 模型，尤其是大型语言模型 (LLM)，需要大量的 GPU 内存。例如，对于 2024 年 7 月发布的 LLaMA 3.1 模型，内存要求如下：80 亿参数模型需要 16 GB 内存（16 位浮点权重）更大的 4050 亿参数模型需要 810 GB（使用 16 位浮点数）在全尺寸机器学习模型中，权重表示为 32 位浮点数。现代模型具有数亿到数百亿（甚至数千亿）的权重。训练和运行如此大的模型非常耗费资源：它需要大量的计算（处理能力）。它需要大量的 GPU 内存。它会消耗大量的能源，特别是，造成这种能源消耗的最大因素是：- 使用 3
Running Large Language Models Privately
框架、模型和成本的比较 Robert Corwin，Austin Artificial Intelligence 首席执行官 David Davalos，Austin Artificial Intelligence ML 工程师 2024 年 10 月 24 日大型语言模型 (LLM) 迅速改变了技术格局，但安全问题仍然存在，尤其是在将私人数据发送给外部第三方方面。在这篇博文中，我们深入探讨了在本地和私下（即在自己的计算机上）部署 Llama 模型的选项。我们让 Llama 3.1 在本地运行，并调查了速度、功耗和不同版本和框架中的整体性能等关键方面。无论您是技术专家还是只是对所涉及的内容感到
On Device Llama 3.1 with Core ML
许多应用程序开发人员都对在集成功能日益强大的大型语言模型 (LLM) 的设备体验上进行构建感兴趣。在 Apple 芯片上本地运行这些模型使开发人员能够利用用户设备的功能进行经济高效的推理，而无需向第三方服务器发送数据和从第三方服务器接收数据，这也有助于保护用户隐私。为了做到这一点，必须仔细优化模型以有效利用可用的系统资源，因为 LLM 通常对内存和处理能力都有很高的要求。这篇技术文章详细介绍了如何……
Маски сброшены: OSI определила истинно открытый ИИ
Meta 的 Llama 模型不再符合开放 AI 的标准。
How and Why to use LLMs for Chunk-Based Information Retrieval
如何以及为何使用 LLM 进行基于块的信息检索检索管道 - 作者提供的图片在本文中，我旨在解释如何以及为何使用大型语言模型 (LLM) 进行基于块的信息检索是有益的。我以 OpenAI 的 GPT-4 模型为例，但这种方法可以应用于任何其他 LLM，例如 Hugging Face、Claude 和其他人的模型。每个人都可以免费访问这篇文章。标准信息检索的注意事项主要概念涉及将文档列表（文本块）存储在数据库中，可以根据某些过滤器和条件进行检索。通常，使用工具来启用混合搜索（例如 Azure AI Search、LlamaIndex 等），它允许：使用 TF-IDF 等词频算法执行基于文本的搜索（
Discover What Every Neuron in the Llama Model Does
Transluce 的新工具正在改变 AI 透明度的游戏规则——一个测试用例和一些值得思考的内容作者提供的图片——正在使用新工具！Transluce 是一家新成立的非营利研究实验室，肩负着鼓舞人心的使命，刚刚发布（23.10.24）一款引人入胜的工具，可深入了解 LLM 中的神经元行为。或者用他们自己的话说：当 AI 系统表现异常时，我们希望了解解释行为发生原因的“思维过程”。这使我们能够预测和修复 AI 模型的问题，发现隐藏的知识，并发现习得的偏见和虚假相关性。为了完成他们的使命，他们推出了一个可观察性界面，您可以在其中输入自己的提示，接收响应并查看哪些神经元被激活。然后，您可以探索激活的神
Build and Deploy a Multi-File, Multi-Format RAG App to the Web
第 1 部分 — 使用 Python、Gradio、GROQ 和 LlamaIndex 开发代码继续阅读 Towards Data Science »
Fine-tuning Llama 3.2 Using Unsloth
Unsloth 是一个用户友好的框架，为大型语言模型提供快速推理和微调。 它还支持以多种格式保存模型，包括 vLLM 和 GGUF。
Automate fine-tuning of Llama 3.x models with the new visual designer for Amazon SageMaker Pipelines
在这篇文章中，我们将向您展示如何设置自动化的 LLM 自定义（微调）工作流程，以便 Meta 的 Llama 3.x 模型可以为金融应用程序提供高质量的 SEC 文件摘要。微调允许您配置 LLM 以在特定于域的任务上实现更好的性能。
在本文中，我们将介绍如何使用 Amazon EC2 Inf2 实例在专用 AWS AI 芯片 AWS Inferentia2 上经济高效地部署多个行业领先的 LLM，帮助客户快速测试并开放 API 接口，以同时促进性能基准测试和下游应用程序调用。
