Benchmarking customized models on Amazon Bedrock using LLMPerf and LiteLLM
这篇文章开始了一个博客系列,探索Amazon Bedrock自定义模型导入的DeepSeek和Open FMS。它涵盖了使用流行的开源工具:LLMPERF和LITELLM在亚马逊基岩中定制模型的性能基准测试过程。它包括一个笔记本,其中包含分步说明,以部署DeepSeek-R1-Distill-Lalama-8B型号,但是相同的步骤适用于Amazon Bedrock自定义模型导入的任何其他模型。
Clarifai 10.5: Gear Up Your AI: Fine-Tuning LLMs
微调 LLM、编码应用程序模板、Clarifai LiteLLM 集成、新模型:GPT-4o、Gemini-1.5-Flash、Snowflake Arctic-Instruct 模型,以及其他功能改进和错误修复。