GoDaddy如何按大规模建立类别生成系统,并批量推断亚马逊基岩

这篇文章概述了由For Godaddy(域注册商,注册表,网络托管和电子商务公司)开发的自定义解决方案,该公司试图通过使用生成AI为超过2100万客户提供个性化的业务洞察,以使企业家精神更加访问。在这项合作中,生成的AI创新中心团队使用Amazon Bedrock中的批处理创建了一种准确且具有成本效益的基于AI的解决方案,帮助GoDaddy改善了他们现有的产品分类系统。

来源:亚马逊云科技 _机器学习
这篇文章与GoDaddydygaddynerative AI解决方案的数据和分析团队的数据工程领导者Vishal Singh共同撰写,有可能通过提高生产力和提高客户体验来改变业务,并在这些解决方案中使用大型语言模型(LLMS)变得越来越流行。但是,将LLMS作为单个模型调用或API调用的推断在生产中的许多应用程序中不能很好地扩展。批次推理,您可以异步运行多个推理请求,以有效地处理大量请求。 You can also use batch inference to improve the performance of model inference on large datasets.This post provides an overview of a custom solution developed by the for GoDaddy, a domain registrar, registry, web hosting, and ecommerce company that seeks to make entrepreneurship more accessible by using generative AI to provide personalized business insights to over 21 million customers—insights that were previously only available to large corporations.在这项合作中,生成的AI创新中心团队使用亚马逊基岩中的批处理创建了一种准确且具有成本效益的基于AI的溶液,帮助GoDaddy改善了他们现有的产品分类系统。SolutionSolutionoverviewGodaddy希望增强其产品分类系统,将基于其名称分类的产品分类为类别。例如:输入:脚步的果实:颜色 - >颜色 - >多色,材料 - >糖果,类别 - >零食,product_line-> frue by the Foot,…Godaddy使用开箱即用的Meta Llama 2模型来生成600万个产品的产品类别,其中sku识别了产品。生成的类别通常是不完整或标记的。此外,使用LLM进行单个产品分类被证明是一项昂贵的努力。认识到需要更精确,更具成本效益的解决方案,Godaddy寻求一种更替代的方法