要将神经序列模型(例如变形金刚)应用于音乐发电任务,必须通过一系列有限的代币来代表一段音乐。这样的词汇通常涉及各种类型的令牌。例如,要描述音符,一个人需要单独的令牌来指示音符的音高,持续时间,速度(动态)和放置时间(起始时间)。虽然不同类型的令牌可能具有不同的适当性,但现有模型通常以与自然语言建模单词相同的方式对待它们。在本文中,我们提出了一种概念上不同的方法,该方法明确考虑了令牌的类型,例如注释类型和度量标准类型。,我们提出了一种新的变压器解码器 - 使用不同的馈送头来建模不同类型的kens。通过扩展压缩技巧,我们通过对相邻令牌进行分组,大大降低了令牌序列的长度,从而将一段音乐转换为一系列复合单词。我们表明,在动态有向超图中,可以将结果模型视为学习者。,我们采用它来学会创作全面的长度长度(每首歌曲最多涉及10k个个人to-kens)的表现力的流行钢琴音乐,无论是有条件地和无条件的)。我们的实验表明,与最先进的模型相比,所提出的模型在训练时收敛了5至10倍(即,在一天的GPU上,在具有11 GB内存的单个GPU上),并且在生成的音乐中具有可比的质量。
大型语言模型(LLMS)在解决Comples开放域任务方面具有出色的功能,并以提示形式进行的综合指示和示威。但是,这些提示可能是冗长的,通常会组成数百条线和数千个托管,它们的设计通常需要人们的努力。最近的研究已在短提示中介绍了自动及时工程,通常由一个或几个句子组成。但是,由于其巨大的搜索空间,长提示的自动设计仍然是一个具有挑战性的问题。在此pa-per中,我们提出了一种名为“自动及时工程XPERT(APEX)的算法”,这是一种新型算法,可以自动改善长时间的提示。利用具有横梁搜索的贪婪算法提高效率,Apex Uti-Liz liz liz liz liz liz liz liz liz liz liz liz liz liz liz liz liz liz liz extimive stripifimentive stripivine 在其搜索过程中显着提高了基于LLM的突变的有效性。 我们的结果表明,APEX在Big Banch中的八个任务中平均获得9.2%的准确性增益,并且具有各种模型的GSM8K的持续改进,突出了自动提示设计的重要性,以完全利用LLMS的功能。在其搜索过程中显着提高了基于LLM的突变的有效性。我们的结果表明,APEX在Big Banch中的八个任务中平均获得9.2%的准确性增益,并且具有各种模型的GSM8K的持续改进,突出了自动提示设计的重要性,以完全利用LLMS的功能。
ALD - 农业和牲畜司CBD - 生物多样性作物代理公约 - 太平洋ECD的区域组织理事会 - 环境与保护局EEZ - EEZ-EEZ - 独家经济区 - 环境影响区 - 环境影响评估ENSO - El Nino/La Nina/La Nina/La Nina/La Nina/La Nina Southern Southern Essos Eyc- Eyc-Eyf eCOS ECOS GEF - 全球环境社会 - 全球范围 - 全球范围 - 全球范围 - 全球范围 - 全球范围 - 全球范围 - 全球范围 - 全球范围ISM KENS ISM KENG - 全球范围 - ISM KENG - 全球范围 - – Kiribati Association of Non Governmental Organization KAP II – Kiribati Adaptation Project Phase II KDP – Kiribati Development Plan KOIL- Kiribati Oil Company Limited KPA – Key Policy Area KTO – Kiribati Tourism Office MCTTD – Ministry of Communication, Transport and Tourism Development MDG – Millennium Development Goals MELAD – Ministry of Environment, Lands and Agricultural Division MEA – Multi-lateral Environment Agreement MFMRD – Ministry of Fisheries and Marine Resource Development MOP – Ministerial Operational Plan MPA – Marine Protected Areas NBSAP – National Biodiversity Strategy Action Plan NGOs – Non-governmental Organization NDS – National Development Strategy OUV – Outstanding Universal Value PIPA – Phoenix Islands Protected Area POWPA – Programme of Work on Protected Areas SOPAC- South Pacific Applied Geosciences Commission SPREP – Secretariat for the Pacific区域计划UNEP - 联合国环境计划WHC - 世界遗产委员会
继 Transformer 架构在自然语言领域取得成功后,类似 Transformer 的架构最近被广泛应用于符号音乐领域。然而,符号音乐和文本是两种不同的模态。符号音乐包含多种属性,既有绝对属性(例如音高),也有相对属性(例如音长)。这些相对属性塑造了人类对音乐主题的感知。然而,这些重要的相对属性在现有的符号音乐建模方法中大多被忽略,主要原因是缺乏一个具有音乐意义的嵌入空间,无法有效地表示符号音乐标记的绝对嵌入和相对嵌入。在本文中,我们提出了基于偏差调整正弦编码的符号音乐基本音乐嵌入 (FME),其中可以嵌入绝对属性和相对属性,并且明确保留基本音乐属性(例如平移不变性)。利用所提出的 FME,我们进一步提出了一种基于相对索引、音高和起始嵌入(RIPO 注意)的新型注意机制,以便充分利用音乐领域知识进行符号音乐建模。实验结果表明,我们提出的模型:利用 FME 和 RIPO 注意的 RIPO 变压器在旋律完成任务中优于最先进的变压器(即音乐变压器、线性变压器)。此外,在下游音乐生成任务中使用 RIPO 变压器,我们注意到臭名昭著的退化现象不再存在,并且 RIPO 变压器生成的音乐在主观和客观评价中都优于最先进的变压器模型生成的音乐。所提出方法的代码可以在线获取:github.com/guozixunnicolas/FundamentalMusicEmbedding