XiaoMi-AI文件搜索系统
World File Search SystemSalimans
律师事务所内的 ChatGPT 和生成式 AI
1 通过生成式预训练提高语言理解能力，OpenAI（Alec Radford、Karthik Narasimhan、Tim Salimans 和 Ilya Sutskever）；2018 年出版；网址：https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf。
Econ 295/CS323 2023 年春季课程大纲 5-21
3. Manning, Christopher D. “人类语言理解与推理。” Daedalus (2022) 151, no. 2: 127-138。4. Srivastava, Aarohi, Abhinav Rastogi, Abhishek Rao, Abu Awal Md Shoeb, Abubakar Abid, Adam Fisch, Adam R. Brown 等人。“超越模仿游戏：量化和推断语言模型的能力。” arXiv preprint arXiv:2206.04615 (2022)。5. Devlin, Jacob, Ming-Wei Chang, Kenton Lee 和 Kristina Toutanova。“ Bert：用于语言理解的深度双向转换器的预训练。” arXiv preprint arXiv:1810.04805 (2018)。 6. Radford, Alec、Karthik Narasimhan、Tim Salimans 和 Ilya Sutskever。“通过生成式预训练提高语言理解能力。”（2018 年）。7. Chen, Mark、Alec Radford、Rewon Child、Jeffrey Wu、Heewoo Jun、David Luan 和 Ilya Sutskever。“从像素生成预训练。”国际机器学习会议，第 1691-1703 页。PMLR，2020 年。
扩散模型
[FEL49] William Feller。“关于随机过程的理论，对应用的尤为参考”。：1949年。URL：https：// api。Spenticscholar.org/corpusid:121027442。[SE19] Yang Song和Stefano Ermon。“通过估计数据分布梯度来生成建模”。in：神经信息处理系统的进步32（2019）。[HJA20] Jonathan Ho，Ajay Jain和Pieter Abbeel。“降级扩散概率模型”。in：神经信息处理系统的进步33（2020），pp。6840–6851。[儿子+20] Yang Song等。“通过stochastic微分方程基于得分的生成建模”。in：arxiv预印arxiv：2011.13456（2020）。[DN21] Prafulla Dhariwal和Alexander Nichol。“扩散模型在图像合成上击败了gans”。in：神经信息过程的进步34（2021），pp。8780–8794。[Kin+21] Diederik Kingma等。“变化扩散模型”。in：神经信息处理系统的进步34（2021），pp。21696–21707。[HS22] Jonathan Ho和Tim Salimans。“无分类器扩散指南”。in：arxiv预印术：2207.12598（2022）。[CHI+23] Cheng Chi等。“扩散策略：通过行动扩散进行视觉策略学习”。in：arxiv预印术：2303.04137（2023）。
gan和vaes的比较分析在产生高质量的
指标，例如网络大小，培训时间和生成数据的质量。此外，还研究了潜在的数学，并与gan和vaes的理论基础有关。2。相关的生成模型近年来一直是机器学习领域的重要研究的主题，具有生成的对抗网络（GAN）和变异自动编码器（VAE）是两种最广泛使用的技术。几项研究比较了gan和vaes在不同的数据集和应用程序上的性能，其中一些报道了gan的结果更好（Karras等，2019），而其他人则报告了VAE的更好结果（Bowman等，2019）。该领域最有影响力的论文包括Goodfellow等人。的（2014年）引入了GAN框架，以及Kingma and Welling（2014）的VAE框架的引入，这些框架已在随后的作品中广泛引用。Salimans等。的（2016）论文提出了稳定gan训练的技术，例如为发电机和歧视者使用不同的学习率，而Chen等人。（2016）提出了对GAN框架的修改，该修改允许学习可解释的表示形式。Mescheder等。的（2017）论文提出了一个结合了VAE和gans强度的混合模型，以及Arjovsky等。的（2017）论文提出了对GAN框架的修改，该框架将Wasserstein距离用作目标函数，从而进行了更稳定的训练。Kumar等。 3。 每个Kumar等。3。每个的（2019年）论文提出了对GAN框架的修改，该框架在歧视者中引入了瓶颈，从而提高了性能，而Shen等人则进行了改善。的（2020）论文提出了一种在gan的潜在空间中发现可解释方向的方法，从而可以控制生成的图像的特定属性。方法论3.1数据集我们从MNIST数据集中应用了60,000张培训照片和10,000个手写数字的测试图像。
现代方法，经典约束
[1] Jimmy Lei BA，Jamie Ryan Kiros和Geoffrey E. Hinton。层归一化。2016。Arxiv：1607.06450 [Stat.ml]。[2] Nanxin Chen等。Wavegrad：估计波形产生的梯度。2020。Arxiv：2009.00713 [Eess.as]。[3]凯瑟琳·克罗森（Katherine Crowson）。在CIFAR-10上训练扩散模型。在线。2024。URL：https：//colab.research.google.com/drive/1ijkrrv-d7bosclvkhi7t5docryqortm3。[4]凯瑟琳·克罗森（Katherine Crowson）。v-diffusion。在线。2024。URL：https： / / github。com/crowsonkb/v-diffusion-pytorch/blob/master/diffusion/utils.py。[5] Ekin D. Cubuk等。randaugment：实用的自动化数据增强，并减少了搜索空间。2019。Arxiv：1909.13719 [CS.CV]。 [6] Yann N. Dauphin等。 通过封闭式卷积网络进行语言建模。 2017。Arxiv：1612.08083 [CS.CL]。 [7] Mostafa Dehghani等。 通用变压器。 2019。Arxiv：1807.03819 [CS.CL]。 [8] Yilun Du和Igor Mordatch。 基于能量的模型中的隐性产生和概括。 2020。Arxiv：1903.08689 [CS.LG]。 [9] Ian J. Goodfellow等。 生成对抗网络。 2014。Arxiv：1406.2661 [Stat.ml]。 [10] Dan Hendrycks和Kevin Gimpel。 高斯错误线性单元（Gelus）。 2023。Arxiv：1606.08415 [CS.LG]。 [11] Jonathan Ho，Ajay Jain和Pieter Abbeel。 剥离扩散概率模型。 2020。Arxiv：2006.11239 [CS.LG]。2019。Arxiv：1909.13719 [CS.CV]。[6] Yann N. Dauphin等。通过封闭式卷积网络进行语言建模。2017。Arxiv：1612.08083 [CS.CL]。[7] Mostafa Dehghani等。通用变压器。2019。Arxiv：1807.03819 [CS.CL]。 [8] Yilun Du和Igor Mordatch。 基于能量的模型中的隐性产生和概括。 2020。Arxiv：1903.08689 [CS.LG]。 [9] Ian J. Goodfellow等。 生成对抗网络。 2014。Arxiv：1406.2661 [Stat.ml]。 [10] Dan Hendrycks和Kevin Gimpel。 高斯错误线性单元（Gelus）。 2023。Arxiv：1606.08415 [CS.LG]。 [11] Jonathan Ho，Ajay Jain和Pieter Abbeel。 剥离扩散概率模型。 2020。Arxiv：2006.11239 [CS.LG]。2019。Arxiv：1807.03819 [CS.CL]。[8] Yilun Du和Igor Mordatch。基于能量的模型中的隐性产生和概括。2020。Arxiv：1903.08689 [CS.LG]。[9] Ian J. Goodfellow等。生成对抗网络。2014。Arxiv：1406.2661 [Stat.ml]。[10] Dan Hendrycks和Kevin Gimpel。高斯错误线性单元（Gelus）。2023。Arxiv：1606.08415 [CS.LG]。[11] Jonathan Ho，Ajay Jain和Pieter Abbeel。剥离扩散概率模型。2020。Arxiv：2006.11239 [CS.LG]。[12] Jonathan Ho和Tim Salimans。无分类器扩散指南。2022。ARXIV：2207.12598 [CS.LG]。[13]安德鲁·霍华德（Andrew Howard）等人。搜索MobilenetV3。2019。Arxiv：1905.02244 [CS.CV]。[14] Andrew G. Howard等。 Mobilenets：用于移动视觉应用的有效卷积神经网络。 2017。Arxiv：1704.04861 [CS.CV]。 [15] Forrest N. Iandola等。 squeezenet：较小的参数和€0.5MB型号的Alexnet级准确性。 2016。Arxiv：1602.07360 [CS.CV]。 [16] Imagenet 64x64基准（图像生成）。 用代码的论文，2024。URL：https：//paperswithcode.com/sota/image-generation-generation-en-on-imagenet-64x64。 [17] Sergey Ioffe和Christian Szegedy。 批次归一化：通过减少内部协变性转移来加速深层网络训练。 2015。Arxiv：1502.03167 [CS.LG]。 [18] Diederik P. Kingma和Jimmy Ba。 亚当：一种随机优化的方法。 2017。Arxiv：1412.6980 [CS.LG]。 [19] Diederik P. Kingma和Ruiqi Gao。 将扩散目标理解为具有简单数据增强的ELBO。 2023。Arxiv：2303.00848 [CS.LG]。 [20] Diederik P. Kingma等。 变化扩散模型。 2023。Arxiv：2107.00630 [CS.LG]。 [21] Zhenzhong Lan等。 albert：一个精简版的语言表示学习。 2020。Arxiv：1909.11942 [CS.CL]。 [22] Ilya Loshchilov和Frank Hutter。 重量衰减正则化。[14] Andrew G. Howard等。Mobilenets：用于移动视觉应用的有效卷积神经网络。2017。Arxiv：1704.04861 [CS.CV]。 [15] Forrest N. Iandola等。 squeezenet：较小的参数和€0.5MB型号的Alexnet级准确性。 2016。Arxiv：1602.07360 [CS.CV]。 [16] Imagenet 64x64基准（图像生成）。 用代码的论文，2024。URL：https：//paperswithcode.com/sota/image-generation-generation-en-on-imagenet-64x64。 [17] Sergey Ioffe和Christian Szegedy。 批次归一化：通过减少内部协变性转移来加速深层网络训练。 2015。Arxiv：1502.03167 [CS.LG]。 [18] Diederik P. Kingma和Jimmy Ba。 亚当：一种随机优化的方法。 2017。Arxiv：1412.6980 [CS.LG]。 [19] Diederik P. Kingma和Ruiqi Gao。 将扩散目标理解为具有简单数据增强的ELBO。 2023。Arxiv：2303.00848 [CS.LG]。 [20] Diederik P. Kingma等。 变化扩散模型。 2023。Arxiv：2107.00630 [CS.LG]。 [21] Zhenzhong Lan等。 albert：一个精简版的语言表示学习。 2020。Arxiv：1909.11942 [CS.CL]。 [22] Ilya Loshchilov和Frank Hutter。 重量衰减正则化。2017。Arxiv：1704.04861 [CS.CV]。[15] Forrest N. Iandola等。squeezenet：较小的参数和€0.5MB型号的Alexnet级准确性。2016。Arxiv：1602.07360 [CS.CV]。[16] Imagenet 64x64基准（图像生成）。用代码的论文，2024。URL：https：//paperswithcode.com/sota/image-generation-generation-en-on-imagenet-64x64。[17] Sergey Ioffe和Christian Szegedy。批次归一化：通过减少内部协变性转移来加速深层网络训练。2015。Arxiv：1502.03167 [CS.LG]。[18] Diederik P. Kingma和Jimmy Ba。亚当：一种随机优化的方法。2017。Arxiv：1412.6980 [CS.LG]。[19] Diederik P. Kingma和Ruiqi Gao。将扩散目标理解为具有简单数据增强的ELBO。2023。Arxiv：2303.00848 [CS.LG]。[20] Diederik P. Kingma等。变化扩散模型。2023。Arxiv：2107.00630 [CS.LG]。[21] Zhenzhong Lan等。albert：一个精简版的语言表示学习。2020。Arxiv：1909.11942 [CS.CL]。[22] Ilya Loshchilov和Frank Hutter。重量衰减正则化。2019。Arxiv：1711.05101 [CS.LG]。[23] Preetum Nakkiran等。深度下降：更大的模型和更多数据损害。2019。Arxiv：1912.02292 [CS.LG]。[24] Alex Nichol和Prafulla Dhariwal。改进了扩散概率模型。2021。Arxiv：2102.09672 [CS.LG]。[25] Aaron van den Oord，Nal Kalchbrenner和Koray Kavukcuoglu。像素复发性神经网络。2016。Arxiv：1601.06759 [CS.CV]。[26] Prajit Ramachandran，Barret Zoph和Quoc V. Le。搜索激活功能。2017。Arxiv：1710.05941 [CS.NE]。 [27] Danilo Jimenez Rezende和Shakir Mohamed。 差异推断与归一化流量。 2016。Arxiv：1505.05770 [Stat.ml]。2017。Arxiv：1710.05941 [CS.NE]。[27] Danilo Jimenez Rezende和Shakir Mohamed。差异推断与归一化流量。2016。Arxiv：1505.05770 [Stat.ml]。