生成人工智能（GAI）具有改变教育领域的巨大潜力，因为GAI模型可以考虑上下文，因此可以接受培训以对学生学习成果进行快速而有意义的评估。但是，当前版本的GAI工具具有相当大的局限性，例如用于训练模型的数据集中通常固有的社交偏见。此外，GAI革命是在从基于记忆的教育系统中转向支持学习者发展知识和技能来解决现实世界问题并解释现实世界现象的能力的时期。使用GAI工具进行旨在促进知识应用的评分评估的挑战是确保这些算法与受过训练的人类得分手在评估学生绩效时得分相同的构造属性（例如，知识和技能）。同样，如果使用GAI工具来开发评估，则需要确保GAI生成的评估的目标与开发这些评估的学习环境的愿景和绩效期望保持一致。目前，尚未确定评估基于AI的评估和评估结果的有效性的准则。本文代表了与开发和验证基于GAI的评估和评估结果有关的问题的概念分析，以指导学习过程。我们的主要重点是调查如何有意义地利用GAI的能力来开发评估。我们提出了根据现有验证方法评估GAI产生评估和评估得分的有效性证据的方法。我们讨论了旨在建立评估基于AI的评估和评估结果的指南和方法的未来研究途径。我们以美国教育研究协会的教育和心理测试标准中概述的有效性理论进行了讨论，并讨论了我们如何在基于GAI评估的背景下建立从测试分数确定的标准建立标准。