Preparing data for supervised fine-tuning Part 2: Advanced data strategies
监督微调数据准备的高级方面。本两篇系列的第二篇涵盖使用学习曲线评估数据就绪性、选择高价值数据子集、使用合成和蒸馏样本增强数据以及混合数据源。
Dimensionality Reduction Meets Network Science: Sensemaking on UMAP’s kNN Graph
虽然 UMAP 广泛用于探索高维数据，但典型的工作流程侧重于其低维嵌入，很大程度上忽略了 UMAP 内部构造的丰富的 k 最近邻 (kNN) 图。在 UMAP 的 2D 投影引入失真之前，该图将数据流形编码在其原始高维空间中。我们展示了这种内部表示的未开发潜力，展示了应用于该图的标准图算法如何增强数据意义：(1) PageRank 识别代表性数据点，(2) k 核分解揭示密集......
