Website Feature Engineering at Scale: PySpark, Python & Snowflake
介绍和问题想象一下，您正在盯着一个数据库，该数据库包含多个国家 /地区的数千个商人，每个国家都有自己的网站。你的目标？确定与新业务建议合作的顶级候选人。手动浏览每个网站是不可能的，因此您需要一种自动化的方法来评估每个商人的[…]邮政网站的大规模工程：Pyspark，Python＆Snowflake首先出现在数据科学上。
sparklyr.sedona: A sparklyr extension for analyzing geospatial data
我们很高兴地宣布 sparklyr.sedona 现已推出，这是一个 sparklyr 扩展，可让 Apache Sedona 库的地理空间功能从 R 轻松访问。
Sparklyr 1.7 提供了备受期待的改进，包括用于图像和二进制数据源的 R 接口、几个新的 spark_apply() 功能以及与 sparklyr 扩展的更好集成。
sparklyr 1.6: weighted quantile summaries, power iteration clustering, spark_write_rds(), and more
sparklyr 1.6 版本引入了加权分位数摘要、用于支持迭代聚类的 R 接口、spark_write_rds()，以及许多与 dplyr 相关的改进。
sparklyr 1.5: better dplyr interface, more sdf_* functions, and RDS-based serialization routines
与之前的所有三个 sparklyr 版本不同，最近发布的 sparklyr 1.5 更注重增强现有的 sparklyr 功能，而不是创建新功能。因此，我们采纳了许多来自 sparklyr 用户的宝贵建议，并在一系列错误修复和改进中成功解决了这些问题。
sparklyr.flint 0.2: ASOF Joins, OLS Regression, and additional summarizers
我们很高兴地宣布，许多强大的新功能和改进现已成为 sparklyr.flint 0.2 的一部分！
sparklyr 1.4: Weighted Sampling, Tidyr Verbs, Robust Scaler, RAPIDS, and more
Sparklyr 1.4 现已推出！此版本具有令人愉悦的新功能，例如对 Spark 数据帧的加权采样和 tidyr 动词支持、基于中位数和四分位距标准化数据的稳健缩放器、RAPIDS GPU 加速插件的 spark_connect 接口，以及许多与 dplyr 相关的改进。
Introducing sparklyr.flint: A time-series extension for sparklyr
我们很高兴地宣布，sparklyr.flint 现已在 CRAN 上可用，它是使用 Flint 大规模分析时间序列的 sparklyr 扩展。Flint 是一个用于处理 Apache Spark 中时间序列的开源库，支持对时间序列数据集进行聚合和连接。
sparklyr 1.3: Higher-order Functions, Avro and Custom Serializers
Sparklyr 1.3 现已推出，具有令人兴奋的新功能，例如集成 Spark 高阶函数以及以 Avro 和用户定义的序列化格式导入/导出数据。
sparklyr 1.2: Foreach, Spark 3.0 and Databricks Connect
新的 sparklyr 版本现已推出。此 sparklyr 1.2 版本具有新功能，例如对 Databricks Connect 的支持、用于“foreach”包的 Spark 后端、与 Spark 3.0 预览版配合使用的互操作改进，以及许多错误修复和解决用户可见痛点的改进。
БПЛА Sunspark на солнечных батареях совершает первый полет
12月初，由高级项目组（APG）开发的SunSpark太阳能无人机成功试飞。创建全尺寸 SunSpark 模型的进一步工作最终将在 2017 年底进行最终测试。
Iran’s Threat to Close Strait of Hormuz Sparks Oil Market Turmoil
请注意，我们无权提供任何投资建议。此页面上的内容仅用于信息目的。伊朗最近的议会投票威胁要关闭霍尔木兹海峡，这使全球能源市场震撼了，由于担心供应中断，油价急剧更高。海峡是……继续阅读伊朗威胁要关闭Hormuz Sparks石油市场的威胁的关键动脉。
Building Modern Data Lakehouses on Google Cloud with Apache Iceberg and Apache Spark
忘记数据孤岛。您可以构建一个现代数据湖设施，为您提供交易一致性，模式演变和顶级性能，所有这些都在Apache Iceberg和Apache Spark的一个地方。
The right to an education, health and care plan must be retained | Letters
Jane Asher，Carrie Grant，Chris Packham，Anna Bird，Fazilet Hadi，Sally Phillips，Jon Sparkes和其他100人呼吁政府不要从参加主流学校的儿童中删除EHCP的权利，该教育的法律权利是满足儿童和年轻人的特殊教育需求和不满意的教育，并受到威胁（受到威胁）。成千上万的儿童可能会被剥夺重要的规定，或者完全失去接受教育的可能性。随着新的教育改革迫在眉睫，政府的每个标志都表明，应从上主流学校的儿童中删除教育，健康和护理计划（EHCP）的权利。地方当局希望EHCP大幅度减少或完全删除，以减轻他们经常发现昂贵和麻烦的职责。继续阅读.
$6 billion school funding freeze sparks outcry over ‘cruel betrayal’ of students
这个故事由19日出版，并经许可转载。 State officials and teacher union leaders are reeling after President Donald Trump’s decision Tuesday to freeze more than $6 billion in federal K-12 education funding for the upcoming school year — a move critics say will further kneecap schools after mass cuts and layoffs […]The
Delta Flight Zyn Ban Sparks Confusion Over Nicotine Rules
最近的一次事件涉及三角洲航空公司（DL）乘客吐出Zyn Nicotine袋中飞行中的尼古丁小袋，这引发了人们对无烟烟草上航空公司政策的困惑。
SECURITY AFFAIRS MALWARE NEWSLETTER ROUND 51
Security Affairs Malware newsletter includes a collection of the best articles and research on malware in the international landscape Ransomware Gangs Collapse as Qilin Seizes Control Dissecting a Python Ransomware distributed through GitHub repositories SparkKitty, SparkCat’s little brother: A new
