dlsa分布式最小二乘近似 使用Apache Spark实施 介绍 在这项工作中，我们开发了一种分布式最小二乘近似（DLSA）方法，该方法能够解决分布式系统上的大量回归问题（例如，线性回归，逻辑回归和Cox模型）。 通过使用局部二次形式逼近局部目标函数，我们可以通过对局部估计量进行加权平均来获得组合估计量。 在统计上证明了所得的估计器与全局估计器一样有效。 而且，它只需要一轮通信。 我们使用自适应套索方法进一步基于DLSA估计进行收缩估计。 通过在主节点上使用LARS算法，可以轻松获得该解决方案。 从理论上讲，通过使用新设计的分布式贝叶斯信息准则（DBIC），得出的估计量具有oracle属性，并且选择一致。 广泛的数值研究和航空公司数据集进一步说明了有限的样本性能和计算效率。 整个方法已在的Spark系统中实现。 R软件包dlsa提供了上可用的概念演示。 系统要求 Spark >= 2

联合学习（PyTorch） 香草联合学习论文的实施：。 在MNIST，Fashion MNIST和CIFAR10（IID和非IID）上进行了实验。 在非IID的情况下，用户之间的数据可以相等或不相等地分割。 由于这些实验的目的是说明联合学习范例的有效性，因此仅使用诸如MLP和CNN的简单模型。 要求 从requirments.txt安装所有软件包 Python3 火炬 火炬视觉 数据 手动下载训练和测试数据集，否则它们将自动从Torchvision数据集下载。 实验在Mnist，Fashion Mnist和Cifar上进行。 要使用自己的数据集，请执行以下操作：将数据集移动到数据目录，并在pytorch数据集类上编写包装器。 运行实验 基线实验以常规方式训练模型。 要使用CPU在MLP上对MNIST运行基线实验，请执行以下操作： python src/baseline_ma

分布式计算-PySpark 该存储库包含有关在Python中使用Spark进行分布式计算的微型项目。 文本分析：PySpark中的逐点相互信息 计算文本文件中出现的所有单词的一个或多个标记的PMI。 图/网络分析：PySpark中的个性化PageRank算法 实现PageRank算法的修改版本，其中参照给定的源节点执行排名。 修改有两个方面： 随机仅跳到源节点 由于节点悬空而造成的质量损失将完全转移到源节点，而不是在整个图形上重新分配 使用Spark数据帧和Spark SQL查询TPCH

树莓派的联合学习和拆分学习 这是为了发布SRDS 2020论文“物联网的联合学习和拆分学习的端到端评估”的源代码。 如果发现有用，则可用于发布。 请引用我们的工作为： @inproceedings{gao2020end, title={End-to-End Evaluation of Federated Learning and Split Learning for Internet of Things}, author={Gao, Yansong and Kim, Minki and Abuadbba, Sharif and Kim, Yeonjae and Thapa, Chandra and Kim, Kyuyeon and Camtepe, Seyit A and Kim, Hyoungshick and Nepal, Surya}, booktitle={The 39th