机器学习基础(四):无监督学习

无监督学习是机器学习中一个极具挑战性又充满魅力的领域。与监督学习不同,无监督学习处理的是没有标签的数据,其目标是从数据本身发现内在结构、模式或分布。本篇博客将系统介绍无监督学习的核心任务与方法,包括密度估计(直方图法、核密度估计、对比密度学习)、隐变量模型(及其四种类型),并重点剖析自编码器(尤其是主成分分析-PCA)和K-means聚类算法的原理与应用。

机器学习基础(三):监督学习

监督学习(Supervised Learning)是机器学习的核心范式之一,其目标是从已标注的数据中学习一个映射函数,用于预测未知数据的输出。其核心流程包括:

  1. 选择归纳偏置(Inductive Bias):模型类、损失函数、正则项;
  2. 训练:通过ERM或正则化ERM求解参数;
  3. 验证:使用验证集选择超参数;
  4. 测试:在独立测试集上评估泛化性能。

本文将系统介绍监督学习的基本概念、方法框架和实际应用,涵盖回归(Regression)与分类(Classification)问题、经验风险最小化(Empirical Risk Minimization, ERM)、模型选择(Model Selection)、偏差-方差权衡(Bias-Variance Tradeoff)、正则化技术(Regularization)以及概率模型中的最大似然估计(Maximum Likelihood Estimation, MLE)等内容。

机器学习基础(二):推断

在现代机器学习应用中,我们经常需要从已知输入变量预测未知的目标变量。本篇博客将深入探讨当数据模型完全已知时的理想 推断(Inference) 场景,介绍贝叶斯推断(Bayesian Inference)损失函数(Loss Function)交叉熵(Cross-Entropy) 等核心概念,以及如何从概率模型推导出最优预测器(Predictor)。通过理论推导和实际例子,我们将展示 硬预测(Hard Prediction)软预测(Soft Prediction) 的区别与联系,以及如何在不同问题中选择合适的预测策略。

Agentic Infra:阿里云无影 AgentBay & AWS Bedrock AgentCore

继 7 月 16 日 AWS 在 AWS Summit NYC 2025 上发布 Bedrock AgentCore 后,7 月 29 日阿里云在世界人工智能大会上公布了 Agent Runtime 的产品,标志着正式进入和 Agentic Infra 上的产品竞争。

下面分别总结分析 AWS Bedrock AgentCore 和 阿里云无影 AgentBay 的相关发布信息。

Nsight Profile Deepspeed

NVIDIA Nsight 工具集是面向 CUDA 应用程序的专业级性能分析平台,其 Profiling 模块通过采集 GPU 硬件计数器、内存访问模式及内核执行时序等数据,为深度学习框架的优化提供量化依据。

尽管 Deepspeed 在单机运行时可以直接使用 Nsight 进行分析,但是在多机运行时存在问题,本文讲解:

  1. 如何跨机进行 profile
  2. 如何有选择的进行 profile
ToolSandbox: A Stateful, Conversational, Interactive Evaluation Benchmark for LLM Tool Use Capabilities

本论文是来自 Apple 的 Jiarui Lu 2024 年 8 月挂在 Arxiv 上的工作。

通过引入了对话交互、状态依赖等实际场景的输入,建立了更贴近于真实场景的 LLM Tool Use 的 Benchmark。本文引入了三部分更真实的要点,通过 LLM 模拟用户进行跟真实的测试:

  • Stateful 有状态:Agent 需要对世界的状态进行感知
  • Conversational 可对话:Agent 能成功把自然语言理解成正确的任务
  • Interactive 可交互:用户、Agent和Tool在完成一个任务的过程中会进行多轮对话

Entry:Zotero link URL link Github link

API Agents vs. GUI Agents: Divergence and Convergence

本论文是来自微软的 Chaoyun Zhang 等人在3月11日挂在 Arxiv 上的工作。

本文主要总结了 API Agents 和 GUI Agents 的现状,对比了其优势,提出未来的 Hybrid Agents,最终给出了对于不同场景应该使用什么 Agent 的建议。

Entry:Zotero link URL link

Manjaro Setting with i3wm

本文主要记录在实验室的 Manjaro 主机上的 i3wm 即工作环境的配置,以及o双显示器的完整工作流内容.

主要内容涵盖:

  • 显卡支持
  • 显示器布局
  • OpenVPN 自动连接
  • 通用软件配置
ERIM: Secure, Efficient In-process Isolation with Protection Keys MPK
  • 2024-12-30
  • labelMPK

本论文是Anjo Vahldiek-Oberwagner, Eslam Elnikety, Nuno O. Duarte, Michael Sammler, Peter Druschel, Deepak Garg发表在28th USENIX Security Symposium (USENIX Security 19) 2019上的工作。

对于这篇论文,我们主要关注其如何防止不可信组件使用 WRPKRU 指令进行提权,进而危害可信组件或者敏感数据。

Entry:Zotero link URL link

Rina: Enhancing Ring-AllReduce with In-network Aggregation in Distributed Model Training

本论文是 Zixuan Chen, Xuandong Liu, Minglin Li, Yinfan Hu, Hao Mei, Huifeng Xing, Hao Wang, Wanxin Shi, Sen Liu, Yang Xu 发表在 ICNL’ 2024上的工作。

本文发现基于参数服务器的 INA 方法在数学建模中缺乏增量部署能力,影响了数据中心的设计和升级。为此,提出了 Rina,首次在 Ring-Allreduce 架构中引入 INA 能力(每个 INA Switch 可以代替其 rack 下的所有 worker 加入环中,做到每加入一个 INA Switch 都能减少环长度),具备出色的增量部署能力,缓解了长依赖链问题。

Entry:Zotero link URL link