摘 要 ： 深 度 学 习 是 一 类 新 兴 的 多 层 神 经 网 络 学 习 算 法 ， 因 其 缓 解 了 传 统 训 练 算 法 的 局 部 最 小 性 ， 引 起 机 器 学习 领 域 的 广 泛 关 注 。 首 先 论 述 了 深 度 学 习 兴 起 渊 源 ， 分 析 了 算 法 的 优 越 性 ， 并 介 绍 了 主 流 学 习 算 法 及 应 用 现 状 ， 最 后 总 结 了 当 前 存 在 的 问 题 及 发 展 方 向 。
   关 键 词 ： 深 度 学 习 ； 分 布 式 表 示 ； 深 信 度 网 络 ； 卷 积 神 经 网 络 ； 深 凸 网 络
   引言：
   深 度 学 习 的 概 念 源 于 人 工 神 经 网 络 的 研 究 ， 含 多 隐 层 的 多
   层 感 知 器 （ ＭＬＰ） 就 是 一 种 深 度 学 习 结 构 。 深 度 学 习 通 过 组 合低 层 特 征 形 成 更 加 抽 象 的 高 层 表 示 （ 属 性 类 别 或 特 征 ） ， 以 发现 数 据 的 分 布 式 特 征 表 示 ［ １］ 。 ＢＰ 算 法 作 为 传 统 训 练 多 层 网 络的 典 型 算 法 ， 实 际 上 对 于 仅 含 几 层 网 络 ， 该 训 练 方 法 就 已 很 不理 想 ［ ２］ 。 深 度 结 构 （ 涉 及 多 个 非 线 性 处 理 单 元 层 ） 非 凸 目 标 代
   价 函 数 中 普 遍 存 在 的 局 部 最 小 是 训 练 困 难 的 主 要 来 源 。
   Ｈｉｎｔｏｎ 等 人 ［ ３ ～ ５］ 基 于 深 信 度 网 （ ＤＢＮ） 提 出 非 监 督 贪 心 逐
   层 训 练 算 法 ， 为 解 决 深 层 结 构 相 关 的 优 化 难 题 带 来 希 望 ， 随 后提 出 多 层 自 动 编 码 器 深 层 结 构 。 此 外 Ｌｅｃｕｎ 等 人 提 出 的 卷 积
   神 经 网 络 （ ＣＮＮｓ） 是 第 一 个 真 正 多 层 结 构 学 习 算 法 ［ ６］ ， 它 利 用 空 间 相 对 关 系 减 少 参 数 数 目 以 提 高 ＢＰ 训 练 性 能 。 此 外 深 度学 习 还 出 现 许 多 变 形 结 构 如 去 噪 自 动 编 码 器 ［ ７］ 、 ＤＣＮ［ ８］ 、 ｓｕｍ ｐｒｏｄｕｃｔ［ ９］ 等 。
   当 前 多 数 分 类 、 回 归 等 学 习 方 法 为 浅 层 结 构 算 法 ， 其 局 限
   性 在 于 有 限 样 本 和 计 算 单 元 情 况 下 对 复 杂 函 数 的 表 示 能 力 有限 ， 针 对 复 杂 分 类 问 题 其 泛 化 能 力 受 到 一 定 制 约 ［ ２］ 。 深 度 学习 可 通 过 学 习 一 种 深 层 非 线 性 网 络 结 构 ， 实 现 复 杂 函 数 逼 近 ，
   表 征 输 入 数 据 分 布 式 表 示 ， 并 展 现 了 强 大 的 从 少 数 样 本 集 中 学习 数 据 集 本 质 特 征 的 能 力 ［ １， １０］ 。 本 文 意 在 向 读 者 介 绍 这 一 刚刚 兴 起 的 深 度 学 习 新 技 术 。
   0 深 度 学 习 神 经 学 启 示 及 理 论 依 据
   1 1 深 度 学 习 神 经 学 启 示
   尽 管 人 类 每 时 每 刻 都 要 面 临 着 大 量 的 感 知 数 据 ， 却 总 能 以一 种 灵 巧 方 式 获 取 值 得 注 意 的 重 要 信 息 。 模 仿 人 脑 那 样 高 效准 确 地 表 示 信 息 一 直 是 人 工 智 能 研 究 领 域 的 核 心 挑 战 。 神 经科 学 研 究 人 员 利 用 解 剖 学 知 识 发 现 哺 乳 类 动 物 大 脑 表 示 信 息的 方 式 ： 通 过 感 官 信 号 从 视 网 膜 传 递 到 前 额 大 脑 皮 质 再 到 运 动
   神 经 的 时 间 ， 推 断 出 大 脑 皮 质 并 未 直 接 地 对 数 据 进 行 特 征 提 取处 理 ， 而 是 使 接 收 到 的 刺 激 信 号 通 过 一 个 复 杂 的 层 状 网 络 模型 ， 进 而 获 取 观 测 数 据 展 现 的 规 则 ［ １１ ～ １３］ 。 也 就 是 说 ， 人 脑 并 不是 直 接 根 据 外 部 世 界 在 视 网 膜 上 投 影 ， 而 是 根 据 经 聚 集 和 分 解过 程 处 理 后 的 信 息 来 识 别 物 体 。 因 此 视 皮 层 的 功 能 是 对 感 知信 号 进 行 特 征 提 取 和 计 算 ， 而 不 仅 仅 是 简 单 地 重 现 视 网 膜 的 图像 ［ １４］ 。 人 类 感 知 系 统 这 种 明 确 的 层 次 结 构 极 大 地 降 低 了 视 觉系 统 处 理 的 数 据 量 ， 并 保 留 了 物 体 有 用 的 结 构 信 息 。 对 于 要 提取 具 有 潜 在 复 杂 结 构 规 则 的 自 然 图 像 、 视 频 、 语 音 和 音 乐 等 结构 丰 富 数 据 ， 深 度 学 习 能 够 获 取 其 本 质 特 征 。
   受 大 脑 结 构 分 层 次 启 发 ， 神 经 网 络 研 究 人 员 一 直 致 力 于 多层 神 经 网 络 的 研 究 。 ＢＰ 算 法 是 经 典 的 梯 度 下 降 并 采 用 随 机 选定 初 始 值 的 多 层 网 络 训 练 算 法 ， 但 因 输 入 与 输 出 间 非 线 性 映 射使 网 络 误 差 函 数 或 能 量 函 数 空 间 是 一 个 含 多 个 极 小 点 的 非 线性 空 间 ， 搜 索 方 向 仅 是 使 网 络 误 差 或 能 量 减 小 的 方 向 ， 因 而 经常 收 敛 到 局 部 最 小 ， 并 随 网 络 层 数 增 加 情 况 更 加 严 重 。 理 论 和实 验 表 明 ＢＰ 算 法 不 适 于 训 练 具 有 多 隐 层 单 元 的 深 度 结 构 ［ １５］ 。此 原 因 在 一 定 程 度 上 阻 碍 了 深 度 学 习 的 发 展 ， 并 将 大 多 数 机 器学 习 和 信 号 处 理 研 究 从 神 经 网 络 转 移 到 相 对 较 容 易 训 练 的 浅层 学 习 结 构 。
   传 统 机 器 学 习 和 信 号 处 理 技 术 探 索 仅 含 单 层 非 线 性 变 换
   的 浅 层 学 习 结 构 。 浅 层 模 型 的 一 个 共 性 是 仅 含 单 个 将 原 始 输入 信 号 转 换 到 特 定 问 题 空 间 特 征 的 简 单 结 构 。 典 型 的 浅 层 学习 结 构 包 括 传 统 隐 马 尔 可 夫 模 型 （ ＨＭＭ ） 、 条 件 随 机 场
   （ ＣＲＦｓ） 、 最 大 熵 模 型 （ ＭａｘＥｎｔ） 、 支 持 向 量 机 （ ＳＶＭ） 、 核 回 归 及仅 含 单 隐 层 的 多 层 感 知 器 （ ＭＬＰ） 等 。
   1 2 浅 层 结 构 函 数 表 示 能 力 的 局 限 性
   早 期 浅 层 结 构 局 限 性 结 论 是 关 于 利 用 逻 辑 门 电 路 实 现 函数 奇 偶 性 问 题 。 利 用 一 个 深 度 为 Ｏ（ ｌｏｇ ｄ） 的 网 络 用 Ｏ（ ｄ） 个计 算 节 点 去 计 算 一 个 ｄ 比 特 和 的 奇 偶 性 ， 而 对 于 两 层 网 络 则 需要 指 数 倍 数 目 的 计 算 单 元 。 随 后 又 有 学 者 指 出 可 以 利 用 深 度为 Ｋ 的 多 项 式 级 的 逻 辑 门 电 路 实 现 的 函 数 ， 对 于 Ｋ － １ 层 电 路需 要 指 数 倍 的 计 算 节 点 。 文 献 ［ １０］ 指 出 深 度 学 习 结 构 可 以 很简 洁 地 表 示 复 杂 函 数 ， 否 则 一 个 不 合 适 的 结 构 模 型 将 需 要 数 目非 常 大 的 计 算 单 元 。 这 里 简 洁 包 含 三 方 面 内 容 ： ａ） 需 要 的 数据 量 特 别 是 带 类 标 记 的 样 本 ； ｂ） 需 要 的 计 算 单 元 的 数 目 ； ｃ） 需
   规 划 技 术 学 习 数 据 的 核 矩 阵 ， 然 后 利 用 该 核 矩 阵 获 取 较 好 的 泛化 性 能 。 然 而 当 学 习 到 的 核 函 数 相 互 关 联 时 ， 能 否 获 取 更 加 简洁 的 表 示 ？ 深 度 学 习 即 基 于 这 种 思 想 并 通 过 多 次 网 络 学 习 输入 样 本 的 分 布 式 表 示 ， 被 认 为 是 较 有 前 景 的 方 法 。