Appearance
1998-2011：大数据与深度学习前夜
这一段看起来没有 2012 年之后那么戏剧化，但它非常关键。互联网数据、标注数据集、GPU 计算、语音识别、搜索广告、推荐系统和大规模机器学习平台共同成熟，为深度学习爆发准备了地基。
核心变化
| 变化 | 说明 |
|---|---|
| 从小样本实验走向大规模数据 | Web、图片、语音、日志和用户行为数据不断积累 |
| benchmark 影响研究方向 | ImageNet 等数据集让模型比较更标准，推动视觉模型快速迭代 |
| 深度模型开始在局部任务有效 | CNN、RNN、LSTM 等结构持续积累，等待算力和数据规模跟上 |
| 工业界机器学习平台化 | 搜索、广告、推荐、反作弊、语音等场景让机器学习变成工程基础设施 |
| 问答和语音助手进入公众视野 | Watson、Siri 等产品让 AI 能力以产品形式被普通用户感知 |
代表作品与节点
| 年份 | 代表作品 / 系统 | 价值 |
|---|---|---|
| 1998 | LeNet-5 | 证明卷积神经网络在手写数字识别等视觉任务上的价值 |
| 2006 | Deep Belief Networks | 让深度学习重新获得研究热度 |
| 2009 | ImageNet | 大规模图像数据集和评测体系，为视觉模型突破提供公共舞台 |
| 2011 | IBM Watson | 在 Jeopardy! 中获胜，展示问答、检索和证据打分组合能力 |
| 2011 | Siri | 让语音助手成为消费级入口之一 |
为什么这是深度学习前夜
深度学习不是 2012 年凭空出现的。真正变化在于三件事同时到位：
- 数据规模足够大，能支撑复杂模型训练。
- GPU 算力逐渐可用，训练时间大幅下降。
- benchmark 明确，研究者可以快速比较模型优劣。
这也是今天基础模型继续扩展的底层逻辑：没有数据、算力、评测和工程系统，单个算法创新很难持续放大。