基于Spark-Streaming的
实时计算服务平台
   廖晓辉@京东
Agenda
技术要点
运行和监控
Logging
示例展示
典型问题
性能调优实践
实时计算服务是？
目的：
– 将通用的功能或可公用的资源平台化服务化，让用户专注实时业务处理
  逻辑的开发，用SQL或SDK，要简单高效。
相关的计算环境：
– 便捷的数据导入/流式数据接入
– 稳定可靠的流数据
– 多租户资源隔离，处理能力弹性扩容(吞吐量及响应时间)，容错机制(考
  虑恢复成本和运行时成本)，数据的严格有序到达和无序，及消费的有序
  无序……
– 结果数据获取
Why Spark-Streaming?
用Spark Stack解决Batch以及Streaming处理问题，不需维护多套
Framework。
YARN integration
长期演进考虑
项目背景
京东云 数据开放服务—云海
实时计算需求
– 提供实时交易、实时流量等指标
– 有等价的T+1离线计算指标
    需将T+1离线计算的指标转化为实时指标
    ...