大数据技术概括
- 数据分析工具与算法框架
- 接口适用 只需要了解少部分的sql语言就好
数据生命周期
- 数据源
- 预处理(采集分类录入)
- 储存与索引(储存索引整合)
- 处理(统计分析 数据挖掘)
- 决策(可视化 决策)
- 知识
大数据 技术
- 批处理(对时间不敏感的)
- 交互式分析(强调用户参与交互过程)
- 流式计算(快速反应)
- 图计算(顶点 边)
交互式分析
通过多条件联合查询
满足时间,准确性,成本,处理能力要求流式计算
满足少量条件下,快速返回结果
快速响应,结果精确,同时服务大量用户计算引擎
- spark flink
- impata presto
- tidb kylin