大数据知识了解


大数据技术概括

  1. 数据分析工具与算法框架
  2. 接口适用 只需要了解少部分的sql语言就好

数据生命周期

  1. 数据源
  2. 预处理(采集分类录入)
  3. 储存与索引(储存索引整合)
  4. 处理(统计分析 数据挖掘)
  5. 决策(可视化 决策)
  6. 知识

大数据 技术

  1. 批处理(对时间不敏感的)
  2. 交互式分析(强调用户参与交互过程)
  3. 流式计算(快速反应)
  4. 图计算(顶点 边)

    交互式分析

    通过多条件联合查询
    满足时间,准确性,成本,处理能力要求

    流式计算

    满足少量条件下,快速返回结果
    快速响应,结果精确,同时服务大量用户

    计算引擎

j4KwdK.md.jpg

  1. spark flink
  2. impata presto
  3. tidb kylin

数据分析工具 和 算法库

大数据技术发展路径