明略科技AI中台的技术应用与实践
极客时间编辑部
讲述：丁婵大小：7.82M时长：05:42
近日，明略科技集团副总裁兼推荐 / 推理系统负责人卢亿雷介绍了明略科技 AI 中台的技术应用与实践。在此分享给你，以下为重点内容。
在技术实践中，明略科技采取的是数据中台、AI 中台、业务中台微服务架构。底层是数据中台，包括数据接入、存储、处理和输出。中间层是 AI 中台，提供模型线上部署，包括推荐服务和识别相关的各类模型，以及自动参数优化等。上层是业务中台，通过算法统一打通，支持数据清洗、标签、实时数据分析服务、洞察服务。
具体而言，AI 中台具备六大能力。
统一的存储空间，支持多数据源导入。
Pipeline 可视化工作流管理与执行，支持数据科学家从数据建模阶段开始的可视化管理，节省成本，快速体现数据科学家的价值。
基于容器的计算资源分配和软件库安装，支持 TensorFlow、PyTorch 等各种框架。
支持 GPU、TPU、CPU 框架和基于异构计算的模型管理。
模型管理，支持新手快速上手，无需通过自己实现原始算法，只需要理解算法原理就可以通过调参实现。
AI Serving，模型一键封装为 API，一键部署。
但 AI 中台在实际落地过程中，却存在着不少挑战。第一，数据分散，以多种形式存储在多个系统中，需要统一存储。第二，流程复杂，相互依赖性强，需要统一流程。第三，存在 Spark、TensorFlow、PyTorch、LightGBM 等多种多样的软件环境，需要统一协调。第四，模型训练时间长，需要管理大量模型训练实验。第五，模型影响因素多，需要管理大量模型版本。第六，AI 模型难部署，需要专用软件环境，深度学习对算力要求高，资源管理难度大，需要多方面优化性能。
明略科技从三个层次来进行 AI 平台的架构设计。
第一层，基础设施，以满足数据、算法模型和过程性能要求。第二层，容器集群，以计算调度引擎为主。第三层，由三部分构成，一是数据处理模型，二是模型训练，涵盖目前最流行的 Parameter Server 等模型，三是模型 Serving，满足 Model Server、Model Converter 相关的线上场景需求。以下为明略科技的 AI 平台架构设计图：
基于此，明略科技 AI 中台主要有以下特点。
第一，数据存储和计算任务分离，计算任务通过内部高速网络读写数据，避免数据再次“搬运”。
第二，ETL 集成，拖拽式任务设计，支持定时任务和事件触发，内建 MySQL、HDFS、Kafka 等多种数据源以及 Spark、Flink 等计算引擎。把已有的 MySQL、Kafka 与系统完美融合，以可视化的方式看到各种统计。这个理念与数据中台的理念一致，单独的子系统可以实现可视化、监控、任务、管理。
第三，支持 Notebook 交互式开发，符合数据科学家习惯，促进业务价值。可实现 Python based 交互式场景，支持 TensorFlow 、PyTorch 等多使流行框架，CPU、GPU 资源控制，单机集群计算资源。这是基于原生态的 Jupyter Notebook 实现，数据科学家可以指定单机还是集成方式，快速解决实际问题，通过交互式数据开发环境，选择不同 Kernel 可连接到不同计算资源。
第四，Pipeline 的实现、Docker based 可复用、运行状态可视化。比如，A 数据科学家用的是 TensorFlow，B 数据科学家用的是 Spark，保证兼容，每次运行结果存档，生成 DAG 图，快速看到逻辑和节点问题。
第五，弹性扩展的 Model Serving，基于 k8s 和微服务技术，每个模型都部署一个微服务，同时支持 RESTful 和 gRPC 协议访问，自动解决了负载均衡和 FailedOver 的问题，可自动按负载动态扩缩容 AutoScale，滚动升级和 ABtest 等多版本对比环境，支持 Java、Pyhton、C++ 等多语言部署，灵活性高。
第六，语言和框架，支持 TensorFlow、PyTorch、Spark、MPI、MXNet 等框架，Python、R、Java 等语言。
第七，提供图像识别、推荐系统、NLP 三大类别的内置模型分析。
第八，提供 AI 中台监控，可全面监控集群多项基础指标以及各运行任务粒度资源使用情况，内置集成报警功能，可实现数据实时可视化。
总之，明略科技的 AI 中台最核心的三点优势是，可与现有数据大数据平台无缝对接，支持异构计算和扩展框架。
以上就是今天的内容，希望能给你带来参考价值。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》，如需阅读全部文章，
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(1)
- 最新
- 精选
coderaf
收起评论