月光宝盒（vivo流量录制回放平台）正式对外开源-创站实验室

一、月光月光宝盒是宝盒什么？

Moonbox（月光宝盒）是 JVM-Sandbox 生态下的一款流量录制回放产品。所谓流量录制回放是流量录制服务端通过挂载agent探针自动注册到服务端，拦截服务端调用，回放将所有外部调用依赖的平台内容（如数据库、分布式缓存、正式外部服务响应等）进行完整记录形成录制流量。对外其核心价值是开源通过录制流量数据，将流量数据转化成可复用、月光可执行的宝盒自动化用例，香港云服务器快速在测试环境中进行回放比对接口返回值和外部调用依参数（见下图）。流量录制Moonbox（月光宝盒）提供了大量的回放常用插件，能够对常见的平台中间调用进行录制回放，同时也提供了非常可靠、正式高性能的对外数据存储、计算能力。

二、月光宝盒有哪些优势？

正如开头所说月光宝盒是一款面向测试、研发工程师使用的低门槛、高性能、更易于使用的源码库自动化测试工具。这款产品已经在vivo运行了2年多了，经过我们持续优化、打磨拥有很多实用、易用功能。它的优点主要体现在下面几方面：

2.1 全面可视化视操作（部分功能）

(1）基于任务、接口维度的流量管理能力

(2）详细的流量展示细节（请求、响应、子调用）

(3）基于任务、接口维度的回放数据管理，叠加各种维度统计、查询能力

(4）易于人工分析的亿华云回放比对结果和差异展示

2.2 丰富的插件支持

月光宝盒支持非常多组件录制和回放能力，基本上能满足绝大多数人诉求。

2.3 多种部署方式Docker：这种方式简单、可靠，让您可以摒弃复杂的环境配置和安装，快速在本地体验我们项目。常规方式：这种方式复杂、步骤繁琐，需要按照步骤创建ES和MySQL数据库，初始化数据表，更新好应用配置，安装好前端node服务。

此外月光宝盒是前后端分离项目，免费模板当您使用该项目需要分别部署前端、后端，非常有助于您后续将项目部署到生产环境。

2.4 性能安全可靠

平台对性能进行了长期优化，在vivo内部历经多个高并发系统验证。我们对agent端录制流量进行了一系列安全防护，例如对相同接口同时只能有一个进入采样中，限制并行录制接口数量。服务端使用了ES储存流量，有效提升了数据储存规模。

三、月光宝盒实现原理

3.1 整体架构

月光宝盒平台分为2个部分，分别为moonbox-agent 和 moonbox-server（整体架构如下图所示）

moonbox-agent

使用Java-attach技术(实际的动态字节码增强由JVM-Sandbox实现)动态代理到目标进程上，提供流量录制和回放的增强。云计算

moonbox-server

Agent端使用接口，提供配置查询、录制流量保存、流量查询、回放结果保存等服务录制任务/回放任务的配置，agent任务远程管理能力和管理后台操作界面(前后端分离部署)

3.2 流量录制&回放

流量录制

核心逻辑是将agent分发到用户填写的机器上(本地、远程机器），然后将agent attach到用户填写应用所对应的正确进程上去。然后通过JVM-Sandbox的BEFORE、RETRUN 、THROW事件机制拦截关键调用位置获取流量入参、服务器租用出参。整体流程见下图整体流程见下图：

流量回放

核心逻辑是将agent分发到用户填写的机器上(本地、远程机器），然后将agent attach到用户填写应用所对应的正确进程上去，agent启动后从服务端不断拉取流量去分发到对应接口做回放，整体流程见下图：

心跳管理

Agent启动后会单独开启线程固定间隔时间通过http请求给服务端上报心跳

3.3 Agent启动过程

执行脚本将sandbox agent attach到目标java进程上，sandbox 启动jetty服务，加载moonbox module ，然后从服务端拉取moonbox配置，加载流量录制和回放插件。

四、和 jvm-sandbox-repeater 关系？

Moonbox是基于jvm-sandbox-repeater重新开发的一款流量回放平台产品。在jvm-sandbox-repeater基础上重写了很多模块，并提供了更加丰富功能，同时便于线上部署和使用，和jvm-sandbox-repeater差异如下：

五、为什么要开源？

流量录制回放技术复杂，挑战较高，开源社区虽然有很多类似产品但是在易用性方面都有一些欠缺，我们希望通过开源月光宝盒帮助对该方向有兴趣的开发者快速构建自己的自动化工具，同时可以基于我们这款产品制定个性化诉求。此外，月光宝盒本身也借鉴了jvm-sandbox-repeater设计和方案，是开源的受益方，现在我们将自己思考和探索回馈给开源社区，丰富流量回放开源技术生态。除此之外通过社区中开发者的使用，也可以帮助我们更好的改进我们的工具，获得更多的需求场景输入，也能让该工具获得更加长远的发展。