Singular是一款提供营销数据的平台,旨在通过统一的营销数据、智能洞察力和自动化推动企业增长。该平台在AWS环境中拥有超过950个虚拟服务器、8个Kubernetes集群和5拍字节的原始数据。为向客户提供最准确、及时和可操作的跨平台分析,Singular每天处理150亿个实时事件和500万批处理作业,覆盖3个AWS区域以及额外的本地资源。
随着AWS Graviton2 处理器的推出,Singular决定迁移所有相关工作负载,以优化其价格与性能比。
“在进行了一些实验、查看了AWS的可用资源并与AWS专家咨询后,我们开始构建一种稳健、可复制和可扩展的方法。” Ofir Nir DevOps负责人
Singular的思维模型使用了一个蓝图,能够使工程师采取行动,解决FinOps从业者的一个主要关切。根据2022年FinOps现状报告,考虑到大规模迁移,从一开始就可以在迁移到新服务或基础设施组件例如迁移到Amazon gp3 EBS、AWS Nitro SSD、Amazon EC2 M6i实例时适用。
步骤包括:
识别相关工作负载进行迁移许多工作负载不需重大更改。创建基础构件,如相关的AMI、构建系统、监控代理和运行环境。准备一个对比基础设施,以确保您可以衡量变更的效果。逐步测试您的工作负载,从阶段环境开始,然后是类似生产环境,最终迁移到实际的生产环境。为了启动项目并确保利益相关者的参与,Singular在其优化API服务团队中创建了一个Hackathon项目。现有服务器是首个进行测试的重点,关注其Apache Druid集群由100个Amazon EC2的R和M系列实例组成,承载有状态应用程序。基于JVMJava VM的环境仅需小幅调整:使用Ubuntu20的ARM AMI、为缺失的库应用变通方案,然后通过渐进部署进行测试。
结果显示,Singular的Apache Druid应用程序的负载平均值降低了1520,查询速度提升了2025。这促使他们决定大规模采用Graviton,并将节省下来的资金再投资于新功能。
一元机场app下载迁移到Graviton2对大多数工作负载来说都很直接,但需要对之前提到的迁移思维模型保持一致:
Singular列出了所有工作负载依赖关系及其在Graviton/arm64上的可用性例如操作系统及版本、库、框架和使用的运行时。升级到最新版本以确保兼容性通常可在各种Linux发行版的存储库、Amazon ECR、DockerHub、GitHub中找到。随后,Singular进行了A/B测试,以衡量性能提升使用类似生产的流量进行负载测试,并测量“负载平均值”和“查询时间”。最后,以渐进方式将工作负载部署到生产环境使用“金丝雀”和“滚动”部署技术的组合。在短短几天内,Singular完成了对其Apache Druid工作负载约100个Amazon EC2实例,大小为24xl的迁移,从而平均提升了35的价格/性能比。
Singular通过KPI/单位/客户粒度的成本衡量结果并评估投资回报。通过不同的内部和AWS原生工具如AWS成本和使用报告、AWS成本分析器、以及第三方工具如Finoutio,跟踪“每客户成本”、“每产品/功能成本”和“每商业上下文成本”的影响。
Singular的目标是通过比较在项目结束时有效现代化的良好工作负载候选数量,来最大化这一倡议的有效性。关键成功因素在于,由FinOps团队提供所有必要上下文,使工程师能够采取行动,包括性能影响、依赖关系和逐步指示等关键领域。
在成功部署Graviton2至其Apache Druid和实时出站处理环境后,Singular计划到2022年底实现60的工作负载在Graviton2上运行。根据Ofir的说法,Singular的Python/PostgreSQL工作负载将是下一个迁移目标。
了解更多关于Singular在成本和性能优化之旅的内容。
### 关于SingularSingular通过AWS实现的好处Singular是一款通过统一营销数据、智能洞察力和自动化来推动企业增长的营销数据平台。它捕获、分析和提炼数十亿个数据点,以向客户提供最准确、及时和可操作的跨平台分析。将Apache Druid工作负载迁移至Amazon Graviton2处理器,以优化基础设施现代化和效率平均提升价格与性能比35使用AWS原生工具跟踪、理解和报告与业务目标一致的KPI部署Amazon Graviton2后,Apache Druid和实时出站处理环境的负载平均值降低1520,查询速度提升2025标签:成本优化,FinOps,优化与节省
销售热线
营销一部(传统产品):王部长 15371160678
营销二部(光伏焊带):曹部长 13921871003
电子邮箱
ascorbic@icloud.com
公司地址
陇南市括某之森253号