ecotopaim
本站致力于IT相关技术的分享
  文章分类
架构设计 2 前端工程化 1 数据工程 1 分布式架构 5 MLOps 2 架构与设计 3 后端架构 3 分布式系统 1 DevOps 4 可观测性 4 云原生 1
利用键值型 NoSQL 在 AWS EKS 环境中为事件驱动架构实现分布式熔断与限流 利用键值型 NoSQL 在 AWS EKS 环境中为事件驱动架构实现分布式熔断与限流
在高并发的事件驱动系统中，一个常见的噩梦是下游服务的降级或失效。假设我们有一个运行在 AWS EKS 上的消费者集群，它们从 SQS 队列或 Kafka 主题中拉取消息，然后调用一个下游 gRPC 服务。如果这个下游服务响应变慢或开始频繁报
2023-10-27 分布式架构
事件驱动架构 (EDA) NoSQL (键值型) AWS EKS 熔断器 分布式系统
构建基于tRPC、NestJS与PyTorch的多阶段RAG推理管道并集成Tyk网关与Linkerd服务网格 构建基于tRPC、NestJS与PyTorch的多阶段RAG推理管道并集成Tyk网关与Linkerd服务网格
将一个检索增强生成（RAG）原型投入生产环境，挑战远不止于优化模型本身。真正的复杂性在于构建一个可观测、安全且可独立伸缩的服务体系。一个常见的错误是将API网关逻辑、业务编排和模型推理全部耦合在单个Python应用中。这种单体架构在初期看似
2023-10-27 分布式架构
tRPC NestJS PyTorch Tyk Linkerd
在阿里云与 Azure Functions 间构建基于 mTLS 的 LangChain 服务通信及 CAP 权衡实践 在阿里云与 Azure Functions 间构建基于 mTLS 的 LangChain 服务通信及 CAP 权衡实践
一个生产级系统面临的技术决策，往往不是单一维度的“好”与“坏”，而是在多个相互制约的目标中寻找一个动态平衡点。当前我们面临的挑战是：一个基于 LangChain 的文档分析代理，其核心数据处理与向量化逻辑，因数据主权与存算成本考虑，部署在阿
2023-10-27 分布式架构
Alibaba Cloud mTLS Azure Functions LangChain CAP Theorem
基于 APISIX 网关集成 Algolia 与 Trino 实现动态请求路由与数据增强 基于 APISIX 网关集成 Algolia 与 Trino 实现动态请求路由与数据增强
在构建一个流量巨大的个性化推荐系统中，我们面临一个棘手的架构挑战：需要根据用户的实时意图（通过搜索引擎推断）和其长期的行为模式（从数据湖分析得出）共同决定后端服务的路由策略，并对请求进行动态增强。具体来说，一个请求到达网关后，必须在几十毫秒
2023-10-27 分布式架构
Algolia 网关与代理 Presto / Trino 框架与工具
利用Saga模式为文档型NoSQL与TensorFlow工作流实现准ACID事务 利用Saga模式为文档型NoSQL与TensorFlow工作流实现准ACID事务
一个看似简单的业务需求摆在了面前：用户通过一个现代化的Headless UI提交一篇包含复杂富文本内容的文章；后端需要将文章存入文档型数据库（MongoDB），并调用一个TensorFlow模型进行内容审核。整个操作必须具备事务性：要么文章
2023-10-27 分布式架构
NoSQL Headless UI ACID TensorFlow Saga Pattern