IT俱乐部 Java SpringBoot+MyBatis-Plus实现多数据源配置与分页失效排查实战

SpringBoot+MyBatis-Plus实现多数据源配置与分页失效排查实战

1. 什么时候需要给项目引入多数据源?我的真实使用场景

先说结论: 绝大多数单机Spring Boot项目,一个数据源就够了。 真正需要多数据源的时候,通常不是你主动追求,而是被业务逼出来的。

我自己是在一个存量旧系统改造中碰到这个需求的。系统原本是单库,用户表、订单表、日志表全在一个MySQL里,跑了两三年后数据量上来,团队决定把日志相关的表拆到单独的库,主库只留核心业务数据。这时候问题来了:旧代码里几十个Mapper都是用同一个SqlSessionFactory创建的,现在一部分Mapper要连新库,一部分连老库,一个事务里还可能同时操作两个库。改造成本最小、风险最低的方案,就是引入MybatisPlus的多数据源能力。

除了库表拆分,多数据源最常见的场景还有这么几类:

  • 读写分离 :主库负责写入,从库负责查询。很多项目早期用MySQL主从复制,应用层就需要把读请求路由到从库。
  • 跨库查询 :微服务架构下,A服务要读B服务的数据,但不想走远程调用,直接连对方的库(虽然我不推荐这么做,但确实存在于老项目中)。
  • 报表、数仓类需求 :业务库是OLTP,报表系统通常连一套独立的只读实例,避免慢查询拖垮线上业务。
  • 多租户系统 :每个租户一个库,运行时根据租户ID动态切换。

如果你的项目也有类似诉求,往下看基本能覆盖到。这次我用的技术栈是:Spring Boot 2.7 + MyBatis-Plus 3.5.5 + dynamic-datasource-spring-boot-starter 4.2.0 + MySQL 8.0。这套组合现在用得非常多,配置思路是通用的。

2. 技术选型对比:手写多SqlSessionFactory,还是用动态数据源组件?

很早之前,网上大部分教程教的是手动配置多个 DataSource 、多个 SqlSessionFactory 、多个 MapperScan 。这种方案不是不能用,但有一个很疼的点: 一个Mapper只能用固定一个数据源,代码里想动态切换,得维护两套Mapper接口 ,或者借助AOP自己写切面,技术成本高,还容易出问题。

比如你自己写切面做数据源切换,会遇到的问题有:事务和连接绑定的坑、切面顺序问题(数据源切面和事务切面谁先执行)、嵌套调用时动态代理失效、ThreadLocal复用到线程池导致数据源串库……这些问题我全都踩过一遍,后来换成 dynamic-datasource 之后,代码删了几百行。

我的建议是: 生产项目直接用社区成熟组件,别重复造轮子。 主流的两个方案:

特性 dynamic-datasource-spring-boot-starter 手写多SqlSessionFactory
配置复杂度 低,yml里配置多个数据源即可 高,每个数据源都要写DataSource、SqlSessionFactory、MapperScan
代码中切换方式 @DS注解,声明式切换,也支持API式切换 基本是笨重的隔离
同类数据源聚合 支持主从延时、从库负载均衡、多种策略 不支持
混合异构数据源 支持Druid、HikariCP、JdbcTemplate、JPA混搭 配置量巨大
与MyBatis-Plus契合度 官方配合度高,分页插件等无缝接入 需要注意插件配置覆盖问题
社区活跃度 高,基本无坑 完全自己维护

所以整体上,动态数据源组件就是为你省掉那些易错样板代码的。

3. 一步步配置Spring Boot + MyBatis-Plus多数据源

3.1 Maven依赖引入,版本别乱配

既然用到 dynamic-datasource ,第一件事是确认版本与Spring Boot、MyBatis-Plus的兼容性。我这边用的是:

com.baomidoudynamic-datasource-spring-boot-starter4.2.0com.baomidoumybatis-plus-boot-starter3.5.5mysqlmysql-connector-java8.0.33

注意: dynamic-datasource 项目自己的版本迭代不算慢,4.x算是当前最稳定的大版本。它内部会帮你自动配置一个 DataSource ,就是你定义的 spring.datasource.dynamic 下的内容,主数据源名默认是 master ,这个等下说。

3.2 关键配置:application.yml

这是多数据源配置的核心,一定要看仔细了:

spring:
  datasource:
    dynamic:
      # 必须指定一个主数据源,名字任意,默认master
      primary: master
      # 严格模式,未匹配到数据源时是否直接报错,true推荐
      strict: true
      datasource:
        master:
          driver-class-name: com.mysql.cj.jdbc.Driver
          url: jdbc:mysql://localhost:3306/main_db?useUnicode=true&characterEncoding=utf8&serverTimezone=Asia/Shanghai
          username: root
          password: root123
          type: com.zaxxer.hikari.HikariDataSource
        slave:
          driver-class-name: com.mysql.cj.jdbc.Driver
          url: jdbc:mysql://localhost:3306/report_db?useUnicode=true&characterEncoding=utf8&serverTimezone=Asia/Shanghai
          username: root
          password: root123
          type: com.zaxxer.hikari.HikariDataSource
# MyBatis-Plus 3.5.5 的分页插件是独立配置项
mybatis-plus:
  mapper-locations: classpath*:/mapper/**/*.xml
  configuration:
    map-underscore-to-camel-case: true
    log-impl: org.apache.ibatis.logging.stdout.StdOutImpl
  global-config:
    db-config:
      id-type: assign_id
  # 后面分页插件的拦截器在配置类里写

这里面的玄机:

  • primary: master 决定默认走哪个库。如果不加 @DS 注解,所有Mapper默认使用 master 。
  • strict: true 是一个安全开关,如果代码里指定了一个不存在的数据源名称,启动或运行时会直接抛错,而不是静默用主库。 这个建议一定开启 ,不然你写错名字,数据全打去主库,排查起来很痛苦。
  • 每个数据源的类型我显式写成了 HikariDataSource ,你也可以不写,让组件自己推断。但对于高并发生产环境,推荐显式配置连接池参数(最大连接数、最小空闲、连接超时等),不要用默认值。

3.3 代码中切换数据源的N种姿势

dynamic-datasource 的 @DS 注解支持在 类 或者 方法 上,切换粒度很灵活。

@Service
public class OrderServiceImpl extends ServiceImpl implements OrderService {

    /**
     * 走默认主库,无需注解
     */
    @Override
    public List listMainOrders() {
        return list();
    }

    /**
     * 方法级别切换:查询报表库
     */
    @DS("slave")
    @Override
    public List listReportOrders() {
        return reportOrderMapper.selectAllReport();
    }
}
  • 如果 @DS("slave") 加在 ServiceImpl 实现类上,类中的所有方法都走从库。
  • 类上的注解会被方法上的注解覆盖,优先级:方法 > 类 > 默认主库。
  • @DS 还可以写在Mapper接口的方法上,比如某个Mapper方法指定连从库,不过我不建议这样混用,因为如果Service层有事务,数据源切换会和事务边界纠缠在一起,容易产生混乱。 更推荐统一在Service层控制数据源切换 ,这也是多数项目的规范。

动态获取当前数据源名称

有一些场景需要在运行时知道当前实际用的是哪个数据源,比如打日志、做监控。可以用 DynamicContextHolder.push/poll :

public class DataSourceContextHolder {
    public static String getCurrentDataSource() {
        Deque deque = DynamicContextHolder.peek();
        return deque == null ? null : deque.peek();
    }
}

不过日常开发中这个用得少,更多是框架内部在处理嵌套切换。

3.4 多数据源 + 事务,组合起来才是真正的坑

配置好数据源之后,最经典的问题来了: 在一个Service方法里同时操作 master 和 slave ,并且用 @Transactional 开启一个事务,会发生什么?

答案: @Transactional 会固定住事务创建时使用的数据源,整个事务内,后续即使通过 @DS 切换数据源,也只会一直在同一个连接上执行,另一个数据源的操作会直接失败或落到错误的连接上。因为Spring事务是基于 DataSourceTransactionManager 的,事务开启时会把当前数据源的连接绑定到线程上,后续的 @DS 切换并不会替换掉这个绑定连接。

换句话说: 不要在多数据源场景下跨库开一个大事务。 如果你的业务确实需要同时改两个库,并且要保证一致性,那就要上分布式事务方案:Seata、本地消息表+最终一致性、或者基于事务消息的柔性 事务。如果只是查询场景,完全不用加 @Transactional(readOnly = true) ,MyBatis-Plus的单表查询方法本身就够快。

如果你的场景是:同一个事务内,先操作主库,再读从库,想读到刚写入的数据——这属于读写分离下的“主从同步延迟”问题, @DS 救不了,得从业务上考虑:读操作强制走主库,或者在写入后短暂等待,或者用 @Transactional 把写和读放在同一个数据源内。这个没有银弹,具体取舍看你业务的容忍度。

4. MybatisPlus分页失效根因,一个排查链路

不少朋友搜过来,提示词里就写着“mybatisplus分页失效”。这个问题我排查过一次,最终发现是自己配置类里漏了分页拦截器。这里把完整的排查链路写下来,很多人到第三阶段才找到真相。

4.1 第一阶段:先确认分页代码本身是否写错

网上最常见的分页错误其实是 Page 参数没传,或者传了 Page 但最后又把数据 List 手动截断。比如:

// 错误写法:只传了Page对象,但没有没有接收分页结果
Page page = new Page(1, 10);
orderMapper.selectPage(page, null); // 返回值没接收?

其实这行代码在MyBatis-Plus 3.5.x里是对的, selectPage 会把分页结果填充到传入的 page 对象里。但如果你用的是自定义XML SQL,并且SQL里自己写了 LIMIT ,然后又传了 Page ,两者叠加就会有问题。

4.2 第二阶段:检查拦截器是否注册成功

这是最常见的原因。MyBatis-Plus 3.5.x 的分页要通过一个MybatisPlusInterceptor来注册:

@Configuration
public class MybatisPlusConfig {

    @Bean
    public MybatisPlusInterceptor mybatisPlusInterceptor() {
        MybatisPlusInterceptor interceptor = new MybatisPlusInterceptor();
        // 注意顺序:多租户插件、动态表名插件、分页插件等,分页建议放在靠后的位置
        interceptor.addInnerInterceptor(new PaginationInnerInterceptor(DbType.MYSQL));
        return interceptor;
    }
}

如果这个Bean没有正确注册到容器里, selectPage 执行时SQL不会被改写成分页SQL,实际查的是全表数据,然后框架在内存里“假装分页”——数据量小没问题,数据量大时内存直接爆掉。

在多数据源配置下,这个配置类尤其重要 ,因为 dynamic-datasource 内部会创建自己的SqlSessionFactory,如果你自己的配置类覆盖了它,分页拦截器就失效了。怎么办?看第三阶段。

4.3 第三阶段:多数据源下拦截器是如何丢失的

排查链路到了这里,要明白一个关键点—— dynamic-datasource 创建 SqlSessionFactory 时,会把我们自己定义的所有Interceptor都注入进去。所以理论上,只要你容器里有 MybatisPlusInterceptor 这个Bean,多数据源的每个数据源都会配套这个拦截器。

但有一种情况: 你在配置类里又手工new了一个 SqlSessionFactoryBean ,然后把自己写的DataSource喂给这个FactoryBean,导致它和 dynamic-datasource 的自动配置“各玩各的” 。这时候你手工new的那个SqlSessionFactory里并没有 MybatisPlusInterceptor ,于是执行Mapper时就出现“分页不生效、实际查全表”的问题。

解决办法就是 不要手工创建SqlSessionFactoryBean 。放开让 dynamic-datasource 自动配置,自己只定义 MybatisPlusInterceptor 这个Bean即可。如果必须自定义 SqlSessionFactory ,记得手动把Bean加进去:

factoryBean.setPlugins(new Interceptor[]{mybatisPlusInterceptor});

不过你既然用了动态数据源组件,就彻底放弃手动创建SqlSessionFactory的念头,这样能少踩一堆默认行为不生效的坑。

4.4 Count查询为0的经典坑

还有一种“分页失效”的变种:第一页数据正常,总条数 total 永远是0,导致前端无法翻页。这通常是因为分页插件生成的count语句有问题。

排查方法:打开MyBatis日志,看 count SQL和 page SQL。如果你的映射XML里SQL非常复杂,带有 GROUP BY 、多表关联、子查询,自动生成的count SQL可能解析出错,最终返回0。这种情况可以考虑给count语句一点“人工干预”,让MyBatis-Plus不自动生成count。

    SELECT ... 
    FROM orders
    WHERE ...

在Service层调用分页时,手动使用 Page 的优化参数:

Page page = new Page(1, 10);
// 设置为false,不执行count查询,自己后续处理或不要total
page.setSearchCount(false);

或者更优雅的做法是,把分页查询写成两个方法:一个查列表、一个查count,然后用 page.setTotal(countResult) 自己设置总条数。这样能彻底绕开count SQL自动生成带来的解析问题。

5. 单页500条限制的真正原因,以及应对方式

热词里有一条“接触mybatisplus单页500条限制”,我推测是从“mybatisplus单页500条限制”这个困扰来的。这里的“500条”不是MyBatis-Plus自己写死的,而是你 使用分页方式不对 。

很多新手会这么写:

List orders = orderMapper.selectList(
    new LambdaQueryWrapper()
        .last("LIMIT 500")
);

或者干脆认为 Page 一次最多只能查询500条,想一次性查出所有数据用作导出,于是手动写 LIMIT 50000 。这种写法有两个问题:第一,一次性加载5万条数据到内存,应用内存直接告急;第二,MySQL也扛不住大范围扫描,慢查询直接拖垮库。

所以“500条限制”的本质,其实是你没有合理利用 Page 分页查询,而是试图一股脑把大量数据捞到内存里。MyBatis-Plus并不会限制单页最多500条,它限制的是 你的意识 ——单页查询条数应该控制在合理业务范围内。

如果你真的是要导出大数据量,正确的姿势是下面这三种:

5.1 分页流式查询(Streaming)

利用MyBatis游标 Cursor 或MyBatis-Plus的 selectList 配合分页,一条条处理而不是全部加载到内存:

@Mapper
public interface OrderMapper extends BaseMapper {
    @Select("SELECT * FROM orders WHERE create_time >= #{startTime}")
    Cursor scanOrders(@Param("startTime") LocalDateTime startTime);
}

处理时:

try (Cursor cursor = orderMapper.scanOrders(startTime)) {
    Iterator iterator = cursor.iterator();
    while (iterator.hasNext()) {
        Order order = iterator.next();
        // 逐条处理,比如写入到文件、发送到MQ
    }
}

注意:游标流式查询不能复用同一个连接做其他操作,处理完必须关闭,且数据库连接必须保持打开状态。此外,MySQL驱动还需要在JDBC URL上加 useCursorFetch=true 和 defaultFetchSize 参数才能生效,否则MySQL默认还是会一次性把所有结果拉回来。

5.2 Keyset分页(深度分页优化)

传统的 LIMIT offset, size 在页面越深时越慢,因为MySQL需要扫描并跳过前offset条记录。Keyset分页的核心思路是 记住上一页的最后一条记录的排序字段值 ,下一页直接 WHERE id > lastId ORDER BY id LIMIT size 。

// 第一页
Page page1 = new Page(1, 100);
orderService.page(page1, new LambdaQueryWrapper().orderByAsc(Order::getId));

// 第二页:取出上一页最后一条记录的ID
Long lastId = page1.getRecords().get(page1.getRecords().size() - 1).getId();
List page2 = orderMapper.selectList(
    new LambdaQueryWrapper()
        .gt(Order::getId, lastId)
        .orderByAsc(Order::getId)
        .last("LIMIT 100")
);

这个方式对筛选条件比较简单的列表很有用。你已经提前看过性能问题的根源,其实就是B+树从头开始扫描,扫描到offset位置再丢弃。如果排序字段加索引,Keyset分页可以做到恒定极快。

5.3 游标分页 / 滚动ID分页(适用于消息中间件、任务调度)

如果你能保证ID单调递增(MyBatis-Plus默认雪花算法也满足),每批查询用 ID > 上次最大ID 的模式,循环拉取直到拉完。这个实质上和Keyset一致,只是你是用ID硬翻页,不依赖页数和排序。

我常用的导出实现就是写一个 while(true) 循环,每次取 LIMIT 1000 ,处理完后更新最大ID,直到结果集为空。这样既控制内存,又避免深分页性能问题。数据处理完直接写入Excel或CSV,一行都不卡。

6. MybatisX插件:让MyBatis/MyBatis-Plus开发效率翻倍

说完了多数据源和分页,再来聊MybatisX插件。这是JetBrains全家桶插件市场的免费插件,和MyBatis-Plus同属于官方生态,专门提升MyBatis开发体验。

6.1 安装与基本能力

在IDEA插件市场搜索“MyBatisX”即可安装。支持IDEA 2020.1+,官方维护,更新比较积极。核心能力有几块:

  • Mapper接口和XML映射文件互相跳转 :如果你维护老项目,没有逆向工程,Mapper接口方法名和XML里的id改一个,对应关系全靠人肉记忆。暴露出问题的是:接口多、XML文件多、团队协作时改名频繁,跳转断裂会让人崩溃。
  • 代码一键生成 :连数据库可以直接生成实体类、Mapper接口、Service、ServiceImpl、Controller,并且支持自定义模板。
  • MyBatis-Plus专属代码提示 :比如LambdaQueryWrapper的字段名提示、方法提示、XML里动态SQL标签的提示。
  • SQL语法高亮与检测 :写在XML里的SQL有语法高亮,比纯文本强太多。

6.2 两个最该掌握的高效功能

Mapper与XML的零成本跳转

装完插件后,在Mapper接口的方法左侧会有一个红色的鸟头图标(或者说绿色小箭头),点击就能跳到XML对应SQL语句;反过来,XML里也能跳回接口。非常直观。

这个能力最值钱的地方在于: 大型项目中,Mapper接口上百个方法,XML上千行,快速定位到某个方法对应的SQL,是每天做N次的日常操作。 有了这个插件,效率提升不是一点半点。

一键生成CRUD代码

MybatisX不仅能根据数据库表生成基础的文件,还能在生成时选择是否生成各种Service层模板。它的生成向导长这样:

  1. 选中数据库连接,右键选择“MyBatisX-Generator”。
  2. 选择表,并勾选要生成的层(Entity、Mapper、Service、Controller)。
  3. 配置包的路径、根包名、Module路径。
  4. 生成完,项目里就直接有能跑的CRUD代码了。

生成质量在同类型工具里算不错的,模板也可以自定义。

自定义代码模板

再进一步,如果你的团队有自己的规范,MyBatisX支持修改模板文件。模板根目录在IDEA的配置文件夹里,路径大致是:

{IDEA安装目录}/plugins/mybatisx/lib/mybatisx-core-{版本}.jar

实际改模板需要解压这个jar包里的 template 目录,修改后重新打包,或者使用MyBatisX自带的“自定义模板”配置(新版支持定义生成规则)。比如所有实体类默认继承一个BaseEntity,加一个 @TableName 注解、统一Swagger注解、统一返回结果类型等,都可以写进模板。

我一般是把模板改好之后提交到团队文档里,新同事拿到项目,装好插件,配置一下模板路径,10秒生成一套符合团队规范的代码。比起手写,效率确实是质的飞跃。

6.3 MybatisX插件的常见误区

要注意的是,MybatisX的“X”和 dynamic-datasource 里的“DS”并没有直接关系,它不是多数据源的核心依赖,而是一个代码生成和导航工具。如果你在项目里装了MybatisX,但多数据源切换不生效,问题大概率在配置层,不在插件。

7. IRepository:MyBatis-Plus 3.5.4+ 的多数据源新选择

热词里还出现了“mybatisplus irepository”,这个是MyBatis-Plus 3.5.4之后正式加入的接口风格。很多朋友只知道 IService + ServiceImpl ,其实新的 IRepository + RepositoryImpl 更贴近DDD分层思想,也天然适合多数据源项目里做仓储隔离。

7.1 IRepository与IService的核心区别

IService大量的通用方法都是放在实现类里的,与业务Service层强耦合。而 IRepository 强调的是“数据访问层接口”,更偏向领域驱动设计(DDD)中的仓库模式。

简单对比一下:

特性 IService/ServiceImpl IRepository/RepositoryImpl
引入版本 3.x全系列 3.5.4+
定位 业务Service数据操作+方法批量增强 数据访问层接口,偏向实体聚合根
方法命名 自带CRUD、链式查询 与IService几乎一致,只是命名下沉
代码风格 业务逻辑直接写在ServiceImpl里 业务逻辑可以集中在Service层,Repository只做数据访问
与MyBatis-Plus的关系 强绑定 强绑定,但更接近框架目录划分

实际开发中,如果你团队已经习惯 IService ,不必强行迁移。新项目或重构时可以试试 IRepository ,它对多数据源友好度更高(因为天然把“数据访问”和“业务实现”分开了)。

7.2 在项目中使用IRepository

public interface OrderRepository extends IRepository {
    List findRecentlyCreatedOrders(LocalDateTime startTime);
}

@Service
public class OrderRepositoryImpl extends RepositoryImpl implements OrderRepository {

    @Autowired
    private OrderMapper orderMapper;

    @DS("slave")
    @Override
    public List findRecentlyCreatedOrders(LocalDateTime startTime) {
        return orderMapper.selectList(
            new LambdaQueryWrapper()
                .gt(Order::getCreateTime, startTime)
                .orderByDesc(Order::getCreateTime)
                .last("LIMIT 20")
        );
    }
}

注意这里用到了 @DS("slave") 在仓储实现类上,这正好符合多数据源项目的最佳实践: 数据源切换下沉到数据访问层而非Service 。你在Service层只需要调 orderRepository.findRecentlyCreatedOrders ,完全不用关心底层连的哪个库。这样业务代码清爽很多,也方便后续切库、做读写分离,服务调用方无感知。

不过 IRepository 的API从3.5.4之后还在迭代,有些方法名和IService有细微差异,升级时注意看官方release notes,避免因为方法不兼容导致编译失败。

7.3 有没有必要把IService全换成IRepository?

我的看法是: 存量项目不要为了换而换。 IService并没有被淘汰,只是官方在提供另一种风格。如果你已经在IService模式上沉淀了很多自定义方法,迁移成本不低,而且收益并不明显。但新项目,或者正在做模块化拆分、想贯彻DDD风格的项目,完全可以直接上IRepository。

多数据源场景下,我更推荐的方式是:

  • 每个数据源对应的聚合根定义一个Repository接口
  • 数据访问层的实现类用 @DS 指定数据源
  • Service层只依赖Repository接口,不关心数据源细节

这样本身就是一个很干净的架构,后期接分布式事务、缓存、事件总线,改造空间都很大。

8. 读多写少场景下的从库负载均衡配置

如果你正打算做读写分离, dynamic-datasource 原生支持从库负载均衡。它的 slave 可以配多个,并且内置了轮询、随机等策略。比如:

spring:
  datasource:
    dynamic:
      primary: master
      strict: true
      strategy: com.baomidou.dynamic.datasource.strategy.RandomDataSourceStrategy
      datasource:
        master:
          url: jdbc:mysql://127.0.0.1:3306/main_db
          username: root
          password: root123
        slave_1:
          url: jdbc:mysql://127.0.0.1:3306/report_db
          username: root
          password: root123
        slave_2:
          url: jdbc:mysql://127.0.0.1:3306/report_db_backup
          username: root
          password: root123

然后代码层面,你可以直接在 @DS("slave") 的时候,不加下划线后缀——这个组件自己会根据策略找到 slave_1 或 slave_2 中最合适的一个。注意,这里的 slave 不是固定名称,它有一个自动匹配逻辑:当你在注解里写 @DS("slave") ,组件会寻找所有以 slave 开头的已配置数据源,然后按策略挑一个。这个设计很巧妙。

不过实际项目中,我很少在主从中间加应用层负载均衡。因为你的从库如果是MySQL主从,往往还有延迟,不同从库之间的负载也应该交给数据库中间件(如ProxySQL、MyCat)来做。应用层做负载均衡更适合多个完全一样的只读实例,或者读写分离的临时过渡。

9. 多数据源项目里最常见的5个坑(都有对应解法)

这些坑是我在实施多数据源改造后总结出来的,希望能帮你提前避雷。

9.1 第一次启动报错:Failed to configure a DataSource

很多新人在 dynamic-datasource 下没见过这种报错。原因通常是 spring.datasource 下没有配置动态数据源,而是直接写了 spring.datasource.url 。加了动态数据源组件后,默认的数据源配置入口变成了 spring.datasource.dynamic.datasource ,不再是原来的顶层 spring.datasource 。你的 url 、 username 、 password 要放进 dynamic.datasource.master 这一层。

9.2 Druid连接池监控统计在多数据源下不生效

如果你用的是Druid连接池,会需要给每个数据源单独配置StatFilter或StatViewServlet。而 dynamic-datasource 对Druid有专门的支持:只要引入 druid-spring-boot-starter ,再在数据源配置下加 druid: 相关配置项即可。监控页面默认能展示聚合的数据源状态,但如果你手动覆盖了 DataSource ,那么Druid监控统计也一起失效了。

9.3 事务方法中切换数据源,出现“Connection is read-only”

这是典型的 @Transactional(rollbackFor = Exception.class, readOnly = true) 配置带来的问题。把事务标记成了只读,然后里面又去调用了一个写库的数据源操作,数据库连接会直接拒绝写入。排查时先看方法上有没有只读事务注解。

9.4 多数据源与多租户插件一起使用时,租户ID丢失

如果你配置了MyBatis-Plus的多租户插件TenantLineInnerInterceptor,并且指定了某个数据源的表没有租户字段,执行SQL时会报错“表不存在租户字段”。这是插件自动给所有SQL拼了条件导致的。处理办法是在多租户插件里用 ignoreTable 排除不需要拦截的表,或者对非租户库单独设置一个不带租户插件的SqlSessionFactory。前者简单,后者灵活,但都麻烦。我的建议是:跨数据源前,先在业务上想清楚哪些表属于租户隔离范围,再配置插件拦截范围。

9.5 动态数据源切换在事务内外表现不一致

同一个Service方法里,如果 @Transactional 切面先执行、 @DS 切面后执行,那么一旦当前线程上已经绑定了一个事务连接,再切换数据源是没有用的。真实顺序取决于AOP切面定义,Spring事务的AOP顺序默认高于自定义切面。所以想要在不同数据源上做事务操作,要么拆开两个Service分别开事务,要么干脆不用声明式事务,手写编程式事务。

在 dynamic-datasource 里,官方提供了一个能力: @DSTransactional (早期版本)或DynamicDataSourceTransactionManager,可以让多数据源事务在某些程度上协调。但底层并不是真正的XA分布式事务,只是对本地事务做了路由优化。真正要保证跨库一致性,还是得引入Seata等方案。

10. 最后分享几个生产环境的调优细节

前面聊了不少“怎么配、怎么改”,最后再说几个我实际跑生产时总结的调优经验,不一定适合所有项目,但大概率有参考价值。

10.1 连接池参数要区分主从

主库的读写压力大,从库一般读多写少甚至只读。HikariCP的默认参数不一定匹配实际负载。我在 master 上通常配置:

master:
  type: com.zaxxer.hikari.HikariDataSource
  hikari:
    maximum-pool-size: 20
    minimum-idle: 5
    connection-timeout: 30000
    idle-timeout: 600000
    max-lifetime: 1800000

从库可以适当调大 maximum-pool-size ,因为查询并发往往更高。但也不要盲目调大,连接数是和数据库线程数、CPU核数相关的,连接太多反而增加上下文切换。通用参考是 CPU核心数 * 2 + 有效磁盘数 ,不过最好压测后再定。

10.2 开启SQL日志但只保留慢SQL日志

MyBatis-Plus的 log-impl: StdOutImpl 会把每条SQL都打到控制台,多数据源下SQL特别多,日志非常嘈杂。建议生产环境换成 Slf4jImpl ,并配置一个拦截器打印慢SQL。MyBatis-Plus 3.5.x已经内置了慢SQL插件,配置慢SQL阈值后可以在日志里清晰看到哪些SQL超过了阈值,辅助优化查询。

10.3 分区表与分库分表不要搞混

多数据源解决的是“多个库”的问题,分库分表解决的是“单表数据量过大”的问题。两者不冲突但也不能混为一谈。如果你一个大表有上亿数据,靠多数据源分到多个库仍然是每个库一张大表,单表查询慢的问题还在。真正的做法是表结构设计、索引优化、必要时引入ShardingSphere做分片。

我遇到过项目把多数据源当作分库分表用的,最后写了一个“从哪个库查”的方法,通过传入一个库前缀来切换数据源,勉强跑通,但扩展性极差。如果一开始就想清楚两者的边界,技术选型会简单很多。

10.4 配置文件的密码别明文写

多数据源配置里通常有多个数据源、多套账号密码,团队里任何一个人拿到配置文件就相当于拿到了全部数据库权限。推荐直接用Jasypt对密码加密,或者在云环境里使用KMS/密钥管理服务。 dynamic-datasource 对Jasypt有较好的兼容性,只要你引入了 jasypt-spring-boot-starter ,密码写成 ENC(加密串) 就能自动解密。

这是我改造时顺手做的一件事,成本不高,但安全收益很值。

多数据源和MybatisX插件这套组合,本身并不复杂,核心是理解数据源切换的边界条件和分页插件的运行机制。以上这些坑我基本都踩过一遍,最近一次用IRepository重构老模块后,代码清晰度和可维护性确实好了不少。如果你正在做类似改造,希望这份实操记录能帮你少走一些弯路。

到此这篇关于SpringBoot+MyBatis-Plus实现多数据源配置与分页失效排查实战的文章就介绍到这了,更多相关SpringBoot MyBatis-Plus多数据源配置内容请搜索IT俱乐部以前的文章或继续浏览下面的相关文章希望大家以后多多支持IT俱乐部!

本文收集自网络,不代表IT俱乐部立场,转载请注明出处。https://www.2it.club/code/java/18770.html
上一篇
下一篇
联系我们

联系我们

在线咨询: QQ交谈

邮箱: 1120393934@qq.com

工作时间:周一至周五,9:00-17:30,节假日休息

关注微信
微信扫一扫关注我们

微信扫一扫关注我们

返回顶部