最近接触一个项目，需要每天定时把PgSql一张数据量超大的数据表同步到ClickHouse 思考这种场景下怎么提高同步速度。

按主键分页

思路

按照主键排序分区间查询

在程序中除了迭代器还有生成器均是可迭代对象，迭代器是通过移动游标来遍历数据，那生成器呢

生成器

生成器创建方式（python）

• (表达式)

  1 2 3 4 5 6

  generator = (i for i in [1, 2, 3]) // 这里有区别于 [i for i in [1, 2, 3]] print(generator) # <generator object <genexpr> at 0x10c312870> print(next(generator)) # 1 print(next(generator)) # 2 print(next(generator)) # 3 print(next(generator)) # raise StopIteration

游标（cursor）是可以从数据库检索结果集中每次提取一行记录的机制，游标的作用就是对结果集进行遍历，方便对记录进行操作。

特性

三种特性：

• 只读

  不能更新它

• 非滚动

  根据SQL语句确定顺序，不能向后获取记录和跳过记录

• 敏感/不敏感

  敏感游标指向的是数据表，不敏感游标指向的则是临时数据表。（Mysql使用的是敏感游标）

声明游标

游标使用的变量必须在声明游标之前声明

项目中某个定时任务执行过程中出现死锁问题，具体错误如下:

1

Error 1213: Deadlock found when trying to get lock; try restarting transaction

分析

检查一下表引擎 & 事务隔离级别

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

mysql> show variables like '%storage_engine%';
+---------------------------------+-----------+
| Variable_name                   | Value     |
+---------------------------------+-----------+
| default_storage_engine          | InnoDB    |
| default_tmp_storage_engine      | InnoDB    |
| disabled_storage_engines        |           |
| internal_tmp_mem_storage_engine | TempTable |
+---------------------------------+-----------+
4 rows in set (0.00 sec)

mysql> select @@global.tx_isolation;
ERROR 1193 (HY000): Unknown system variable 'tx_isolation' // Mysql8.0以后取消了该变量

mysql> select @@transaction_isolation;
+-------------------------+
| @@transaction_isolation |
+-------------------------+
| REPEATABLE-READ         |
+-------------------------+
1 row in set (0.00 sec)

之前项目数据表有分表设计，现在因为业务量增长数据表数据量膨胀数倍导致单表性能不理想 … 所以希望在不影响用户使用的情况下扩展数据表（迁移）

数据迁移方案

基本分为热迁移和冷迁移两种方式

• 冷迁移

通俗的来说就是停机迁移，比如某些游戏合服维护等

优点: 操作可靠性高、数据一致性有保证、数据回滚方便

缺点: 用户体验差

有时候git项目比较大，git clone会因为各种原因中断，但是Git并不会断点续“传”再次clone又是重新来过,类似这种问题…让人很是苦恼

1
2
3

$ error: RPC failed; HTTP 504 curl 22 The requested URL returned error: 504 Gateway Time-out
$ ...
$ error: RPC failed; curl 18 transfer closed with outstanding read data remaining

解决方式

• git配置流

  1 2 3 4

  $ git config --global http.lowSpeedLimit 0 // 最小速度 $ git config --global http.lowSpeedTime 999999 // 最大速度 $ git config --global http.postBuffer 524288000 // 文件大小 $ git config --global compression 0 // 关闭压缩

• 分块拉取

  1	$ git clone --depth=1 {repo} // 拉取最新的代码（最后一次commit）

  但这样会带来其他的小问题，就是拉下来的代码默认分支既不是master也不是其他分支 … 需要拉取完整的项目

  1 2 3

  $ git fetch --unshallow // 拉取深层代码 $ git config remote.origin.fetch "+refs/heads/*:refs/remotes/origin/*" // 修正remote关系（修改之前: "fetch = +refs/heads/master:refs/remotes/origin/master"） $ git fetch -pv // 拉取所有分支

Laravel框架中控制反转和依赖注入功能是怎么实现的？
其实控制反转和依赖注入是一种设计思想，它最早源于Java Spring框架设计中的机制，所以身边如果有做Java开发的小伙伴~简单聊聊就能明白许多。

1.依赖注入

依赖注入（Dependency Injection），通俗的解释是当我们构建对象时需要的参数，只要不是手动创建而是以实例对象的形式注入都可以称为依赖注入。

举个例子，一个小游戏中玩家可以创建不同的职业。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41

// 职业接口
interface Role {
    // 获取职业名
    public function getName();
}

class Dh implements Role {
    // 职业名
    protected $name = '猎魔人';
    // 攻击成长
    protected $attack;
    // 速度成长
    protected $speed;
    // 气血成长
    protected $hp;
    
    public function __construct($attack,$speed,$hp) {
        $this->attack = $attack;
        $this->speed = $speed;
        $this->hp = $hp;
    }
    
    public function getName() {
        return $this->name;
    }
}

// 玩家类
class Player {
    // 职业
    protected $role;
    
    public function __construct($role) {
        $this->role = $role;
    }
}
// 猎魔人
$dh = new Dh(100, 100, 60);

// 玩家1->猎魔人
$player1 = new Player($dh);

之前简单了解过Mysql的索引，今天来学习一下Mysql（InnoDB）的聚簇索引以及SQL为什么会产生回表查询？

1. 什么是回表查询？

都知道Mysql存储的数据结构是B+Tree，所以当查询数据的时候能最快找到叶子节点的检索方式时是最快的。比如：主键直接定位行记录，而有些查询需要先检索索引树找到叶子节点的主键值，再通过主键值定位行记录这种扫描2次索引树的方式就叫做回表查询。

如何确定SQL语句会不会造成回表查询？如下表：

1
2
3
4
5
6
7
8
9
10

CREATE TABLE `users`  (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `user` varchar(125) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci NOT NULL,
  `name` varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci NOT NULL,
  `status` tinyint(4) NOT NULL,
  `created_at` datetime NOT NULL,
  PRIMARY KEY (`id`) USING BTREE,
  UNIQUE INDEX `user`(`user`) USING BTREE,
  INDEX `name`(`name`) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 1 CHARACTER SET = utf8mb4 COLLATE = utf8mb4_unicode_ci ROW_FORMAT = Compact;

2种查询方式：