ClickHouse学习笔记 - 数组拆分再分组

2022-01-14

全文 ≈ 1.6k字 | 预计阅读时长 6分钟

ClickHouse是个由老毛子国内市场使用率第一的搜索引擎Yandex开源的OLAP型列式数据库。

背景

最近，数据分析项目要做一个广告素材推广成效分析功能。需求评审下来大概是通过给广告素材打标签进行分类，然后按标签纬度进行分析数据。

数据库选型

该项目之前的数据是存放在Elasticsearch，但总是感觉ES的DSL语句过于繁琐不利于阅读且学习成本较高，内部针对该问题讨论之后选用了在大数据处理上同样出色的ClickHouse作为新功能的数据仓库（试点功能233）。

数据结构

因为是列式数据库，所以不需要遵守数据库三大范式。

More >>

Go学习笔记 - 控制协程数量

2021-12-03

全文 ≈ 363字 | 预计阅读时长 1分钟

之前因为需要并发同步单张数据表的脚本，因为设置协程数量太多连接数过高导致服务宕机 … 得不偿失，所以想怎么控制一下协程数量

Channel

利用channel阻塞，上代码：

More >>

Go学习笔记 - 并发查询单表

2021-12-02

全文 ≈ 513字 | 预计阅读时长 2分钟

最近接触一个项目，需要每天定时把PgSql一张数据量超大的数据表同步到ClickHouse 思考这种场景下怎么提高同步速度。

按主键分页

思路

按照主键排序分区间查询

More >>

Python学习笔记 - yield

2021-11-22

全文 ≈ 610字 | 预计阅读时长 2分钟

在程序中除了迭代器还有生成器均是可迭代对象，迭代器是通过移动游标来遍历数据，那生成器呢

生成器

生成器创建方式（python）

(表达式)

generator = (i for i in [1, 2, 3]) // 这里有区别于 [i for i in [1, 2, 3]]
print(generator)  # <generator object <genexpr> at 0x10c312870>
print(next(generator))  # 1
print(next(generator))  # 2
print(next(generator))  # 3
print(next(generator))  # raise StopIteration

More >>

Mysql学习笔记 - cursor

2021-11-18

全文 ≈ 506字 | 预计阅读时长 2分钟

游标（cursor）是可以从数据库检索结果集中每次提取一行记录的机制，游标的作用就是对结果集进行遍历，方便对记录进行操作。

特性

三种特性：

只读

不能更新它

非滚动

根据SQL语句确定顺序，不能向后获取记录和跳过记录

敏感/不敏感

敏感游标指向的是数据表，不敏感游标指向的则是临时数据表。（Mysql使用的是敏感游标）

声明游标

游标使用的变量必须在声明游标之前声明

More >>

Mysql学习笔记 - InnoDB并发死锁问题

2021-11-15

全文 ≈ 1.3k字 | 预计阅读时长 7分钟

项目中某个定时任务执行过程中出现死锁问题，具体错误如下:

1	Error 1213: Deadlock found when trying to get lock; try restarting transaction

分析

检查一下表引擎 & 事务隔离级别

mysql> show variables like '%storage_engine%';
+---------------------------------+-----------+
| Variable_name                   | Value     |
+---------------------------------+-----------+
| default_storage_engine          | InnoDB    |
| default_tmp_storage_engine      | InnoDB    |
| disabled_storage_engines        |           |
| internal_tmp_mem_storage_engine | TempTable |
+---------------------------------+-----------+
4 rows in set (0.00 sec)

mysql> select @@global.tx_isolation;
ERROR 1193 (HY000): Unknown system variable 'tx_isolation' // Mysql8.0以后取消了该变量

mysql> select @@transaction_isolation;
+-------------------------+
| @@transaction_isolation |
+-------------------------+
| REPEATABLE-READ         |
+-------------------------+
1 row in set (0.00 sec)

More >>

Mysql学习笔记 - 数据迁移

2021-11-12

全文 ≈ 218字 | 预计阅读时长 1分钟

之前项目数据表有分表设计，现在因为业务量增长数据表数据量膨胀数倍导致单表性能不理想 … 所以希望在不影响用户使用的情况下扩展数据表（迁移）

数据迁移方案

基本分为热迁移和冷迁移两种方式

冷迁移

通俗的来说就是停机迁移，比如某些游戏合服维护等

优点: 操作可靠性高、数据一致性有保证、数据回滚方便

缺点: 用户体验差

More >>

Git小知识 - depth

2021-11-01

全文 ≈ 246字 | 预计阅读时长 1分钟

有时候git项目比较大，git clone会因为各种原因中断，但是Git并不会断点续“传”再次clone又是重新来过,类似这种问题…让人很是苦恼

1
2
3

$ error: RPC failed; HTTP 504 curl 22 The requested URL returned error: 504 Gateway Time-out
$ ...
$ error: RPC failed; curl 18 transfer closed with outstanding read data remaining

解决方式

git配置流

$ git config --global http.lowSpeedLimit 0 // 最小速度
$ git config --global http.lowSpeedTime 999999 // 最大速度
$ git config --global http.postBuffer 524288000 // 文件大小
$ git config --global compression 0 // 关闭压缩

分块拉取

1	$ git clone --depth=1 {repo} // 拉取最新的代码（最后一次commit）

但这样会带来其他的小问题，就是拉下来的代码默认分支既不是master也不是其他分支 … 需要拉取完整的项目

1
2
3

$ git fetch --unshallow // 拉取深层代码
$ git config remote.origin.fetch "+refs/heads/*:refs/remotes/origin/*" // 修正remote关系（修改之前: "fetch = +refs/heads/master:refs/remotes/origin/master"）
$ git fetch -pv // 拉取所有分支

More >>