ClickHouse学习笔记 - 数据引擎

2022-01-16

全文 ≈ 1.3k字 | 预计阅读时长 4分钟

ClickHouse是个由老毛子国内市场使用率第一的搜索引擎Yandex开源的OLAP型列式数据库。

背景

之前因为业务接触到ClickHouse，但因为没有系统的了解过导致遇见个很小的问题、花了大量的时间、用了很挫的方式来解决问题，痛定思痛的情况下决心系统的逐步学习一下。ClickHouse无论是存储还是使用方式都不同程度的异于我们常用的Mysql，PostgreSql，Mssql等行式数据库，但它支持绝大部分的SQL语法。

More >>

ClickHouse学习笔记 - 数组拆分再分组

2022-01-14

全文 ≈ 1.6k字 | 预计阅读时长 6分钟

ClickHouse是个由老毛子国内市场使用率第一的搜索引擎Yandex开源的OLAP型列式数据库。

背景

最近，数据分析项目要做一个广告素材推广成效分析功能。需求评审下来大概是通过给广告素材打标签进行分类，然后按标签纬度进行分析数据。

数据库选型

该项目之前的数据是存放在Elasticsearch，但总是感觉ES的DSL语句过于繁琐不利于阅读且学习成本较高，内部针对该问题讨论之后选用了在大数据处理上同样出色的ClickHouse作为新功能的数据仓库（试点功能233）。

数据结构

因为是列式数据库，所以不需要遵守数据库三大范式。

More >>

Go学习笔记 - 控制协程数量

2021-12-03

全文 ≈ 363字 | 预计阅读时长 1分钟

之前因为需要并发同步单张数据表的脚本，因为设置协程数量太多连接数过高导致服务宕机 … 得不偿失，所以想怎么控制一下协程数量

Channel

利用channel阻塞，上代码：

More >>

Go学习笔记 - 并发查询单表

2021-12-02

全文 ≈ 513字 | 预计阅读时长 2分钟

最近接触一个项目，需要每天定时把PgSql一张数据量超大的数据表同步到ClickHouse 思考这种场景下怎么提高同步速度。

按主键分页

思路

按照主键排序分区间查询

More >>

Python学习笔记 - yield

2021-11-22

全文 ≈ 610字 | 预计阅读时长 2分钟

在程序中除了迭代器还有生成器均是可迭代对象，迭代器是通过移动游标来遍历数据，那生成器呢

生成器

生成器创建方式（python）

(表达式)

generator = (i for i in [1, 2, 3]) // 这里有区别于 [i for i in [1, 2, 3]]
print(generator)  # <generator object <genexpr> at 0x10c312870>
print(next(generator))  # 1
print(next(generator))  # 2
print(next(generator))  # 3
print(next(generator))  # raise StopIteration

More >>

Mysql学习笔记 - cursor

2021-11-18

全文 ≈ 506字 | 预计阅读时长 2分钟

游标（cursor）是可以从数据库检索结果集中每次提取一行记录的机制，游标的作用就是对结果集进行遍历，方便对记录进行操作。

特性

三种特性：

只读

不能更新它

非滚动

根据SQL语句确定顺序，不能向后获取记录和跳过记录

敏感/不敏感

敏感游标指向的是数据表，不敏感游标指向的则是临时数据表。（Mysql使用的是敏感游标）

声明游标

游标使用的变量必须在声明游标之前声明

More >>

Mysql学习笔记 - InnoDB并发死锁问题

2021-11-15

全文 ≈ 1.3k字 | 预计阅读时长 7分钟

项目中某个定时任务执行过程中出现死锁问题，具体错误如下:

1	Error 1213: Deadlock found when trying to get lock; try restarting transaction

分析

检查一下表引擎 & 事务隔离级别

mysql> show variables like '%storage_engine%';
+---------------------------------+-----------+
| Variable_name                   | Value     |
+---------------------------------+-----------+
| default_storage_engine          | InnoDB    |
| default_tmp_storage_engine      | InnoDB    |
| disabled_storage_engines        |           |
| internal_tmp_mem_storage_engine | TempTable |
+---------------------------------+-----------+
4 rows in set (0.00 sec)

mysql> select @@global.tx_isolation;
ERROR 1193 (HY000): Unknown system variable 'tx_isolation' // Mysql8.0以后取消了该变量

mysql> select @@transaction_isolation;
+-------------------------+
| @@transaction_isolation |
+-------------------------+
| REPEATABLE-READ         |
+-------------------------+
1 row in set (0.00 sec)