Go学习笔记 - init函数

全文 ≈ 343字   |   预计阅读时长 1分钟

定义

Golang中的特殊函数，会先于main函数执行且不能被调用。该函数无入参、返回值，同时支持选择性定义。也可以选择定义多个init函数，但建议只定义一个。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
package main

import "fmt"

func init() {
	fmt.Println("init1")
}

func init() {
	fmt.Println("init2")
}

func main() {
	fmt.Println("main")
}
// init1
// init3
// main

More >>

ClickHouse学习笔记 - MergeTree存储结构

全文 ≈ 2.2k字   |   预计阅读时长 8分钟

ClickHouse 是这两年备受瞩目的开源列式数据库，主要应用场景是 OLAP（在线数据分析处理）场景。

背景

之前因为遇见一些小问题，所以想通过存储结构和索引方式两个方面搞清楚它为什么可以这么快。

ClickHouse 是 OLAP 型的列式数据库，官方称比较行式数据库查询效率提升至少 100 倍，DB Benchmark显示 ClickHouse 比 Mysql 快 800 倍！

More >>

Go学习笔记 - 闭包函数、匿名函数及lambda“函数”有什么关系

全文 ≈ 876字   |   预计阅读时长 3分钟

经常在技术博客中看到匿名函数、闭包函数和 lambda 表达式这样名词，但一直傻傻分不清他们之间究竟有什么区别，所以想一探究竟。

函数定义

一个函数的定义，一般会包含：函数名、函数的参数、函数的主体（代码块）、函数的返回类型/值。

1
2
3
func hello(name string) string {
	return "Hello, " + name
}

More >>

ClickHouse学习笔记 - 数据引擎

全文 ≈ 1.3k字   |   预计阅读时长 4分钟

ClickHouse是个由老毛子国内市场使用率第一的搜索引擎Yandex开源的OLAP型列式数据库。

背景

之前因为业务接触到ClickHouse，但因为没有系统的了解过导致遇见个很小的问题、花了大量的时间、用了很挫的方式来解决问题，痛定思痛的情况下决心系统的逐步学习一下。ClickHouse无论是存储还是使用方式都不同程度的异于我们常用的Mysql，PostgreSql，Mssql等行式数据库，但它支持绝大部分的SQL语法。

More >>

ClickHouse学习笔记 - 数组拆分再分组

全文 ≈ 1.7k字   |   预计阅读时长 7分钟

ClickHouse是个由老毛子国内市场使用率第一的搜索引擎Yandex开源的OLAP型列式数据库。

背景

最近，数据分析项目要做一个广告素材推广成效分析功能。需求评审下来大概是通过给广告素材打标签进行分类，然后按标签纬度进行分析数据。

数据库选型

该项目之前的数据是存放在Elasticsearch，但总是感觉ES的DSL语句过于繁琐不利于阅读且学习成本较高，内部针对该问题讨论之后选用了在大数据处理上同样出色的ClickHouse作为新功能的数据仓库（试点功能233）。

数据结构

因为是列式数据库，所以不需要遵守数据库三大范式。

More >>

Go学习笔记 - 控制协程数量

全文 ≈ 361字   |   预计阅读时长 1分钟

之前因为需要并发同步单张数据表的脚本，因为设置协程数量太多连接数过高导致服务宕机 … 得不偿失，所以想怎么控制一下协程数量

Channel

利用channel阻塞，上代码：

More >>

Go学习笔记 - 并发查询单表

全文 ≈ 512字   |   预计阅读时长 2分钟

最近接触一个项目，需要每天定时把PgSql一张数据量超大的数据表同步到ClickHouse 思考这种场景下怎么提高同步速度。

按主键分页

思路

按照主键排序分区间查询

More >>

Python学习笔记 - yield

全文 ≈ 609字   |   预计阅读时长 2分钟

在程序中除了迭代器还有生成器均是可迭代对象，迭代器是通过移动游标来遍历数据，那生成器呢

生成器

生成器创建方式（python）

  • (表达式)
    1
    2
    3
    4
    5
    6
    generator = (i for i in [1, 2, 3]) // 这里有区别于 [i for i in [1, 2, 3]]
    print(generator)  # <generator object <genexpr> at 0x10c312870>
    print(next(generator))  # 1
    print(next(generator))  # 2
    print(next(generator))  # 3
    print(next(generator))  # raise StopIteration

More >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

性格内向安静腼腆的<br />小屁屁