logo头像

Always believe youself.

数据库

数据库中断

在HikariCP的官方文档上,记载了关于对比主流数据库连接池数据库中断的测试情况,这是针对各种数据库连接池都提供的超时功能的测试对比。 这个测试实验模拟了这样一个场景,将数据库连接池执行getConnection()在5秒的调用后超...

mysql监控及配置

MySQL CPU高排障流程 实例规格低,无法满足业务发展;现象:从监控看,业务高峰期间cpu高/活跃连接高,简单sql很多进入慢查询。解决方案:需要提升规格(用户在控制台自行操作)。 业务sql写的有问题,比如走了全表扫描/索引不合...

redis适用规范

一、键名设计 1、 key名设计 2、 value设计 二、命令使用 三、缓存设计 四、场景实战问题 1、项目redis使用问题 2、慎用laravel自带的cache功能 3、注意key的过期时间设置 4、小心缓存穿透 5、慎...

clickhouse分析

简介ClickHouse 是一个用于联机分析 (OLAP) 的列式数据库管理系统 (DBMS)。它具有 ROLAP、在线实时查询、完整的 DBMS 功能支持、列式存储、不需要任何数据预处理、支持批量更新、拥有非常完善的 SQL 支持和...

clickhouse索引详解

介绍官网给的介绍案例是以(CounterID、Date)这2个键来建立索引,间隔地生成了一个Marks,例如(a,1),(a,2);根据Marks又生成了相应的Marks numbers。 那么”8192”这个index_granul...

MongoDB大量数据清理方法

方法TTL IndexTTL index是一种带有过期时间属性的索引,在时间类型的字段上(确定的值或者时间数组),数据插入的时候会根据索引字段的值确定数据保留时间,当超时后,mongodb后台线程会自动清理过期的文档,默认每60秒线程...

clickhouse性能

性能ClickHouse表现出了比同类可比较产品更优的性能。 单个大查询的吞吐量吞吐量可以使用每秒处理的行数或每秒处理的字节数来衡量。如果数据被放置在page cache中,则一个不太复杂的查询在单个服务器上大约能够以2-10GB...

clickhouse特性

clickhouse 特性真正的列式数据库管理系真正的列式数据库管理系统中,除了数据本身外不应该存在其他额外的数据。 意味着为了避免在值旁边存储它们的长度«number»,你必须支持固定长度数值类型。 ClickHouse不单单是一个...

MySQL索引背后的数据结构及算法原理-转

转自: http://blog.codinglabs.org/articles/theory-of-mysql-index.html MySQL索引背后的数据结构及算法原理 MySQL 数据库支持多种类型的索引: BTree 索引...

大数据操作删除和去重

大数据操作:删除和去重 一些看似简单的数据操作,当作用于海量数据集时,就会出现“意料之外,却在情理之中”的问题,海量数据操作,需要采用特殊方法,才能“曲径通幽”。在删除海量数据时,需要注意日志的增长,索引碎片的增加和数据库的恢复模式,...

redis实现队列,延时队列

消息队列redis中实现消息队列的几种方案。 基于List的 LPUSH+BRPOP 的实现 PUB/SUB,订阅/发布模式 基于Sorted-Set的实现 基于Stream类型的实现 基于Listlpop/rpop 操...

分库分表就能无限扩容吗

演化之路 单体应用 每个创业公司基本都是从类似 SSM 和 SSH 这种架构。 RPC 应用 当业务越来越大,我们需要对服务进行水平扩容,扩容很简单,只要保证服务是无状态的就可以了 业务又越来越大,我们的服务关系错综复杂,同时,有...

TiDB总结

TiDB 介绍及整体架构TiDB 是什么?TiDB 是一个分布式 NewSQL 数据库。它支持水平弹性扩展、ACID 事务、标准 SQL、MySQL 语法和 MySQL 协议,具有数据强一致的高可用特性,是一个不仅适合 OLTP 场景...

TiDB入门-3

TiDB 5.05.0 版本中,专注数据库快速构建应用程序,无需担心性能,性能抖动,安全,高可用,容灾,SQL语句的性能问题排查问题。 在 5.0 版本中,可以获得以下关键特性: TiDB 通过 TiFlash 节点引入了 MPP ...

TiDB入门-2

TiDB 数据库的计算TiDB 在 TiKV 提供的分布式存储能力基础上,构建了兼具优异的交易处理能力与良好的数据分析能力的计算引擎。 表数据与 Key-Value 的映射关系TiDB 中数据到 (Key, Value) 键值对的映射...

TiDB入门-1

前言TiDB 是一个兼容MySQL 协议和语法的分布式数据库,但是由于其内部实现,特别是支持分布式存储以及分布式事务,使得一些使用方法和Mysql 有所区别。 TiDB 是pingCAP 公司自主设计,研发的开源分布式关系型数据库,是...

转-什么是缓存雪崩,缓存击穿,缓存穿透

缓存雪崩什么是缓存雪崩?当某一个时刻出现大规模的缓存失效的情况,那么就会导致大量的请求直接打在数据库上面,导致数据库压力巨大,如果在高并发的情况下,可能瞬间就会导致数据库宕机。这时候如果运维马上又重启数据库,马上又会有新的流量把数据库...

clickHouse入门

什么是ClickHouseClickHouse 是一个用于联机分析(OLAP)的列式数据库管理系统。 存储结构: 来自不同列的值被单独存储,来自同一列的数据被存储在一起。 常见的列式数据库: Vertica : Vertica是一款基...

es比mysql快-转

转 Elasticsearch原理学习–为什么Elasticsearch/Lucene检索可以比MySQL快? 同样都可以对数据构建索引并通过索引查询数据,为什么Lucene 或基于 ElasticSearch会比关系型数据库,比...

redis扫盲

Redis 是一个key-value存储系统,高性能的k-v数据库。Redis 是一个开源的使用ANSI C语言编写,遵守BSD协议,支持网络,可基于内存,亦可持久化的日志型、key-value数据库,并提供多种语言的API。它通...

limit和offset

Mysql limit offset 用法示例:示例代码: 1234567语句1 : select * from users limit 10,4; > limit start, count 返回users 的第 11,12,...

分库分表

转自 http://www.cnblogs.com/405845829qq/p/7552736.html数据库架构演变刚开始我们只用单机数据库就够了,随后面对越来越多的请求,我们将数据库的写操作和读操作进行分离, 使用多个从库副本(S...

转-MySQL

MYSQL要点登陆Mysqlmysql -D 选择数据库 mysql > exit quit \q 都是退出 mysql > status; select version() 当前mysql的version的信息 my...

入门图数据库

图数据库什么是图数据库?图数据库用图来存储数据,是最接近高性能的一种用于存储数据的数据结构方式之一。 图数据库名字的由来其实与其在底层的存储方式有关,把用户定义的节点以及关系存储起来,通过这种方式,可是高效的实现从某个节点开始,通过节...

初识拉链表

做程序这么久了,其实在数据库这方面一直是一个菜鸟。以前学的东西比较多,学完之后也用不到慢慢的就遗忘了,业务中用到的也是最基本的,就是增删查改,所以一直在这方面也没什么进展。以前公司业务中数据库都是前辈们设计好的,有一些也是比较复杂的,...

redis 基础

Redis 简介REmote DIctionary Server(Redis) 是一个由Salvatore Sanfilippo写的key-value存储系统。 Redis是一个开源的使用ANSI C语言编写、遵守BSD协议、支持网络...

MySQL explain 了解

explain显示了mysql如何使用索引来处理select语句以及连接表。可以帮助选择更好的索引和写出更优化的查询语句。先解析一条sql语句,看出现什么内容: EXPLAIN SELECT s.uid,s.username,s.na...

MongoDB查询详解

基本查询:构造查询数据。 db.test.findOne(){ "_id" : ObjectId("4fd58ecbb9ac507e96276f1a"), "name" ...