什么是独立开发者开发者社区论坛

　　数据是企查查营业的中心，需求对海量数据停止洗濯、阐发、发掘，才气充实隔释数据代价

　　数据是企查查营业的中心，需求对海量数据停止洗濯、阐发、发掘，才气充实隔释数据代价。在引入 TiDB 之前，企查查利用 MySQL 数据库。MySQL 是一款受欢送的开源干系型数据库，但存在单机机能瓶颈开辟者社区论坛。当数据量到达必然范围后，垂直扩容只能有限提拔机能，在高并发写入和庞大 SQL 查询等场景下，机能会遭到单机机能的限定。

　　TiDB 使用于企查查数据中台体系，笼盖了从数据收罗到数据洗濯全部流程，供给数据的存储和查询。企查查将本来的 20 多套 MySQL 数据库开辟者社区论坛，交换成如今的 2 套 TiDB 集群。在数据洗濯流程中，企查查利用 TiDB 自带的数据同步东西 TiCDC 将数据同步到下流其他的数据库和 kafka 中。今朝，同步的表累计近千张甚么是自力开辟者。数据收罗到数据洗濯的数据流转，则是经由过程 TiCDC 捕获变动数据同步到 Kafka 中完成的。别的，企查查利用了 TiCDC 中的 CommitTs 特征，经由过程数据鄙人游更新前的悲观锁掌握，包管数据的分歧性。

　　TiDB 的社区论坛十分活泼，企查查提的成绩很快就会获得其他成员的复兴。社区每隔几分钟就有人提出成绩或复兴成绩。别的，另有很多手艺喜好者撰写了博客和手艺文章，这对企查查一样平常处理 TiDB 手艺成绩十分有协助爬虫开发。企查查还参与了 TiDB 社区的线下举动。各人积极讲话，分享利用 TiDB 过程当中的经历和碰到的成绩。TiDB 社区构造者也能很好地记载成绩并采用开辟者的倡议。这类开放通明的社区互动，让企查查感应利用 TiDB 很定心。

　　营业写入到数据库中的数据需求颠末 Flink 停止洗濯。TiDB 大数据的开源生态协同比力好，这也为企查查利用 TiCDC 供给了便当。经由过程 TiCDC 将 TiDB 的数据同步到 kafka 中，一方面便利 Flink 停止洗濯；另外一方面，其他下流的数据平台能够从 kafka 中消耗数据，便利灵敏。

　　TiDB 的周边东西十分优良，特别是监控系统。TiDB 的监控系统接纳了 Prometheus + Grafana + Alertmanager 等通用组件设想，这使得 TiDB 的监控系统可以无缝融入到企查查企业的监控诉警系统中，十分便利。别的，TiDB 的监控系统十分片面，笼盖了体系运转中的各个环节，便于排查成绩。TiDB 的高低流数据迁徙和同步东西也比力成熟，出格是 TiCDC 东西。TiCDC 撑持将 TiDB 中的数据同步到 Kafka 中，且撑持 commitTS 的特征开辟者社区论坛，包管了数据的分歧性。TiDB 的备份和规复东西也比力片面，撑持逻辑备份（dumpling）和物理备份（BR），且不需求中止营业。在备份过程当中，TiDB 可按照散布式节点的才能并行施行备份使命，服从相较 MySQL 单机备份大幅提拔。

　　由于 MySQL 存在的诸多成绩，企查查火急需求寻觅一种兼容 MySQL 和谈、且能处理上述成绩的数据库。TiDB 在 MySQL 兼容性方面表示超卓，可以兼容绝大大都 MySQL 语法和函数，包罗 MySQL 生态的相干东西也都默许撑持。别的，TiDB 在利用体验上与 MySQL 险些没有差别，关于企查查这些 MySQL 根底的 DBA 来讲爬虫开发，切换到 TiDB 险些不需求进修本钱，十分密切。

　　因为 MySQL 是单机数据库，在营业不中止的状况下，只能接纳热备。可是，跟着数据量的增加，MySQL 的热备操纵会变得愈来愈慢，对数据库的机能发生较大影响。别的，热备数据的规复速率也较慢。在企查查的数据流向中甚么是自力开辟者，爬虫收罗到的数据需求先存储到数据库中，然后再由 Flink 停止洗濯甚么是自力开辟者。因为 MySQL 不撑持将数据间接送达到 Flink，因而需求经由过程 Flink 来读写数据库，这对 MySQL 库发生了较大的压力。

　　企查查是一家专注于企业信誉信息效劳的科技公司，依托大数据、野生智能等手艺，为企业供给片面甚么是自力开辟者、精确、实时的企业信誉信息，助力企业降本增效、风险防控。2023 年 5 月，企查查正式公布环球首款商查大模子——“知彼阿尔法”。该模子基于企查查笼盖的环球企业信誉数据停止锻炼，可觉得司法、金融、风控、政务等人士供给度数据效劳。

　　TiDB 与高低流的数据生态兼容性优良，在接入端撑持尺度的 JDBC 写入，源真个数据能够间接写入到 TiDB，就像写 MySQL 一样简朴。在出口端，TiDB 既能够经由过程 TiCDC 将数据分发到下流的 Kafka，并经由过程 CommitTS 特征包管营业数据的分歧性，也能够经由过程尺度接口将数据同步到下流的大数据平台，进步了企业数据的流转服从，盘活了数据资产。

　　企查查将 TiDB 的部门数据同步到 ES 体系中，为 ES 体系供给数据滥觞，供一些检索场景的使用利用。关于离线数据，企查查利用 Chunjun/Seatunnel 同步东西将其同步到 Hive 离线数据平台中，供下流的离线数据平台跑批。今朝，企查查正在调研 TiFlash 的功用，方案本年将部门庞大的离线查询从 Hive 迁徙到 TiDB 中，间接从 TiDB 中查询，以削减数据在多个数据栈中流转，进一步提拔数据的及时性。

　　2019 年末，企查查经由过程 TiDB 社区打仗到 TiDB，并对其发生了浓重的爱好。颠末比照选型测试，企查查挑选了 TiDB 数据库，分离 Flink 场景的需求，构建了 Flink+TiDB 的及时数仓框架甚么是自力开辟者，使用于企查查数据中台。企查查挑选 TiDB 的次要缘故原由有：

　　在兼容 MySQL 和谈的条件下，企查查需求一款能灵敏程度扩大的散布式数据库满意营业开展的请求。企查查其时对分库分表类的散布式数据库停止了比照测试，发明对使用的开辟侵入很大，且扩大性受限。TiDB 接纳原生散布式数据库架构，基于 Spanner 和 F1 的论文设想。TiDB 的存储和计较别离，无中间化节点，撑持随便扩缩容，撑持散布式事件。别的，TiDB 的数据存储基于 Raft 共鸣算法爬虫开发，数据分片无需营业事前规分别片键，默许 3 个副本，包管了数据的高可用。TiDB 集群中的每一个组件都做到了高可用设想，包管了效劳的高可用。

　　TiDB 7.1 版本引入了 Resource Control（资本管控）特征，企查查疾速晋级到该版本。在晋级后，企查核对查询平台中的一般法式账号不断止资本管控，以包管其资本获得保证；非法式账号停止部门资本管控，以避免其过量的耗损资本影响一般法式账号的查询服从。如许，企查查将差别范例的营业整合到一个 TiDB 集群中，提拔了资本操纵率，低落了 30% 的投入本钱。别的，TiDB 的资本管控功用供给了多视角的监控，能够明晰天文解各个营业模块的资本利用状况。

　　TiDB 集群的散布式读写才能远超 MySQL，不管是从源真个爬虫写入 TiDB，仍是 Flink 洗濯后的数据写入，TiDB 都可以满意营业需求。分离 Flink 的及时计较才能，TiDB 能够包管数据的及时性。别的，TiDB 各节点并行读取数据的才能，大大提拔了数据的分发查询才能爬虫开发，让数据代价得以在线化。