91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

優(yōu)化企業(yè)數(shù)據(jù)處理效能:MySQL在大規(guī)模應(yīng)用中的頂尖實(shí)踐與案例分析

馬哥Linux運(yùn)維 ? 來(lái)源:馬哥Linux運(yùn)維 ? 2025-02-10 11:20 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

1.企業(yè)故障恢復(fù)案例

背景:
正在運(yùn)行的網(wǎng)站系統(tǒng),MySQL數(shù)據(jù)庫(kù),數(shù)據(jù)量25G,日業(yè)務(wù)增量10-15M。

備份策略:
每天23:00,計(jì)劃任務(wù)調(diào)用mysqldump執(zhí)行全備腳本

故障時(shí)間點(diǎn):
上午10點(diǎn)開(kāi)發(fā)人員誤刪除一個(gè)核心業(yè)務(wù)表,如何恢復(fù)?

思路:

1)停業(yè)務(wù)避免數(shù)據(jù)的二次傷害
2)找一個(gè)臨時(shí)的庫(kù),恢復(fù)前一天的全備
3)截取前一天23:00到第二天10點(diǎn)誤刪除之間的binlog,恢復(fù)到臨時(shí)庫(kù)
4)測(cè)試可用性和完整性
5)開(kāi)啟業(yè)務(wù)前的兩種方式

a.直接使用臨時(shí)庫(kù)頂替原生產(chǎn)庫(kù),前端應(yīng)用割接到新庫(kù)
b.將誤刪除的表單獨(dú)導(dǎo)出,然后導(dǎo)入到原生產(chǎn)環(huán)境

6)開(kāi)啟業(yè)務(wù)

模擬數(shù)據(jù)

#!/bin/bash

num=1
while true;do
  mysql -uroot -p123 -e "insert into proc.proc1 value($num);commit;"
  (( num++ ))
  sleep 1
done

備份

[root@db02 ~]# mysqldump -A -R --triggers --master-data=2 --single-transaction|gzip > /tmp/full_$(date +%F).sql.gz

模擬誤刪除數(shù)據(jù)

mysql> drop table proc.proc;

恢復(fù)思路

1)停業(yè)務(wù)避免數(shù)據(jù)的二次傷害
[root@db02 ~]# /etc/init.d/mysqld stop


2) 準(zhǔn)備新環(huán)境
[root@m01 scripts]# ./mysql_install_db --user=mysql --basedir=/application/mysql --datadir=/application/mysql/data
[root@m01 scripts]# /etc/init.d/mysqld start

3)找一個(gè)臨時(shí)的庫(kù),恢復(fù)前一天的全備
[root@db02 ~]# scp /tmp/full_2022-08-19.sql.gz 172.16.1.61:/tmp/
[root@m01 scripts]# zcat /tmp/full_2022-08-19.sql.gz |mysql


3)截取前一天23:00到第二天10點(diǎn)誤刪除之間的binlog,恢復(fù)到臨時(shí)庫(kù)
起始位置點(diǎn):
[root@db02 ~]# zcat /tmp/full_2022-08-19.sql.gz |head -25
-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000002', MASTER_LOG_POS=7138;


結(jié)束位置點(diǎn):42855

第二段起始位置點(diǎn):42975
第二段結(jié)束位置點(diǎn):58870

[root@db02 ~]# mysqlbinlog  --start-position=7138 --stop-position=42855 /application/mysql/data/mysql-bin.000002 > /tmp/inc1.sql
[root@db02 ~]# mysqlbinlog  --start-position=42975 --stop-position=58870 /application/mysql/data/mysql-bin.000002 > /tmp/inc2.sql
[root@db02 ~]# scp /tmp/inc* 172.16.1.61:/tmp/

4)測(cè)試可用性和完整性
5)開(kāi)啟業(yè)務(wù)前的兩種方式
a.直接使用臨時(shí)庫(kù)頂替原生產(chǎn)庫(kù),前端應(yīng)用割接到新庫(kù)
b.將誤刪除的表單獨(dú)導(dǎo)出,然后導(dǎo)入到原生產(chǎn)環(huán)境
6)開(kāi)啟業(yè)務(wù)

2.企業(yè)級(jí)增量恢復(fù)實(shí)戰(zhàn)

背景:
某大型網(wǎng)站,mysql數(shù)據(jù)庫(kù),數(shù)據(jù)量500G,每日更新量100M-200M

備份策略:
xtrabackup,每周六0:00進(jìn)行全備,周一到周五及周日00:00進(jìn)行增量備份。

故障場(chǎng)景:
周三下午2點(diǎn)出現(xiàn)數(shù)據(jù)庫(kù)意外刪除表操作。

如何恢復(fù)???

模擬數(shù)據(jù)

#!/bin/bash

num=1
while true;do
  mysql -uroot -p123 -e "insert into proc.proc1 value($num);commit;"
  (( num++ ))
  sleep 1
done

備份

## 上周六全備 周六 00點(diǎn) 備周一到周五數(shù)據(jù)
[root@db02 ~]# innobackupex --user=root --password=123 --no-timestamp /backup/full_$(date +%F)
[root@db02 ~]# cat /backup/full_2022-08-19/xtrabackup_checkpoints 
backup_type = full-backuped
from_lsn = 0
to_lsn = 2335986976
last_lsn = 2335986976
compact = 0
recover_binlog_info = 0


## 第一次增備 周日的00點(diǎn)  備的周六增量數(shù)據(jù)  周六00點(diǎn)之后到周日00點(diǎn)之前
[root@db02 ~]# innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir /backup/full_$(date +%F) /backup/inc_6
[root@db02 ~]# cat /backup/inc_6/xtrabackup_checkpoints 
backup_type = incremental
from_lsn = 2335986976
to_lsn = 2336208335
last_lsn = 2336223316
compact = 0
recover_binlog_info = 0


## 第二次增備 周一的00點(diǎn)  備的周日增量數(shù)據(jù)  周日00點(diǎn)之后到周一00點(diǎn)之前
[root@db02 ~]# innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir /backup/inc_6 /backup/inc_7
[root@db02 ~]# cat /backup/inc_7/xtrabackup_checkpoints 
backup_type = incremental
from_lsn = 2336208335
to_lsn = 2336236884
last_lsn = 2336249656
compact = 0
recover_binlog_info = 0


## 第三次增備 周二的00點(diǎn)  備的周一增量數(shù)據(jù)  周一00點(diǎn)之后到周二00點(diǎn)之前
[root@db02 ~]# innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir /backup/inc_7 /backup/inc_1
[root@db02 ~]# cat /backup/inc_1/xtrabackup_checkpoints 
backup_type = incremental
from_lsn = 2336236884
to_lsn = 2336264378
last_lsn = 2336264942
compact = 0
recover_binlog_info = 0


## 第四次增備 周三的00點(diǎn)  備的周二增量數(shù)據(jù)  周二00點(diǎn)之后到周三00點(diǎn)之前
[root@db02 ~]# innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir /backup/inc_1 /backup/inc_2
[root@db02 ~]# cat /backup/inc_2/xtrabackup_checkpoints 
backup_type = incremental
from_lsn = 2336264378
to_lsn = 2336273708
last_lsn = 2336273708
compact = 0
recover_binlog_info = 0



## binlog截取 周三00點(diǎn)之后到周三下午14點(diǎn)之間的數(shù)據(jù)

刪除數(shù)據(jù)

mysql> select * from ts;
+----+------+
| id | A    |
+----+------+
|  1 |  300 |
|  2 |  200 |
+----+------+


mysql> drop table test.ts;

恢復(fù)思路

1.停業(yè)務(wù),停庫(kù)
[root@db02 ~]# /etc/init.d/mysqld stop

2.準(zhǔn)備新環(huán)境

3.清空data目錄
[root@db02 ~]# mv /application/mysql/data/ /usr/local/src/

4.重做數(shù)據(jù)
1)全備只做redo不做undo
[root@db02 ~]# innobackupex --apply-log --redo-only /backup/full_2022-08-19/

2)周六的增量數(shù)據(jù)合并到full中只做redo不做undo
[root@db02 ~]# innobackupex --apply-log --redo-only --incremental-dir=/backup/inc_6 /backup/full_2022-08-19/

3)周日六的增量數(shù)據(jù)合并到full中只做redo不做undo
[root@db02 ~]# innobackupex --apply-log --redo-only --incremental-dir=/backup/inc_7 /backup/full_2022-08-19/

4)周一的增量數(shù)據(jù)合并到full中只做redo不做undo
[root@db02 ~]# innobackupex --apply-log --redo-only --incremental-dir=/backup/inc_1 /backup/full_2022-08-19/

5)周二的增量數(shù)據(jù)合并到full中redo和undo都做
[root@db02 ~]# innobackupex --apply-log --incremental-dir=/backup/inc_2 /backup/full_2022-08-19/

6)全備整體做一遍redo和undo
[root@db02 ~]# innobackupex --apply-log /backup/full_2022-08-19/

5.恢復(fù)數(shù)據(jù)
[root@db02 ~]# innobackupex --copy-back /backup/full_2022-08-19/

6.授權(quán)
[root@db02 ~]# chown -R mysql.mysql /application/mysql/data

7.啟動(dòng)數(shù)據(jù)庫(kù)
[root@db02 ~]# /etc/init.d/mysqld start


8.binlog截取 周三00點(diǎn)之后到周三下午14點(diǎn)之間的數(shù)據(jù)
第一段起始位置點(diǎn):184023
[root@db02 ~]# cat /backup/full_2022-08-19/xtrabackup_binlog_info 
mysql-bin.000003184023

[root@db02 ~]# mysqlbinlog -vvv --base64-output=decode-row /usr/local/src/data/mysql-bin.000003 |grep -i drop -C 5
第一段結(jié)束位置點(diǎn):200666

第二段起始位置點(diǎn):200781

[root@db02 ~]# mysqlbinlog -vvv --base64-output=decode-row /usr/local/src/data/mysql-bin.000003
第二段結(jié)束位置點(diǎn):205830


## 截取
[root@db02 ~]# mysqlbinlog --start-position=184023 --stop-position=200666 /usr/local/src/data/mysql-bin.000003 > /tmp/inc_1.sql
[root@db02 ~]# mysqlbinlog --start-position=200781 --stop-position=205830 /usr/local/src/data/mysql-bin.000003 > /t

鏈接:https://www.cnblogs.com/wangchengww/p/16603009.html

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 數(shù)據(jù)處理
    +關(guān)注

    關(guān)注

    0

    文章

    649

    瀏覽量

    29990
  • MySQL
    +關(guān)注

    關(guān)注

    1

    文章

    906

    瀏覽量

    29554

原文標(biāo)題:提升企業(yè)數(shù)據(jù)處理能力:MySQL在大規(guī)模應(yīng)用中的最佳實(shí)踐與案例解析

文章出處:【微信號(hào):magedu-Linux,微信公眾號(hào):馬哥Linux運(yùn)維】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    工業(yè)數(shù)據(jù)臺(tái)支持接入MySQL數(shù)據(jù)庫(kù)嗎

    工業(yè)數(shù)據(jù)臺(tái)完全支持接入MySQL數(shù)據(jù)庫(kù) ,且通過(guò)數(shù)據(jù)同步、集成與治理等技術(shù)手段,能夠充分發(fā)揮MySQL
    的頭像 發(fā)表于 12-04 11:23 ?381次閱讀
    工業(yè)<b class='flag-5'>數(shù)據(jù)</b><b class='flag-5'>中</b>臺(tái)支持接入<b class='flag-5'>MySQL</b><b class='flag-5'>數(shù)據(jù)</b>庫(kù)嗎

    MCU數(shù)據(jù)采集模塊的數(shù)據(jù)處理分析能力如何?

    MCU數(shù)據(jù)采集模塊的數(shù)據(jù)處理分析能力如何?現(xiàn)代化結(jié)構(gòu)物安全監(jiān)測(cè)領(lǐng)域,MCU數(shù)據(jù)采集模塊扮演著至關(guān)重要的角色。它不僅僅是
    的頭像 發(fā)表于 12-02 16:03 ?447次閱讀
    MCU<b class='flag-5'>數(shù)據(jù)</b>采集模塊的<b class='flag-5'>數(shù)據(jù)處理</b>和<b class='flag-5'>分析</b>能力如何?

    內(nèi)存與數(shù)據(jù)處理優(yōu)化藝術(shù)

    事務(wù)數(shù)量,更好地利用CPU緩存。測(cè)試表明,處理大量數(shù)據(jù)(如20MB)時(shí),這種優(yōu)化可能帶來(lái)數(shù)倍的性能提升。
    發(fā)表于 11-14 07:46

    弱信號(hào)樣品比表面與孔徑分析數(shù)據(jù)處理與增強(qiáng)技巧

    比表面與孔徑分析,弱信號(hào)樣品(如低比表面積材料、微量樣品或低孔隙率材料)因吸附信號(hào)微弱,易被背景干擾掩蓋,導(dǎo)致數(shù)據(jù)精度下降甚至無(wú)法準(zhǔn)確分析
    的頭像 發(fā)表于 10-29 09:32 ?297次閱讀
    弱信號(hào)樣品<b class='flag-5'>在</b>比表面與孔徑<b class='flag-5'>分析</b><b class='flag-5'>中</b>的<b class='flag-5'>數(shù)據(jù)處理</b>與增強(qiáng)技巧

    如何利用 AI 算法優(yōu)化碳化硅襯底 TTV 厚度測(cè)量數(shù)據(jù)處理

    碳化硅半導(dǎo)體制造,晶圓總厚度變化(TTV)是衡量襯底質(zhì)量的關(guān)鍵指標(biāo)。TTV 厚度測(cè)量數(shù)據(jù)處理的準(zhǔn)確性直接影響工藝優(yōu)化與產(chǎn)品良率。然而,測(cè)量數(shù)據(jù)常受環(huán)境噪聲、設(shè)備誤
    的頭像 發(fā)表于 08-25 14:06 ?660次閱讀
    如何利用 AI 算法<b class='flag-5'>優(yōu)化</b>碳化硅襯底 TTV 厚度測(cè)量<b class='flag-5'>數(shù)據(jù)處理</b>

    MySQL慢查詢終極優(yōu)化指南

    作為一名在生產(chǎn)環(huán)境摸爬滾打多年的運(yùn)維工程師,我見(jiàn)過(guò)太多因?yàn)槁樵儗?dǎo)致的線上故障。今天分享一套經(jīng)過(guò)實(shí)戰(zhàn)檢驗(yàn)的MySQL慢查詢分析與索引優(yōu)化方法論,幫你徹底解決數(shù)據(jù)庫(kù)性能瓶頸。
    的頭像 發(fā)表于 08-13 15:55 ?856次閱讀

    PCIe協(xié)議分析儀能測(cè)試哪些設(shè)備?

    場(chǎng)景:監(jiān)測(cè)GPU與主機(jī)之間的PCIe通信,分析數(shù)據(jù)傳輸效率、延遲和帶寬利用率。 應(yīng)用價(jià)值:優(yōu)化大規(guī)模AI訓(xùn)練任務(wù)的數(shù)據(jù)加載和模型參數(shù)同步,例
    發(fā)表于 07-25 14:09

    MySQL 8.0性能優(yōu)化實(shí)戰(zhàn)指南

    作為一名運(yùn)維工程師,MySQL數(shù)據(jù)庫(kù)優(yōu)化是我們?nèi)粘9ぷ髦凶罹咛魬?zhàn)性的任務(wù)之一。MySQL 8.0作為當(dāng)前主流版本,性能、安全性和功能上都有
    的頭像 發(fā)表于 07-24 11:48 ?863次閱讀

    電商API的實(shí)時(shí)數(shù)據(jù)處理

    ? 現(xiàn)代電商平臺(tái)中,API(應(yīng)用程序接口)扮演著核心角色,它連接用戶、商家和后臺(tái)系統(tǒng),實(shí)現(xiàn)數(shù)據(jù)的高效交換。隨著電商業(yè)務(wù)規(guī)模的擴(kuò)大,實(shí)時(shí)數(shù)據(jù)處理變得至關(guān)重要——它要求系統(tǒng)
    的頭像 發(fā)表于 07-23 15:39 ?582次閱讀
    電商API的實(shí)時(shí)<b class='flag-5'>數(shù)據(jù)處理</b>

    使用NVIDIA GPU加速Apache SparkParquet數(shù)據(jù)掃描

    隨著各行各業(yè)的企業(yè)數(shù)據(jù)規(guī)模不斷增長(zhǎng),Apache Parquet 已經(jīng)成為了一種主流數(shù)據(jù)存儲(chǔ)格式。Apache Parquet 是一種列式存儲(chǔ)格式,專為高效的
    的頭像 發(fā)表于 07-23 10:52 ?1050次閱讀
    使用NVIDIA GPU加速Apache Spark<b class='flag-5'>中</b>Parquet<b class='flag-5'>數(shù)據(jù)</b>掃描

    MySQL數(shù)據(jù)備份與恢復(fù)策略

    數(shù)據(jù)企業(yè)的核心資產(chǎn),MySQL作為主流的關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng),其數(shù)據(jù)的安全性和可靠性至關(guān)重要。本文將深入探討
    的頭像 發(fā)表于 07-14 11:11 ?743次閱讀

    抖音電商 API 接口和傳統(tǒng)電商接口,直播數(shù)據(jù)處理誰(shuí)更快?

    ? 直播電商蓬勃發(fā)展的今天,數(shù)據(jù)處理速度成為平臺(tái)競(jìng)爭(zhēng)力的關(guān)鍵。抖音電商作為新興力量,其API接口針對(duì)直播場(chǎng)景進(jìn)行了優(yōu)化,而傳統(tǒng)電商接口則基于通用模型設(shè)計(jì)。本文將逐步分析兩者的
    的頭像 發(fā)表于 07-09 15:39 ?688次閱讀
    抖音電商 API 接口和傳統(tǒng)電商接口,直播<b class='flag-5'>數(shù)據(jù)處理</b>誰(shuí)更快?

    企業(yè)級(jí)MySQL數(shù)據(jù)庫(kù)管理指南

    在當(dāng)今數(shù)字化時(shí)代,MySQL作為全球最受歡迎的開(kāi)源關(guān)系型數(shù)據(jù)庫(kù),承載著企業(yè)核心業(yè)務(wù)數(shù)據(jù)的存儲(chǔ)與處理。作為
    的頭像 發(fā)表于 07-09 09:50 ?734次閱讀

    偉創(chuàng)力高效電源模塊大規(guī)模數(shù)據(jù)中心的應(yīng)用

    受云端存儲(chǔ)和數(shù)據(jù)處理需求持續(xù)增長(zhǎng)的推動(dòng),數(shù)據(jù)中心正以前所未有的速度擴(kuò)張。當(dāng)前全球超大規(guī)模數(shù)據(jù)中心,即規(guī)模最大的那些數(shù)據(jù)中心,總?cè)萘吭谶^(guò)去四年
    的頭像 發(fā)表于 07-07 15:41 ?1268次閱讀

    自來(lái)水廠數(shù)據(jù)臺(tái):設(shè)備數(shù)據(jù)輕松轉(zhuǎn)發(fā)至MySQL數(shù)據(jù)庫(kù)

    隨著供水規(guī)模的不斷擴(kuò)大,自來(lái)水廠面臨著海量設(shè)備數(shù)據(jù)處理難題。以往,各個(gè)系統(tǒng)相互獨(dú)立,形成了一個(gè)個(gè)數(shù)據(jù)孤島,數(shù)據(jù)的統(tǒng)計(jì)、
    的頭像 發(fā)表于 04-22 13:54 ?542次閱讀