跳到主要內容

Linux-- rsync 同步複製指令


原本四個地點的Oracle DB用NFS相互做異地備援的機制,但是NFS會全部複製,

以致網路被大量的備份封包佔住,而且一次就要四、五個小時,大夜班使用ERP就變慢了。

而且在資料量不斷的成長之下,備份的時間就越來越長。

因此使用rsync 同步複製指令,只有異動的部份會被更新,減少傳輸的時間。

而且rsync還可以指定傳輸的速度,真是太好用了。

官田範例:

#!/bin/sh

date > /backup/rsync.log


echo "------------------------------------------------" >> /backup/rsync.log

rsync -v --rsh=ssh --bwlimit=512 --timeout=300 /backup/ntkbr06.dmp root@192.168.2.3:/ora2/
backup/export/ >> /backup/rsync.log 2>&1

echo "------------------------------------------------" >> /backup/rsync.log

date >> /oracle/rman/log/rsync.log





參數:

-h , --help                      顯示rsync求助資訊。
                           
     --version                   顯示rsync版本。
                           
     -v , --verbose            複雜的輸出訊息。
                           
     -q , --quiet                安靜模式,幾乎沒有訊息產生.常用在以cron執行rsync。
                           
     -I, --ignore-times       通常rsync為了加快速度會忽略同樣檔案大小且同樣存取時間點的檔案。
                                     可以透過此參數關閉此快速檢查。

     --size-only                 rsync只檢查檔案大小是否改變,不管時間存取點是否改變。
                                     通常用在mirror,且對方時間不太正確時。
                           
    -c, --checksum            在傳送之前透過128bit的md4檢查碼來檢查所有要傳送的檔案.(會拖慢速度)
                           
    -a, --archive                archive mode 權限保存模式,相當於 -rlptgoD 參數。
                                     很快速的保存幾乎所有的權限設定,除了硬式連結(透過-H設定)。
                           
    -r, --recursive             複製所有下層的資料(遞迴)
                           
    -R, --relative              使用相對路徑
                                     如: rsync foo/bar/foo.c remote:/tmp/     在遠端產生/tmp/foo.c檔案
                                     rsync -R foo/bar/foo.c remote:/tmp/  在遠端產生/tmp/foo/bar/foo.c 檔案

    -R, --relative               不使用相對路徑
                           
    -b, --backup                目的地端先前已經存在的檔案在傳輸或刪除前會被備份

         --backup-dir=DIR    設定備份的資料夾

         --suffix=SUFFIX    指定備份的檔案名稱字尾形式(預設為~)
     
    -K, --keep-dirlinks       接收方將連結到資料夾的檔案視為資料夾處理
 
    -l, --links      複製所有的連結

    -H, --hard-links            保留硬式連結
 
    -p, --perms       保留檔案權限
                     
    -o, --owner       保留檔案擁有者(root only)
                     
    -g, --group       保留檔案群組

    -D, --devices                保留device資訊(root only)
                           
    -t, --times                    保留時間點
                           
    -n, --dry-run                不實際執行傳送,只顯示將會有的傳輸動作
                           
    -S, --sparse                  嘗試去處理稀疏的檔案,讓這些檔案在目的端佔去較少的磁碟空間
                           
    -W, --whole-file           複製所有的檔案,不額外作檢查

        --no-whole-file         關閉 --whole-file 參數
     
    -x, --one-file-system      不要跨越檔案系統分界(只在一個檔案系統處理)
                           
    -B, --block-size=SIZE    強制透過rsync程式去比對修復block-sizeforce
                           
    -e  --rsh=COMMAND    定義所使用的remote shell
     
        --rsync-path=PATH    定義rsync在遠端機器存放資料的路徑
                           
        --existing                   只比對更新目的端已經存在的檔案
                           
        --ignore-existing        忽略目的端已經存在的檔案(也就是不更新)
                           
        --delete                     刪除傳送端已經不存在,而目的端存在的檔案
                           
        --delete-excluded       除了把傳送端已經不存在,而目的端存在的檔案刪除之外,
                                       也刪除 --exclude 參數所包含的檔案
                           
        --delete-after            rsync預設會在檔案傳送前進行相關刪除動作確保接收端有足夠的檔案空間,
                                      但可以透過 --delete-after 讓刪除動作在檔案傳送後再行刪除
                           
        --ignore-errors         忽略任何錯誤既使是I/O error 也進行 --delete 刪除動作.
                           
        --max-delete=NUM     定義rsync不要刪除超過 NUM 個檔案.
                           
        --partial                   rsync若遇到傳輸過程中斷時,會把那些已經傳輸的檔案刪除
                                      在某種狀況下保留那些部分傳送的檔案是令人高興的
                                      你可以透過 --partial 參數達到這個目的
     
        --partial-dir=DIR    在 --partial 參數啟動時,你還可以定義rsync把那些部分傳送的檔案
                                     寫入定義的資料夾,而非直接寫入目的端.需要注意的是,
                                     此資料夾不應該被其他使用者可以寫入.(如:/tmp)
                           
        --force                   當目的端資料夾被傳送端非資料夾名稱覆蓋時,強制rsync刪除資料夾,
                                     即使該資料夾不是空的.
     
        --numeric-ids          不將傳送端檔案的uid及gid值,與目的端的使用者/群組進行配對.
                                     若傳送端並沒有uid及gid的對應名稱(如:原帳號群組被刪除的遺留檔案),
                                     或目的端沒有相對應的帳號/群組,保留數字型態的uid/gid
                           
        --timeout=TIMEOUT    設定 I/O 逾時的時間(秒). 超過這個秒數而沒有資料傳送,rsync將會結束.
                                            預設為0,也就是沒有定義逾時時間

    -T, --temp-dir=DIR       定義rsync在接收端產生暫時性的複製檔案時使用資料夾暫存.
                                       預設是直接在接收端資料夾直接產生暫存檔案
                           
        --compare-dest=DIR   定義rsync在目的端建立資料夾來比對傳送過來的檔案.      
                           
        --link-dest=DIR          與 --compare-dest 相同,但同時會針對無法改變的檔案建立硬式連結.

    -z, --compress                壓縮模式,當資料在傳送到目的端進行檔案壓縮.

    -P                                 -P參數和 --partial --progress 相同.只是為了把參數簡單化.

    -C, --cvs-exclude           排除那些通常不希望傳送的檔案.定義的方式與CVS傳送相同:
                                        RCS SCCS CVS  CVS.adm  RCSLOG  cvslog.*  tags  TAGS  .make.state
                                        .nse_depinfo  *~ #* .#* ,* _$* *$ *.old *.bak *.BAK *.orig *.rej
                                        .del-* *.a *.olb *.o *.obj *.so *.exe *.Z *.elc *.ln core .svn/
                                        符合以上條件的都會被忽略而不傳送        
     
        --exclude=PATTER     符合PATTERN(規則表示式)樣式的檔案不進行傳送
     
        --exclude-from=FILE  和--exclude參數相同,不過是把不進行傳送的檔案事先寫入某一檔案.
                                         執行時,透過此參數讓rsync讀取.
                                         (; #開頭的行列或空白行會被rsync忽略)
     
        --include=PATTERN    定義rsync不要排除符合pattern樣式的檔案.
     
        --include-from=FILE    和--include參數相同,只不過把要包含的檔案寫到某一檔案.
     
        --files-from=FILE        把要傳送的檔案名稱都精確的寫入某一檔案,讓rsync讀取.
                                           如: rsync -a --files-from=/tmp/foo /usr remote:/backup

    -0  --from0                      定義檔案所要讀取的檔案是null字元結尾
     
        --version                      顯示版本訊息
     
        --daemon                     定義rsync以daemon型態執行
     
        --no-detach                   當以daemon型態執行時,不要進行分裂且變成背景程序
     
        --address=ADDRESS    定義所要連結(bind)的ip位址或是host名稱(daemon限定)
     
        --config=FILE              定義所要讀取的設定檔rsyncd.conf位置(daemon限定)
                                           預設值為 /usr/local/etc/rsyncd.conf
     
        --port=PORT                定義rsyncd(daemon)要執行的port(預設為tcp 873)                  
     
        --blocking-io                 使用blocking I/O連結遠端的shell,如rsh , remsh
     
        --no-blocking-io            使用non-blocking連結遠端的shell,如ssh (預設值)
     
        --stats                           顯示檔案傳送時的資訊狀態
     
        --progress                     顯示傳送的進度.(給檔案傳送時,怕無聊的人用的..)
     
        --log-format=FORMAT  定義log的格式(在rsyncd.conf設定)
     
        --password-file=FILE     從檔案讀取與遠端rsync伺服器連結的密碼
     
        --bwlimit=KBPS             定義傳輸頻寬的大小(KBytes/秒)
     
        --write-batch=FILE        把紀錄資料寫入一個檔案(給其他相同環境且相同需求的機器使用)
     
        --read-batch=FILE         透過讀取紀錄檔案來進行傳輸.(檔案由 --write-batch 參數產生)
     
        --checksum-seed=NUM  定義檔案 checksum-seed 的大小(byte)
     
        -4  --ipv4                      使用IPv4協定

        -6  --ipv6                      使用IPv6協定


(資料來源:http://ohaha.ks.edu.tw/old_site/rsyncd.htm)

留言

這個網誌中的熱門文章

Line如何換行

在電腦版的Line輸入文字時,遇到需要換行的情形時,我都是用記事本先寫好再複製上去,這樣就可以有換行的效果,可是這樣的做法好像失去Line的便利性。 於是查了一下,原來有一個設定可以指定Enter換行,而不是發訊息出去。 完成設定之後,要發送訊息就改用Alt+Enter,而Enter就可以換行了。

在Windows下,利用tasklist與taskkill來刪除Process

Windows7 / Windows8 kill process Linux下要刪除某個程序通常會使用 ps 配合 kill 來刪除程序。 例如:ps -ef |grep [PROCESS NAME]       kill -9 [PID] 在Windows下,通常是開啟工作管理員來強制結束應用程式,但是如果要寫成Script,就必須改為命令式。 TASKLIST [/S system [/U username [/P [password]]]]          [/M [module] | /SVC | /V] [/FI filter] [/FO format] [/NH]           TASKKILL [/S system [/U username [/P [password]]]]          { [/FI filter] [/PID processid | /IM imagename] } [/T] [/F]           (Tasklist:查詢Process ; Taskkill:刪除Process)           例如要刪除已開啟的記事本(notepad): 1、查詢記事本的Process訊息     C:\> tasklist |find /i "notepad.exe"     notepad.exe      6092 Console     1     5,832 K 2、由上得知記事本的PID為6092     C:\> taskkill /f /PID 6092     成功:處理程序 PID 6092 已經終止了。     taskkill使用的參數     /f:指定此參數可強制終止處理程序     /PID:指定要終止之處理程序的 PID      3、也可以直接以程式名稱刪除     C:\ taskkill /f /im notepad.exe     成功:處理程序 "notepad.exe" <PID 6092> 已經終止了      下面是我自己測試的Script,可以刪除多個相同的程式,例如同時開啟了三個記事本: @echo off for /f &quo

Win 10 工作排程無法執行bat批次檔

利用Win 10的工作排程器來設定每日自動執行的批次檔,單獨執行批次檔沒問題,但是放在排程上就是無法執行。 後來試了幾種網路上提供的方式,其注意的事項如下: 1、在「安全性選項」選擇「只有使用者登入時才執行」並取消「以最高權限執行」。 2、在「設定」中選擇「Windows 10」 3、批次檔內的執行檔需以完整的路徑執行,或設定PATH路徑。 3、批次檔中如果帶有中文的路徑,則文字編碼類型必需是ANSI碼,       我的批次檔一開始就是UTF-8碼,但是單獨執行沒有問題,排程上就是有問題,       最後在批次檔中加入暫停指令pause才發現的。 4、如果想選擇「不論使用者登入與否均執行」,則在「設定」必須選擇「Windows Server 2003、Windows XP或Windows 2000」,    但是上述的選項只有在新增工作程程時才會出現,原有的工作排程是不會有此選項