跳到主要內容

Linux-- rsync 同步複製指令


原本四個地點的Oracle DB用NFS相互做異地備援的機制,但是NFS會全部複製,

以致網路被大量的備份封包佔住,而且一次就要四、五個小時,大夜班使用ERP就變慢了。

而且在資料量不斷的成長之下,備份的時間就越來越長。

因此使用rsync 同步複製指令,只有異動的部份會被更新,減少傳輸的時間。

而且rsync還可以指定傳輸的速度,真是太好用了。

官田範例:

#!/bin/sh

date > /backup/rsync.log


echo "------------------------------------------------" >> /backup/rsync.log

rsync -v --rsh=ssh --bwlimit=512 --timeout=300 /backup/ntkbr06.dmp root@192.168.2.3:/ora2/
backup/export/ >> /backup/rsync.log 2>&1

echo "------------------------------------------------" >> /backup/rsync.log

date >> /oracle/rman/log/rsync.log





參數:

-h , --help                      顯示rsync求助資訊。
                           
     --version                   顯示rsync版本。
                           
     -v , --verbose            複雜的輸出訊息。
                           
     -q , --quiet                安靜模式,幾乎沒有訊息產生.常用在以cron執行rsync。
                           
     -I, --ignore-times       通常rsync為了加快速度會忽略同樣檔案大小且同樣存取時間點的檔案。
                                     可以透過此參數關閉此快速檢查。

     --size-only                 rsync只檢查檔案大小是否改變,不管時間存取點是否改變。
                                     通常用在mirror,且對方時間不太正確時。
                           
    -c, --checksum            在傳送之前透過128bit的md4檢查碼來檢查所有要傳送的檔案.(會拖慢速度)
                           
    -a, --archive                archive mode 權限保存模式,相當於 -rlptgoD 參數。
                                     很快速的保存幾乎所有的權限設定,除了硬式連結(透過-H設定)。
                           
    -r, --recursive             複製所有下層的資料(遞迴)
                           
    -R, --relative              使用相對路徑
                                     如: rsync foo/bar/foo.c remote:/tmp/     在遠端產生/tmp/foo.c檔案
                                     rsync -R foo/bar/foo.c remote:/tmp/  在遠端產生/tmp/foo/bar/foo.c 檔案

    -R, --relative               不使用相對路徑
                           
    -b, --backup                目的地端先前已經存在的檔案在傳輸或刪除前會被備份

         --backup-dir=DIR    設定備份的資料夾

         --suffix=SUFFIX    指定備份的檔案名稱字尾形式(預設為~)
     
    -K, --keep-dirlinks       接收方將連結到資料夾的檔案視為資料夾處理
 
    -l, --links      複製所有的連結

    -H, --hard-links            保留硬式連結
 
    -p, --perms       保留檔案權限
                     
    -o, --owner       保留檔案擁有者(root only)
                     
    -g, --group       保留檔案群組

    -D, --devices                保留device資訊(root only)
                           
    -t, --times                    保留時間點
                           
    -n, --dry-run                不實際執行傳送,只顯示將會有的傳輸動作
                           
    -S, --sparse                  嘗試去處理稀疏的檔案,讓這些檔案在目的端佔去較少的磁碟空間
                           
    -W, --whole-file           複製所有的檔案,不額外作檢查

        --no-whole-file         關閉 --whole-file 參數
     
    -x, --one-file-system      不要跨越檔案系統分界(只在一個檔案系統處理)
                           
    -B, --block-size=SIZE    強制透過rsync程式去比對修復block-sizeforce
                           
    -e  --rsh=COMMAND    定義所使用的remote shell
     
        --rsync-path=PATH    定義rsync在遠端機器存放資料的路徑
                           
        --existing                   只比對更新目的端已經存在的檔案
                           
        --ignore-existing        忽略目的端已經存在的檔案(也就是不更新)
                           
        --delete                     刪除傳送端已經不存在,而目的端存在的檔案
                           
        --delete-excluded       除了把傳送端已經不存在,而目的端存在的檔案刪除之外,
                                       也刪除 --exclude 參數所包含的檔案
                           
        --delete-after            rsync預設會在檔案傳送前進行相關刪除動作確保接收端有足夠的檔案空間,
                                      但可以透過 --delete-after 讓刪除動作在檔案傳送後再行刪除
                           
        --ignore-errors         忽略任何錯誤既使是I/O error 也進行 --delete 刪除動作.
                           
        --max-delete=NUM     定義rsync不要刪除超過 NUM 個檔案.
                           
        --partial                   rsync若遇到傳輸過程中斷時,會把那些已經傳輸的檔案刪除
                                      在某種狀況下保留那些部分傳送的檔案是令人高興的
                                      你可以透過 --partial 參數達到這個目的
     
        --partial-dir=DIR    在 --partial 參數啟動時,你還可以定義rsync把那些部分傳送的檔案
                                     寫入定義的資料夾,而非直接寫入目的端.需要注意的是,
                                     此資料夾不應該被其他使用者可以寫入.(如:/tmp)
                           
        --force                   當目的端資料夾被傳送端非資料夾名稱覆蓋時,強制rsync刪除資料夾,
                                     即使該資料夾不是空的.
     
        --numeric-ids          不將傳送端檔案的uid及gid值,與目的端的使用者/群組進行配對.
                                     若傳送端並沒有uid及gid的對應名稱(如:原帳號群組被刪除的遺留檔案),
                                     或目的端沒有相對應的帳號/群組,保留數字型態的uid/gid
                           
        --timeout=TIMEOUT    設定 I/O 逾時的時間(秒). 超過這個秒數而沒有資料傳送,rsync將會結束.
                                            預設為0,也就是沒有定義逾時時間

    -T, --temp-dir=DIR       定義rsync在接收端產生暫時性的複製檔案時使用資料夾暫存.
                                       預設是直接在接收端資料夾直接產生暫存檔案
                           
        --compare-dest=DIR   定義rsync在目的端建立資料夾來比對傳送過來的檔案.      
                           
        --link-dest=DIR          與 --compare-dest 相同,但同時會針對無法改變的檔案建立硬式連結.

    -z, --compress                壓縮模式,當資料在傳送到目的端進行檔案壓縮.

    -P                                 -P參數和 --partial --progress 相同.只是為了把參數簡單化.

    -C, --cvs-exclude           排除那些通常不希望傳送的檔案.定義的方式與CVS傳送相同:
                                        RCS SCCS CVS  CVS.adm  RCSLOG  cvslog.*  tags  TAGS  .make.state
                                        .nse_depinfo  *~ #* .#* ,* _$* *$ *.old *.bak *.BAK *.orig *.rej
                                        .del-* *.a *.olb *.o *.obj *.so *.exe *.Z *.elc *.ln core .svn/
                                        符合以上條件的都會被忽略而不傳送        
     
        --exclude=PATTER     符合PATTERN(規則表示式)樣式的檔案不進行傳送
     
        --exclude-from=FILE  和--exclude參數相同,不過是把不進行傳送的檔案事先寫入某一檔案.
                                         執行時,透過此參數讓rsync讀取.
                                         (; #開頭的行列或空白行會被rsync忽略)
     
        --include=PATTERN    定義rsync不要排除符合pattern樣式的檔案.
     
        --include-from=FILE    和--include參數相同,只不過把要包含的檔案寫到某一檔案.
     
        --files-from=FILE        把要傳送的檔案名稱都精確的寫入某一檔案,讓rsync讀取.
                                           如: rsync -a --files-from=/tmp/foo /usr remote:/backup

    -0  --from0                      定義檔案所要讀取的檔案是null字元結尾
     
        --version                      顯示版本訊息
     
        --daemon                     定義rsync以daemon型態執行
     
        --no-detach                   當以daemon型態執行時,不要進行分裂且變成背景程序
     
        --address=ADDRESS    定義所要連結(bind)的ip位址或是host名稱(daemon限定)
     
        --config=FILE              定義所要讀取的設定檔rsyncd.conf位置(daemon限定)
                                           預設值為 /usr/local/etc/rsyncd.conf
     
        --port=PORT                定義rsyncd(daemon)要執行的port(預設為tcp 873)                  
     
        --blocking-io                 使用blocking I/O連結遠端的shell,如rsh , remsh
     
        --no-blocking-io            使用non-blocking連結遠端的shell,如ssh (預設值)
     
        --stats                           顯示檔案傳送時的資訊狀態
     
        --progress                     顯示傳送的進度.(給檔案傳送時,怕無聊的人用的..)
     
        --log-format=FORMAT  定義log的格式(在rsyncd.conf設定)
     
        --password-file=FILE     從檔案讀取與遠端rsync伺服器連結的密碼
     
        --bwlimit=KBPS             定義傳輸頻寬的大小(KBytes/秒)
     
        --write-batch=FILE        把紀錄資料寫入一個檔案(給其他相同環境且相同需求的機器使用)
     
        --read-batch=FILE         透過讀取紀錄檔案來進行傳輸.(檔案由 --write-batch 參數產生)
     
        --checksum-seed=NUM  定義檔案 checksum-seed 的大小(byte)
     
        -4  --ipv4                      使用IPv4協定

        -6  --ipv6                      使用IPv6協定


(資料來源:http://ohaha.ks.edu.tw/old_site/rsyncd.htm)

留言

這個網誌中的熱門文章

Shell Script簡易教學

一、概論
在許多的情況之下,我們都需要固定一組可以重覆或判斷資訊的指令,
而把這些指令存被在文字檔中,再交由Shell執行,就是Script。
一般會將Shell Script的副檔名命名為.sh,雖然副檔名在Linux中並非必要,
但是有副檔名可以讓我們更容易管理這些檔案。

假設有一個名為test.sh 的 Shell Script,首先用文字編輯器來撰寫內容如下:
#!/bin/bash
echo Hello World

第一行是必需的,它是用來定義你要使用的 shell。Linux中有許多的Shell可以使用,
如:ksh、bash,但是彼此之間語法有所差異,所以我們首先需要定義使用哪一個Shell。
而第二行的 echo 代表列出一個字串,預設會把後面的字串「Hello World」顯示在螢幕上。
將test.sh存檔後,可以用下列其中一種方式執行它:
1、直接輸入 sh test.sh
2、改變test.sh的權限,加上可以執行的權限,
   chmod a+x test.sh
   接著直接執行它:
   ./test.sh

在Shell Script中,「#」表示註解,在#後面將視為註解並且被程式忽略。
例如:
#pwd
ls -l
Shell只會執行ls -l,而不會執行ls -l

而「;」 則代表指令的分隔,例如:
pwd;ls -l

pwd
ls -l
都是一樣執行pwd及ls -l。

二、變數的使用
在Shell Script中,所有的變數都視為字串,因此不需要在定義變數類型。
在Shell中定義和使用變數時並不一樣。
例如,定義一個變數id並且設定值為2013001,接著還要將印出變數的值:
id=2013001 -> 定義變數時前面不加「$」符號
echo $id   -> 使用變數時前面要加「$」符號
注意,在等號的二邊不可以有空白,否則將出現錯誤。

再介紹一個範例:
dir=/home/oracle
ls $dir

這裡我們定義了變數dir的值為/home/oracle,接著用ls指令來印出變數dir,
此時指令會變為ls /home/oracle,所以就把目錄中所有檔案都列出來。


我們再來看一個例子,說明如何使用變數來定義變數:
$ tmppath=/tmp$ tmpfile=$tmppath/abc.txt$ ec…

用Excel 2010製作免費甘特圖

用Excel 2010製作免費甘特圖,以下是完成圖,其實是用圖表的功能加上修改圖表的選項來仿製甘特圖,
並非真正的甘特圖,如果要用免費的甘特圖軟體,可以下載GanttProject,有支援中文。
官方網址:http://www.ganttproject.biz/

首先將任務、開始日期、天數、完成日期填入工作表中,完成計劃後將資料全選,並在工具列上找到橫條圖。
一定要將資料全選起來,不然Excel有可能會判斷錯誤,畫出不符我們需求的圖表
(日期我算錯了,不過不影響製作,可以事後再修改)

圖表出現之後,修改資料的範圍(藍色框的部份),將資料由D6拉到C6。
「完成日期」只是為了讓Excel一開始不要判斷錯誤而產生錯誤的圖表。

在「藍色線條」上按滑鼠右鍵,選擇「資料數列格式」

依下圖點選「無填滿」,把藍色的線條變成透明,讓圖表看起來像是甘特圖。

接著我們要修改欄、列的參數,在下面日期的部份點選滑鼠右鍵,選「座標軸格式」

下方列是日期,所以選「日期」,並選擇一個類型

再來到「座標軸選項」中設定最小、最大值,讓圖表看起來更像甘特圖,其中最小值、最大值的數字,
是由1900/1/1到指定日期的總天數,例如:2014/4/9-1900/1/1=41737天(可用Excel直接相減得出數值)
「主要刻度間距」改為1,也就是間距為1天

接著回到圖表上,在左方任務列上按滑鼠右鍵,選擇「座標軸格式」

這次只選「類別次序反轉」,會把任務上下翻轉。

最後再將圖表的寬度、長度做一個調整就完成了。

補充說明: 如果遇到下列的情形,圖表的內容相反的話,可以按下「切換列/欄」來改變

Excel可以自訂公式(函數)來補足內建公式(函數)無法處理的情形

Excel有許多實用的公式,善用這些公式可以達成大部份的功能,但是萬一公式無法滿足需求時,可以自訂公式來解決。

          自訂公式其實就是自訂函數,先開啟Visual Basic(VBA)


                     新增一個「模組」


在開啟的模組視窗內撰寫VBA的函數程式,例如:

Function TEST01(A, B)
    TEST01 = A * 10 + B * 20
End Function

                    函數TEST01需要兩個參數A、B,並且將計算的結果回傳。



完成上述的設計之後,就可以在插入函數中選擇使用者定義,再選擇TEST01。
(或直接在儲存格輸入函數名稱TEST01)
反正使用的方法就跟一般的Excle的公式一樣就對了。