跳到主要內容

Oracle DB HWM(high water mark)對查詢的效能影響

HWM高水位是指一個segment(Table/Index)中已使用與未曾使用的Block分界線,
也就是說在HWM之下的Block是已使用(包含曾使用),在HWM之上的Block是未曾使用。
當不斷地insert資料時,HWM也會跟著向上移動,但是Delete資料,HWM卻不會往下移動,
就像飲料一樣,在裝杯時水量不斷增加,但是開始喝飲料時,水量就下降,
但是最高的水痕依然留在杯上,沒有降低。
而Oracle在執行Table的full scan時並不是只讀取有資料的Block,
而是從HWM以下的Block都會讀取(無論是否有資料),所以會影響查詢的時間。
如果有大量空的已使用Block就表示該Segment有大量的碎片,浪費大量的空間。

例如我有一個暫存各種資料的暫存表,有一次新增了三百多萬筆的資料
SQL> select count(1) from tmp_ddd;

  COUNT(1)
----------
   3705682

SQL> delete tmp_ddd;

3705682 rows deleted.

SQL> commit;

Commit complete.

SQL> select segment_name,segment_type,blocks FROM dba_segments  WHERE segment_name='TMP_DDD';

SEGMENT_NA SEGMENT_TY     BLOCKS
---------- ---------- ----------
TMP_DDD    TABLE           42912

SQL> SELECT table_name,num_rows,blocks,empty_blocks FROM dba_tables  WHERE table_name='TMP_DDD';

TABLE_NAME      NUM_ROWS   BLOCKS     EMPTY_BLOCKS
--------------- ---------- ---------- ------------
TMP_DDD                  0      42636            8
由上可知雖然已經將資料刪除,但是BLOCKS還是有這麼多

查詢Table的大小
SQL> select segment_name, bytes/1024/1024 "表大小MB" from dba_segments where segment_name='TMP_DDD';

SEGMENT_NAME   表大小MB
-------------- ----------
TMP_DDD            335.25

查詢Table的實際大小
SQL> select table_name, AVG_ROW_LEN ,NUM_ROWS,AVG_ROW_LEN*NUM_ROWS/1024/1024 "表實際大小MB",LAST_ANALYZED from dba_tables where table_name='TMP_DDD';

SEGMENT_NAME   表實際大小MB
-------------- -------------
TMP_DDD               .00494

碎片公式:(1-表實際數據大小/表大小)
(1-0.00494/335.25) = 99.9%

對於查詢的影響
SQL> set timing on;
SQL> select * from tmp_ddd;

no rows selected

Elapsed: 00:00:05.24
沒有任何資料,查詢花費5秒鐘。

所以可以利用truncate Table,把HWM降低。
(也可以利用alter table table_name move、drop再重建或10g以後還可以用shrink)
SQL> truncate table cusadmin.tmp_ddd;

Table truncated.

SQL> select segment_name,segment_type,blocks FROM dba_segments  WHERE segment_name='TMP_DDD';

SEGMENT_NA SEGMENT_TY     BLOCKS
---------- ---------- ----------
TMP_DDD    TABLE              16

SQL> analyze table cusadmin.tmp_ddd compute statistics;

Table analyzed.

SQL> SELECT table_name,num_rows,blocks,empty_blocks FROM dba_tables  WHERE table_name='TMP_DDD';

TABLE_NAME   NUM_ROWS     BLOCKS EMPTY_BLOCKS
---------- ---------- ---------- ------------
TMP_DDD             0          0           16

再次查詢,不到1秒鐘
SQL> select * from tmp_ddd;

no rows selected

Elapsed: 00:00:00.01

留言

這個網誌中的熱門文章

Shell Script簡易教學

一、概論
在許多的情況之下,我們都需要固定一組可以重覆或判斷資訊的指令,
而把這些指令存被在文字檔中,再交由Shell執行,就是Script。
一般會將Shell Script的副檔名命名為.sh,雖然副檔名在Linux中並非必要,
但是有副檔名可以讓我們更容易管理這些檔案。

假設有一個名為test.sh 的 Shell Script,首先用文字編輯器來撰寫內容如下:
#!/bin/bash
echo Hello World

第一行是必需的,它是用來定義你要使用的 shell。Linux中有許多的Shell可以使用,
如:ksh、bash,但是彼此之間語法有所差異,所以我們首先需要定義使用哪一個Shell。
而第二行的 echo 代表列出一個字串,預設會把後面的字串「Hello World」顯示在螢幕上。
將test.sh存檔後,可以用下列其中一種方式執行它:
1、直接輸入 sh test.sh
2、改變test.sh的權限,加上可以執行的權限,
   chmod a+x test.sh
   接著直接執行它:
   ./test.sh

在Shell Script中,「#」表示註解,在#後面將視為註解並且被程式忽略。
例如:
#pwd
ls -l
Shell只會執行ls -l,而不會執行ls -l

而「;」 則代表指令的分隔,例如:
pwd;ls -l

pwd
ls -l
都是一樣執行pwd及ls -l。

二、變數的使用
在Shell Script中,所有的變數都視為字串,因此不需要在定義變數類型。
在Shell中定義和使用變數時並不一樣。
例如,定義一個變數id並且設定值為2013001,接著還要將印出變數的值:
id=2013001 -> 定義變數時前面不加「$」符號
echo $id   -> 使用變數時前面要加「$」符號
注意,在等號的二邊不可以有空白,否則將出現錯誤。

再介紹一個範例:
dir=/home/oracle
ls $dir

這裡我們定義了變數dir的值為/home/oracle,接著用ls指令來印出變數dir,
此時指令會變為ls /home/oracle,所以就把目錄中所有檔案都列出來。


我們再來看一個例子,說明如何使用變數來定義變數:
$ tmppath=/tmp$ tmpfile=$tmppath/abc.txt$ ec…

用Excel 2010製作免費甘特圖

用Excel 2010製作免費甘特圖,以下是完成圖,其實是用圖表的功能加上修改圖表的選項來仿製甘特圖,
並非真正的甘特圖,如果要用免費的甘特圖軟體,可以下載GanttProject,有支援中文。
官方網址:http://www.ganttproject.biz/

首先將任務、開始日期、天數、完成日期填入工作表中,完成計劃後將資料全選,並在工具列上找到橫條圖。
一定要將資料全選起來,不然Excel有可能會判斷錯誤,畫出不符我們需求的圖表
(日期我算錯了,不過不影響製作,可以事後再修改)

圖表出現之後,修改資料的範圍(藍色框的部份),將資料由D6拉到C6。
「完成日期」只是為了讓Excel一開始不要判斷錯誤而產生錯誤的圖表。

在「藍色線條」上按滑鼠右鍵,選擇「資料數列格式」

依下圖點選「無填滿」,把藍色的線條變成透明,讓圖表看起來像是甘特圖。

接著我們要修改欄、列的參數,在下面日期的部份點選滑鼠右鍵,選「座標軸格式」

下方列是日期,所以選「日期」,並選擇一個類型

再來到「座標軸選項」中設定最小、最大值,讓圖表看起來更像甘特圖,其中最小值、最大值的數字,
是由1900/1/1到指定日期的總天數,例如:2014/4/9-1900/1/1=41737天(可用Excel直接相減得出數值)
「主要刻度間距」改為1,也就是間距為1天

接著回到圖表上,在左方任務列上按滑鼠右鍵,選擇「座標軸格式」

這次只選「類別次序反轉」,會把任務上下翻轉。

最後再將圖表的寬度、長度做一個調整就完成了。

補充說明: 如果遇到下列的情形,圖表的內容相反的話,可以按下「切換列/欄」來改變

在Windows下,利用tasklist與taskkill來刪除Process

Windows7 / Windows8 kill process

Linux下要刪除某個程序通常會使用 ps 配合 kill 來刪除程序。
例如:ps -ef |grep [PROCESS NAME]
      kill -9 [PID]

在Windows下,通常是開啟工作管理員來強制結束應用程式,但是如果要寫成Script,就必須改為命令式。

TASKLIST [/S system [/U username [/P [password]]]]
         [/M [module] | /SVC | /V] [/FI filter] [/FO format] [/NH]

TASKKILL [/S system [/U username [/P [password]]]]
         { [/FI filter] [/PID processid | /IM imagename] } [/T] [/F]

(Tasklist:查詢Process ; Taskkill:刪除Process)


例如要刪除已開啟的記事本(notepad):

1、查詢記事本的Process訊息
    C:\> tasklist |find /i "notepad.exe"
    notepad.exe      6092 Console     1     5,832 K

2、由上得知記事本的PID為6092
    C:\> taskkill /f /PID 6092
    成功:處理程序 PID 6092 已經終止了。

    taskkill使用的參數
    /f:指定此參數可強制終止處理程序
    /PID:指定要終止之處理程序的 PID

3、也可以直接以程式名稱刪除
    C:\ taskkill /f /im notepad.exe
    成功:處理程序 "notepad.exe" <PID 6092> 已經終止了


下面是我自己測試的Script,可以刪除多個相同的程式,例如同時開啟了三個記事本:
@echo off

for /f "tokens=2 delims= " %%c in ('tasklist /FI "imagename eq notepad.exe" /FO table /NH&…