trace linux kernel source - ARM - 01

gogojesse

昨天下載了linux-2.6.26的kernel source
+ w  \$ E  q. }* J: ~6 E6 M3 h打算trace一下 (以ARM為例子)
看看能不能多了解一下kernel booting時候的一些動作
3 z! [' v; m, G. V* \* G# \6 C- \一些文章提到是從/arch/arm/boot/bootp/init.S開始
所以節錄了一些下來
: ?7 Q2 y& H2 N
. w' @7 o1 g6 Z2 M3 z. Z( y; k, ]     19         .section .start,#alloc,#execinstr
     20         .type   _start, #function
     21         .globl  _start
     22
) v5 V' B- E7 m) G: |+ t     23 _start:     add lr, pc, #-0x8       @ lr = current load addr
     24         adr r13, data
     25         ldmia   r13!, {r4-r6}       @ r5 = dest, r6 = length
3 p4 S* p: i- g  x; }     26         add r4, r4, lr      @ r4 = initrd_start + load addr
     27         bl  move            @ move the initrd
0 h! X4 i- J$ h0 ?7 e4 y2 e     .....
     76         .type   data,#object
     77 data:       .word   initrd_start        @ source initrd address
     78         .word   initrd_phys     @ destination initrd address
     79         .word   initrd_size     @ initrd size
     80

! l* N. |8 S* y  U7 e+ L7 wline 19,宣告了叫做.start的section
line 20,21宣告了一個叫做_start的function
程式碼似乎從line 23開始
line 23, 『add lr, pc, #-0x8』
* F1 ~0 k2 g, M/ zadd就是將pc+(-0x8)的結果放到lr之中，pc和lr都是ARM裡頭暫存器
pc就是program counter，CPU用來指著目前要執行的指令，執行完CPU就會自動把PC+1
# N! C* \/ P+ G  x4 z! k/ e這樣就會拿到下一道指令，lr通常是第14個register, r14，常被用來繼續function
1 c& s  Q' U, h' D# j3 \return時候的返回位置。奇怪的是為什麼要-0x8??
原因應該是ARM本身有pipeline的設計，prefetch->decode->execution，當指令被執行
3 ]  J4 W+ H& e, _4 s3 G: b! F的時候，其實已經預先去偷偷抓下一道，所以PC值不是真的指在目前執行的地方，三級
5 h  w: P8 l9 V% ~+ Ipipeline剛好多了兩個cycle所以4 bytes x 2必須要-8才是正在執行指令的位址。
- ~$ a) ?" B6 W/ {2 m% p
2 U7 @: E3 k" _0 }$ Rline 24, 『adr r13, data』
adr會去讀取data所在的位址當作值，寫道r13裡頭。r13通常是用來放stack pointer，
常縮寫成sp，所以現在r13就指到data所在的位置上去。
# C2 O8 J* h8 o" u6 x
% r" O7 W& o) T9 [% \- Y% S( b( Y5 nline 25, 『ldmia   r13!, {r4-r6}』
6 V* j  P/ U) Xldmia, load multiple increment after,顧名思義就是可以做很多次load的動作，每此
load完就把位址+1，執行完之後
r4 = initrd_start
r5 = initrd_phys
r6 = initrd_size
3 F* a3 `9 e- [/ }( l* r
/ q$ b7 H- R; @- y! o/ K0 kline 26, 『add r4, r4, lr』
r4 = r4+lr, lr是剛剛我們算過的，指到一開始執行指令的地方，看程式碼的解釋，被當
8 c$ z9 Z/ d/ E- h2 R3 K成載入的位址，所以執行完 r4 = initrd_start+程式被載入的位置，用途不明，看看之
後有沒有被用到。

line 27, 『bl  move』
: O* m1 `9 B5 y6 L/ |, P& Dbl, b是branch，相當於C語言goto的動作，l就是goto之前，先把目前位置存放到lr裡面，
, x2 k  m+ ^, U7 p, h* {5 v6 T8 |! D- v2 e所以bl除了goto之外，也改寫了lr，應該是有利於等一下返回的時候，可以用lr的值。
. R! q; D& A5 ^3 A  X2 ~# c
以上，好像還沒開始什麼重點，有空再繼續，有想錯的地方或是需要補充的地方，多多指教~

gogojesse

上面的 code 裡面出現了一些還沒定義的symbol
* G  m7 x4 F4 \% \+ t7 M4 J例如 initrd_start, initrd_size等等
其實是被定義在另外一個檔 ./arch/arm/boot/bootp/initrd.S
# c# P$ D9 J/ p
      1     .type   initrd_start,#object
. B. y9 G  @: T: D, T( i, I      2     .globl  initrd_start
      3 initrd_start:
5 s5 v' M, O7 E0 e! @. U      4     .incbin INITRD
      5     .globl  initrd_end
      6 initrd_end:
+ M, N5 I0 j7 q
line 2, 3, 5, 6定義了兩個symbol initrd_start和initrd_end
5 _' E. {* Q- p' G, t1 K中間還用.incbin INITRD 將 ramdisk 的 image include進來
! b" O4 [" n2 j8 k這邊有點複雜
假如compiler kernel的時候
有選擇使用ramdisk當成boot device的話
& s6 s* K* M4 }會對從環境變數去設置 INITRD
這個檔名會被帶入到MAKEFILE
並且在做assembler動作的丟進來
+ C* K& a1 o6 V& Y; H2 P2 O5 X假如沒有使用initrd
那就.incbin應該就包不到東西
initrd_start 和 initrd_end 就會相等

另外有個 script ./arch/arm/boot/bootp/bootp.lds
! ?% h2 R; a: L# i, D' Q6 b1 F它規範了所有link起來的object code裡面的section要怎麼編排
這樣撰寫kernel的時候
可以到特定的section取得想要的資料或是計算某個section的大小
. B8 L" y. r6 F! h& ?# m" s( G" L
     10 OUTPUT_ARCH(arm)
     11 ENTRY(_start)
     12 SECTIONS
     13 {
     14   . = 0;
     15   .text : {
     16    _stext = .;
! x4 s$ G5 O& L: q% F* _     17    *(.start)
     18    *(.text)
0 T  T  F1 @3 I  Y- o1 p) [& F     19    initrd_size = initrd_end - initrd_start;
2 m' j6 Y# a8 p& Z     20    _etext = .;
     21   }
4 i& `$ Z! t; X% i6 I0 x     22
$ S, J- {9 [& |' F* O6 `# k- g& J     23   .stab 0 : { *(.stab) }
) a# H7 r; N- K7 q. e- S+ L+ r6 O# {     24   .stabstr 0 : { *(.stabstr) }
     25   .stab.excl 0 : { *(.stab.excl) }
5 d5 g, ^) W/ x     26   .stab.exclstr 0 : { *(.stab.exclstr) }
     27   .stab.index 0 : { *(.stab.index) }
! b) _2 L6 j: S7 ~     28   .stab.indexstr 0 : { *(.stab.indexstr) }
     29   .comment 0 : { *(.comment) }
) ~  O  C6 d. C! W     30 }
( p6 Z6 T2 k, C: u( _8 p
+ j' K/ W$ j) Y, M2 L2 h4 L1 H% W對於object file的格式不熟悉的話
可以參考ELF format的相關文件

gogojesse

接著繼續看 init.S
之前的code已經goto到move這邊來
所以貼一些move的程式碼
( {/ [! b* b7 k/ a0 m! ~
     66 move:       ldmia   r4!, {r7 - r10}     @ move 32-bytes at a time
     67         stmia   r5!, {r7 - r10}
  D% z; C3 z/ D' }- q9 ?8 u     68         ldmia   r4!, {r7 - r10}
/ H4 ^' l& m) B" @: M  o     69         stmia   r5!, {r7 - r10}
     70         subs    r6, r6, #8 * 4
     71         bcs move
4 e! s7 M; ]5 v     72         mov pc, lr
4 `5 W# P4 l& {' {* I  _& D
8 z1 d* Y: ]; Z/ ^line 66, 將r4所指到的位置，分別將值讀出來放到r7, r8, r9, r10, 可以發現剛剛計算過的r4這邊被
/ c$ I1 }8 M/ L用到了，但是為什麼r4不是用initrd_start，卻還要加上load addr??
原因應該是bootp.lds的14行『. = 0;』表示最後被link好的address會從0x0開始
$ g7 Q; y) O) C2 g2 X) Y8 U所以 initrd_start 所記錄的位置可以當成是offset
加上load到DRAM或是擺在flash上的位址後
就剛好是initrd所在的地方
; q# q" }0 r* l/ D3 h/ m
line 67, 『stmia   r5!, {r7 - r10}』
- K" N/ W2 k6 g& ]0 Y. rstmia, store multiple increment after, 和ldmia動作相同，只是用來寫資料。
r5是存放著initrd要擺放的位置
/ m+ ?' B; M: u% p3 B猜測應該是為了一開始image放在flash上，但是可以將initrd拷貝到DRAM上
r7寫到r5指到的位置
; j8 E) e% i& u, O, O* v8 xr8->r5+1
6 `+ S/ |2 [8 w' \2 ^5 er9->r5+2
9 X0 A* i# |- d( z- X, qr10->r5+3
所以我們發現，66,67行就是將r4所指的東西搬到r5。
2 G' L" o; D. c6 c; G- y# V
line 68, 69也是一樣copy了4x4bytes，一共是32bytes。
line 70,『subs    r6, r6, #8 * 4』，將length - 32bytes
- M6 X* [, t+ {. b# d- vline 71,『bcs move』，b是branch的意思，cs是表示condition的條件，要是條件符合的話，
就做branch的動作，這邊的用意是判斷前一個length是不是已經到0，如果不為零就繼續copy。
- ?+ ]+ y& s8 S! [- \% hline 72,『mov pc, lr』
接著就把剛剛bl指令預先存放好的lr 填入pc，這樣CPU就會跳回去原本的return address。

( v8 z6 p- ~9 Z; w  J5 G1 _. l7 L$ X6 A以上的動作，慢慢看得出來有在做些什麼事
$ f) ]' j( e, T3 b5 W, x( `1. 找出initrd的所在位置
2. 將它copy到一個指定的destination去

gogojesse

程式返回之後
我們接著看下一行

1.      33         ldmia   r13, {r5-r9}        @ get size and addr of initrd
   4 K! T( B1 h! D
2.      34                         @ r5 = ATAG_CORE
   - N) g  ]3 Z# m  U% h
3.      35                         @ r6 = ATAG_INITRD2
   ' g& W. h( N8 ^+ b
4.      36                         @ r7 = initrd start
   
5.      37                         @ r8 = initrd end
   
6.      38                         @ r9 = param_struct address
   - ]6 T( W- C0 M
7.      39
   
8.      40         ldr r10, [r9, #4]       @ get first tag
   
9.      41         teq r10, r5         @ is it ATAG_CORE?

複製代碼

line 33, 繼續從r13的地方取出資料到r5, r6, r7 ,r8, r9，註解的說明有提到各個資料
5 D0 C8 A6 x& b# P" A的意義，注意一下這邊的r7是initrd的destination address不是source address。
" \$ v+ \$ p1 C4 S; ]5 `9 k
. l( J! G2 Y$ p- P7 O) V! T/ `line 40, 讀入第一個tag，這邊的tag是指bootloader丟給kernel的一個boot arguments，
會被用一個叫做ATAG的structure包起來，並且放到系統的某個地方。然後kernel跑init.S，
! N. y, f" z! _/ e! F8 Y% C. y- F的時候就會去這個地方拿ATAG的資料，這些資訊包括記憶體要使用多大，螢幕的解析度多大等等。

line 41, t是test, eq是equal, 判斷拿到的第一個tag是不是等於atag core. 應該是看
atag list 是不是成立的。

( Q3 F* a4 Q7 p' ~) s9 U繼續接著看

1.      45         movne   r10, #0         @ terminator
     ]. Q$ Y3 m7 z( |
2.      46         movne   r4, #2          @ Size of this entry (2 words)
   2 G# m7 _6 K0 i6 ^9 o+ Z
3.      47         stmneia r9, {r4, r5, r10}   @ Size, ATAG_CORE, terminator

複製代碼

發現45, 46, 47的指令都帶有condition "ne", not equal,表示是剛剛 line 41發現atag不成立
  r$ f  c6 P  q所做的事情，注釋是寫『If we didn't find a valid tag list, create a dummy ATAG_CORE entry.』
9 p6 {( o  u  _所以以上三行就是用來創造一個假的entry，假設一切順利這三行指令會bypass過去不會被執行到。

接著來看init.S最後一段程式碼 (終於~)

1.      54 taglist:    ldr r10, [r9, #0]       @ tag length
   
2.      55         teq r10, #0         @ last tag (zero length)?
   
3.      56         addne   r9, r9, r10, lsl #2
   - p1 z+ c" \0 S' \9 W
4.      57         bne taglist
   # ~1 z# G8 m+ b
5.      58
   
6.      59         mov r5, #4          @ Size of initrd tag (4 words)
   
7.      60         stmia   r9, {r5, r6, r7, r8, r10}
   
8.      61         b   kernel_start        @ call kernel

複製代碼

line 54, 將r9指到的位址的offset 0x0的值載入到r10。看註解是tag length，所以這邊得要去翻翻atag的規範
這邊有個文章有提到 http://www.simtec.co.uk/products ... ooting_article.html ，一開
6 k* f8 }5 B$ _3 K8 z始應該是去讀atag_header所看第一個欄位，確認一下是size，應該沒問題。

1. struct atag_header {
   
2.         u32 size; /* legth of tag in words including this header */
   
3.         u32 tag;  /* tag value */
   
4. };

複製代碼

line 55,測試一下size是不是0。
line 56, 57也有condition ne,表示是不為0的時候做的。將拿到的length(r10)乘以4，這邊的lsl是將r10往
5 b& p$ H  f9 _- s" |/ V; b9 l左shift的意思,因為一個欄位是4bytes，所以乘4之後就跳到下一個tag，一直跳到最後沒東西。
' R( V) n; P- h
* `9 Y  E, U; C$ |line 59, 將r5設成4
% Q, M& w: d& j/ F' w- @line 60, 將r5, r6, r7, r8 ,r10存到r9所指到的位置，應該就是跟在atag list的後面。
line 61, jump 到 kernel_start ，注意這邊是用b而不是bl，因為跳過去kernel就不需要返回了。BL會用到
* ^1 ^$ S/ f* O  [' P2 n' C" T/ Flr紀錄返回位置。

: N) g+ z; l7 j5 y9 @$ i以上，走過一整個init.S,接著會跳到./arch/arm/boot/compressed/head.S。
6 m3 y  H) P7 P* P4 ?; @$ t" O
- C' z6 z; Q7 z9 \+ Zkernel_start的定義方式跟initrd_start有點類似，中間有透過 kernel.S去用.incbin把kernel image包進來。

jacky002

好一段時間沒有碰程式了，看到你的分析讓我想起年輕時候的我 ~~~~ 還是不要透漏年齡

gogojesse

原帖由 jacky002 於 2008-8-9 07:44 AM 發表
好一段時間沒有碰程式了，看到你的分析讓我想起年輕時候的我 ~~~~ 還是不要透漏年齡

3 S2 B' g: b; S1 y0 B5 `% t

有些時候  東西是越陳越香啊~~
...........

gogojesse

剛剛發現一個大陸網站的blog貼了我的文章
但是沒表明出處 = =
還把標題改過，感覺像是他自己寫的
真是麻煩~

2 _( A% c3 P# D3 U8 N7 j& c已經好幾次這樣的經驗
6 `4 R3 F0 ~/ E0 O4 a$ j) L以前幫忙有弄網站也是這樣
( `. I7 \: D2 ]; X' ~# o抄襲得很嚴重
! P. n" V0 c# k$ ~內地那邊到底有沒有在管啊!!