行列 A に並ぶ量 a11、a12、a21、... を行列の成分あるいは要素 (element) と呼ぶ。（係数と呼ぶこともある。） 行列の横方向に並んだ要素を行 (row) と呼び、縦方向に並んだ要素を列 (column) と呼ぶ。行列の i 行目、j 列目の要素を特に行列の (i, j) 要素と呼ぶ。例えば上記行列 A の (1,2) 要素は a12 である。
行列に含まれる行の数が m、列の数が n である時に、その行列を m 行 n 列行列や m×n 行列と呼ぶ。行列を構成する行の数と列の数を合わせて型という。したがってm 行 n 列行列のことを (m, n) 型行列などと呼ぶこともある。 要素を環 R に持つ行列のことを R 上の行列という。