04.tex

\section{提案手法の評価}

Test Kitchen標準のbats\cite{bats}によるテストコードとserverspecのテストコードを比較し評価する．

batsによるUbuntu\cite{ubuntu}上でのテストコードを\figref{fig:test-with-bats-on-ubuntu}に示す．また，同じ内容のテストをSolaris\cite{solaris}向けに書く場合の例を\figref{fig:test-with-bats-on-solaris}に示す．serverspecによるテストコードは，OSが何であっても\figref{fig:test-with-serverspec}で示すようなコードになる．このように，提案手法ではOSの違いを意識することなく，テストコードを記述することができる．

\begin{figure}[tb]
\setbox0\vbox{
\begin{verbatim}
@test "The package apache2 is installed" {
  dpkg-query -f '${Status}' -W apache2 \
    | grep '^install ok installed$'
}

@test "The apache2 service is running" {
  service apache2 status
}

@test "Port 80 is listening" {
  netstat -tunl ｜ grep ":80 "
}
\end{verbatim}
}
\centerline{\fbox{\box0}}
\caption{batsによるUbuntu上でのテストコード\label{fig:test-with-bats-on-ubuntu}}
\end{figure}

\begin{figure}[tb]
\setbox0\vbox{
\begin{verbatim}
@test "The package apache2 is installed" {
  pkg list -H apache2
}
 
@test "The apache2 service is running" {
  svcs -l apache2 | egrep '^status *online$'
}
 
@test "Port 80 is listening" {
  netstat -an | grep LISTEN | grep ".80 "
}
\end{verbatim}
}
\centerline{\fbox{\box0}}
\caption{batsによるSolaris上でのテストコード\label{fig:test-with-bats-on-solaris}}
\end{figure}

\begin{figure}[tb]
\setbox0\vbox{
\begin{verbatim}
describe package("apache2") do
  it { should be_installed }
end
 
describe service("apache2") do
  it { should be_running }
end
 
describe port(80) do
  it { should be_listning }
end
\end{verbatim}
}
\centerline{\fbox{\box0}}
\caption{serverspecによるテストコード\label{fig:test-with-serverspec}}
\end{figure}

\begin{figure}[tb]
\setbox0\vbox{
\begin{verbatim}
@test "/etc/sudoers is not readable by others" {
  ls -l /etc/sudoers | egrep '^......-..'
}
\end{verbatim}
}
\centerline{\fbox{\box0}}
\caption{batsによる/etc/sudoersが他人から読めないことをテストするコード\label{fig:test-permission-with-bats}}
\end{figure}

\begin{figure}[tb]
\setbox0\vbox{
\begin{verbatim}
describe file("/etc/sudoers") do
  it { should_not be_readable.by("others") }
end
\end{verbatim}
}
\centerline{\fbox{\box0}}
\caption{serverspecによる/etc/sudoersが他人から読めないことをテストするコード\label{fig:test-permission-with-serverspec}}
\end{figure}

別の比較として，/etc/sudoersが他人から読めないことをテストするコードの例を示す．batsでは\figref{fig:test-permission-with-bats}に示すコードとなり，serverspecでは\figref{fig:test-permission-with-serverspec}に示すコードとなる．このように， batsはテストコードだけでは何をテストしているのか判別しにくいため，説明用のテキストが必要となる．一方serverspecはテストコードだけでテスト内容が理解できるため，別途説明用のテキストを必要としない．

serverspecはオープンソースで公開されており，上述のような利用ための敷居の低さ，単機能，記法の汎用性・抽象度の高さから，利用が広がっている．また，採用している企業もいくつか見受けられる\cite{nintendo}\cite{wantedly}．しかし，定量的な評価ができておらず，評価手法の検討など，今後に課題が残る．