データ通信量の１ＧＢ（ギガバイト）でどのくらい使えるの？
でリサーチャーをしている大槻 通称、けんちょん です。 今回は計算量オーダーの求め方について書きます。 はじめに 世の中の様々なシステムやソフトウェアはアルゴリズムによって支えられています。 のために用いるのような単純なものから、カーナビに使われている 、流行中のに用いられているなど、様々な場面でアルゴリズムが活躍しています。 アルゴリズムとはどんなものかについて具体的に知りたい方には以下の記事が参考になると思います:• しかし計算量は慣れるとものすごく使い勝手がよく、実装しようとしているアルゴリズムを実際にプログラミングしなくても 計算実行にどのくらいの時間がかかるかを予め大体見積もることができる ようになります！！！本記事では• 計算量オーダーの「 求め方」の豊富な実例• 計算量の概念を「 どう役立てるか」• 様々な計算量オーダーをもつ具体的なアルゴリズム の紹介をして行きたいと思います。 また本記事の続編として、実務で気を付けたい計算量の罠の話を書きました。 併せて読んでいただけたらと思います:• 計算量とは 計算量という概念を理解するためには、まずは以下のことを悟ることが重要です:• 一般に同じ問題を解決できるアルゴリズムは多数考えることができる• アルゴリズムによって 所要時間が大きく変わる• 良いアルゴリズムとは、解決したい問題の 規模が大きくなっても対応できるようなもののことである 例として、ちょっとした数当てゲームを考えてみましょう。 本質的にはの冒頭に挙げている年齢当てゲームと同じものです。 【数当てゲーム】 相手に「0 以上 32 未満の整数値」をなにか 1 つ思い浮かべてもらい、それを当てたいです。 できるだけ少ない回数で当てるにはどうしたらよいでしょうか？ パッと思いつく方法は• 0 ですか？• 1 ですか？• 2 ですか？• と順々に聞いていく方法でしょう。 これでは最悪 32 回かかってしまいます。 もっと賢い方法があります。 「16 以上ですか？」 と聞いてみましょう。 そうすると• Yes なら: 0 以上 16 未満だとわかる• No なら: 16 以上 32 未満だとわかる といったように、どちらの答えだったとしても、 選択肢が半分に絞れます。 あとは同様のことを繰り返していけば、たった 5 回の質問で当てることができます！なお、前者のようなやり方を、後者のようなやり方をと呼びます。 などでも頻出のテーマですので、馴染みのある方も多いでしょう。 さて、さらに話を進めてみましょう。 今回は相手の思い浮かべる数が 32 未満という条件下だったので、質問回数に差があるとはいっても「 最悪 32 回」と「5 回」の差で済みました。 これに対して相手の思い浮かべる数の制限が 65536 未満だったとしましょう。 そうすると• できれば実装する前に「どのくらいの計算時間がかかるのか」を判断できるようにしたいところです。 すごいことに、実際にアルゴリズムを実装することなく大まかに計算時間を測ることができる「ものさし」が存在します！それが 計算量オーダーと呼ばれるものです。 1-1. これらの意味はざっくりと言ってしまえば• 極限がピンと来ない方向けに、まず最高次数の項以外を落とす理由を説明します。 確かに極限まで高速化を追求する場面では、係数の差は重要になって来ます。 しかしその前段階では係数の差はほとんど無視できます。 プログラムの実行時間を短くするには、まずはアルゴリズムの計算量オーダーを小さくすることが重要であることがわかります。 1-3. 計算量の使い方 計算量オーダーの概念を掴んだところで、実際の問題に対してアルゴリズムを設計するときの考え方について解説します。 現実世界の問題では• 実行時間の制限時間がどの程度か• そうすると、どの程度の計算量オーダーのアルゴリズムを達成する必要があるのかを 逆算できることになります。 ここでは• 計算に使用するマシンは普通の家庭用 PC という状況を想定します。 PC の性能は年々良くなっているため、この目安は時代とともに流動的です。 例えば 8 年前に初版の刊行された の P. まとめると、解きたい問題のサイズと適用可能なアルゴリズムの計算量オーダーの上限は以下のように整理できます。 このサイズの問題を扱う場合は全データを読み込むとメモリに収まらないことも多く、あらかじめ登録されたデータベースから必要に応じて入力を読み取るようにすることも多いです。 などはまさにその典型と言えるでしょう。 普段標準ライブラリを用いているために高速化の恩恵を意識することはないですが、愚直に実装すると 1 時間かかる処理が僅か 0. 1 秒で終えられるようになっています。 そうすると処理がありえないくらい遅くなってしまいがちなので、計算量についての意識をしっかりと持ちたいところです。 その手の話題については以下の記事に特集してみました:• これよりオーダーの大きなアルゴリズムは実用にならないといった感じです。 計算量の求め方の例 具体的なアルゴリズムの計算量を解析する例を挙げて行きます。 フラグ変数 exist が最終的に true になるか false になるかによって判定します。 もし配列の先頭 a[0] が v だったら一瞬で終了します。 しかし、計算量オーダーは「 最悪ケースについて考える」のが鉄則です。 以下のように簡潔に実装できます。 このようにしないと、例えば• x[2], y[2] と x[5], y[5] との間の距離• x[5], y[5] と x[2], y[2] との間の距離 を両方求めることになってしまい、無駄が生じます。 どこまでオーダーを小さくできるのかは未解決問題です。 計算量オーダーについて考えます。 しかし次の例で詳述するように、計算量オーダーについて考えるときは 対数の底の違いは無視できることがわかります。 これは二分探索法と言ったときに一般にイメージされる「配列 a の中に値 v があるかどうかを検索する処理」を少し一般化したものになっています。 詳細は• を読んでいただけたらと思います。 詳しくは• を読んでいただけたらと思います。 分割統治法に基づいた以下のようなアルゴリズムです。 これはマージソートに限らず、分割統治法アルゴリズムを用いたときに広く見られる漸化式です。 で表されることを付録で略証します。 その理由をしっかりと理解するためにはチューリングマシンなどを理解する必要が出て来るのですが、ざっくりと• そのようなアルゴリズムを 弱多項式時間アルゴリズムと呼び、計算量オーダーが「個数」のみに依存する多項式時間アルゴリズムを 強多項式時間アルゴリズムと呼んで区別することもあります。 これも多項式時間アルゴリズムは存在しないだろうと広く信じられている です。 a[0], a[1],... 実装方法については• を参考にしていただけたらと思います。 まごうことなき指数時間アルゴリズムです。 このように「数値」についての多項式になっている指数時間アルゴリズムのことを 擬多項式時間アルゴリズムと呼ぶことがあります。 例 12: 順列全探索 O nn! またしても有名なを考えます。 これも多項式時間アルゴリズムは存在しないだろうと広く信じられている です。 同じ都市を二度訪れてはダメです。 begin , order. 詳しくはで解説を行っています。 ここではループの中身の処理が重たい問題を見て行きたいと思います。 厳密に示すには、高校数学で懐かしい「区分求積法」を用いて示すことができます。 と呼ばれています。 アイディアは非常に単純です。 というのを繰り返すと最後に残るのは以下のようになります: [2, 3, 5, 7, 11, 13, 17, 19, 23, 29] このように、合成数を次々とふるい落としていくアルゴリズムです。 実際上の実装では、ふるいはで管理し、ふるい落とす作業は「フラグを消す」ことで行います。 二進法展開• 二分探索• 二分木に類するデータ構造を使う ヒープ、平衡二分探索木、セグメントツリーなど• ユークリッドの互除法を使う• 分割統治法を使う マージソートや最近点対問題など• 高速たたみ込み演算を使う 高速フーリエ変換 FFT など• ソートを前処理として使う 凸包や Kruskal 法など• 参考資料 さらに進んだ学習をする上で参考になる文献たちを挙げます:• 気軽にわかりやすく計算量について知ることができます。 アルゴリズムの世界的教科書で、日本語では三巻に訳されています。 そのうちの第一巻では「計算量」「ソート」「データ構造の初歩」について詳細に解説がなされています。 オーダー記法の数学的取扱いがしっかりしています。 計算量理論について体系立ててとてもわかりやすく解説した書籍です。 計算量理論へ入門するための書籍としてとてもよいです。 計算量理論に関する世界的入門書です。 特に NP 完全問題に関する理論をきちんと理解できます。 付録の NP 困難問題リストは「今直面している問題が NP 困難かもしれない」と感じたときに参照するととても便利です。 上の本は少し古い古典という感じですが、こちらは 2008 年出版と新しいです。 分厚く内容が豊富で、高度な話題まで扱っています。 各計算量オーダーのアルゴリズムとしてどんなものがあるのかを、より詳細に紹介しているスライドです。 付録 計算量に関する発展的トピックを紹介します。 5-1. ランダウの O 記法の詳細 冒頭で「極限」の概念を援用してざっくりと O 記法の概念を紹介したのですが、それだと通用しない場面もあるのでちゃんと定義します。 5-2. 5-3. となることの略証を示します。 よって、• 5-4. 時間計算量以外の計算量について 本記事では「計算量」の指標として 時間計算量 time complexity のみに焦点を当てました。 実際には計算量と呼ばれるものには他に• communication complexity、並列計算が重要な現代では重要な概念です• circuit complexity などがあります。 時間計算量のみの観点にとらわれず、様々な視点から「計算の本質」を追求して行くのが、であると言えます。 5-5. 計算量の概念を数学的にきっちりとしたい方へ 特に数学畑の人であれば気になることだと思います。 本記事では計算ステップ回数というものをざっくりと for 文や while 文のループ回数と考えて計算量オーダーを議論しました。 結局それで特に問題はないのですが、やはり数学的にきっちりと定義したいと感じる方も多いと思います。 そのためには• チューリングマシン TM を用いて「計算」というものをきちんと定義する• 「問題」の計算可能性について、きちんと議論する• ランダムアクセスマシン RAM を定義して、その下で「計算の 1 ステップ」を定義する といった根本的な事柄を議論することになります。 参考資料に挙げた書籍たちを学ぶことで、この辺りの事情をスッキリと整理できると思います。 5-6. むすび 今回は計算量オーダーという概念の解説から始まり、様々なアルゴリズムの計算量解析、周辺トピックの紹介を行いました。 では実際に「愚直なアルゴリズム」の計算量オーダーを改善して高速化する事例をいくつか紹介します。 msi. 今回は計算量オーダーの求め方について書きます。 wikipedia. slideshare. また本記事の続編として、実務で気を付けたい計算量の罠の話を書きました。 これでは最悪 32 回かかってしまいます。 もっと賢い方法があります。 これに対して相手の思い浮かべる数の制限が 65536 未満だったとしましょう。 できれば実装する前に「どのくらいの計算時間がかかるのか」を判断できるようにしたいところです。 imgix. amazonaws. png? imgix. amazonaws. png? amazonaws. imgix. amazonaws. png? 確かに極限まで高速化を追求する場面では、係数の差は重要になって来ます。 しかしその前段階では係数の差はほとんど無視できます。 プログラムの実行時間を短くするには、まずはアルゴリズムの計算量オーダーを小さくすることが重要であることがわかります。 PC の性能は年々良くなっているため、この目安は時代とともに流動的です。 amazon. まとめると、解きたい問題のサイズと適用可能なアルゴリズムの計算量オーダーの上限は以下のように整理できます。 このサイズの問題を扱う場合は全データを読み込むとメモリに収まらないことも多く、あらかじめ登録されたデータベースから必要に応じて入力を読み取るようにすることも多いです。 wikipedia. 普段標準ライブラリを用いているために高速化の恩恵を意識することはないですが、愚直に実装すると 1 時間かかる処理が僅か 0. 1 秒で終えられるようになっています。 そうすると処理がありえないくらい遅くなってしまいがちなので、計算量についての意識をしっかりと持ちたいところです。 これよりオーダーの大きなアルゴリズムは実用にならないといった感じです。 フラグ変数 exist が最終的に true になるか false になるかによって判定します。 もし配列の先頭 a[0] が v だったら一瞬で終了します。 以下のように簡潔に実装できます。 上のコードを実行してみるとイメージが掴めると思います。 wikiwand. wikipedia. どこまでオーダーを小さくできるのかは未解決問題です。 これは二分探索法と言ったときに一般にイメージされる「配列 a の中に値 v があるかどうかを検索する処理」を少し一般化したものになっています。 分割統治法に基づいた以下のようなアルゴリズムです。 これはマージソートに限らず、分割統治法アルゴリズムを用いたときに広く見られる漸化式です。 hateblo. wikipedia. cse. iitk. Agrawal et al. a[0], a[1],... まごうことなき指数時間アルゴリズムです。 同じ都市を二度訪れてはダメです。 ここではループの中身の処理が重たい問題を見て行きたいと思います。 厳密に示すには、高校数学で懐かしい「区分求積法」を用いて示すことができます。 アイディアは非常に単純です。 kyushu-u. amazon. amazon. そのうちの第一巻では「計算量」「ソート」「データ構造の初歩」について詳細に解説がなされています。 オーダー記法の数学的取扱いがしっかりしています。 amazon. 計算量理論へ入門するための書籍としてとてもよいです。 amazon. 特に NP 完全問題に関する理論をきちんと理解できます。 付録の NP 困難問題リストは「今直面している問題が NP 困難かもしれない」と感じたときに参照するととても便利です。 amazon. 分厚く内容が豊富で、高度な話題まで扱っています。 slideshare. wikipedia. wikipedia. wikipedia. 結局それで特に問題はないのですが、やはり数学的にきっちりと定義したいと感じる方も多いと思います。 参考資料に挙げた書籍たちを学ぶことで、この辺りの事情をスッキリと整理できると思います。
次の
