カハンの加算アルゴリズム

カハンの加算アルゴリズム（英語: Kahan summation algorithm、直訳するとカハンの総和アルゴリズム）とは、有限精度の浮動小数点数列の総和を計算する際の誤差を改善する計算手法・アルゴリズム。計算機において精度に制限のある計算をする場合に、計算の途中の誤差を保持することで補正する。Compensated summation（補正加算）とも呼ぶ。

単純に n 個の数値の総和を計算すると、n に比例して誤差が増えていくという最悪のケースがありうる。また、無作為な入力では二乗平均平方根の誤差すなわち ${\displaystyle {\sqrt {n}}}$ に比例する誤差が生じる（丸め誤差はランダムウォークを形成する）。補正加算では最悪の場合の誤り限界 (error bound) は n とは独立なので、多数の数値を合計しても、誤差は使用する浮動小数点数の精度に依存するだけとなる。

このアルゴリズムの名は考案したウィリアム・カハンに因む。似たようなそれ以前の技法として、例えばブレゼンハムのアルゴリズムがあり、整数演算での誤差の蓄積を保持する（文書化されたのはカハンとほぼ同時期である）。その他の類似例としてはΔΣ変調が挙げられる。ΔΣでは、誤差の蓄積の保持が積分となっている。

擬似コードと解説

このアルゴリズムの擬似コードは以下の通り:

function kahanSum(input)
    var sum = 0.0
    var c = 0.0             // 処理中に失われる下位ビット群の補償用変数
    for i = 1 to input.length do
        y = input[i] - c          // 問題なければ、c はゼロ
        t = sum   y               // sum が大きく y は小さいとすると、y の下位ビット群が失われる
        c = (t - sum) - y         // (t - sum) は y の上位ビット群に相当するので y を引くと下位ビット群が得られる（符号は逆転）
        sum = t                   // 数学的には c は常にゼロのはず。積極的な最適化に注意
    next i                  // 次の繰り返しで y の失われた下位ビット群が考慮される
    return sum

6桁の十進浮動小数点演算を例として動作を見てみよう。コンピュータは普通二進演算だが、基本原理は同じである。sum の値が 10000.0 で、次の input(i) が 3.14159 と 2.71828とする。正確な加算結果は 10005.85987 であり、6桁に丸めると10005.9となる。単純に加算すると1回目の加算で 10003.1、2回目で 10005.8 となり、正しくない。

c の初期値はゼロとする。

  y = 3.14159 - 0                    y = input[i] - c
  t = 10000.0   3.14159
    = 10003.1                        大部分の桁が失われた
  c = (10003.1 - 10000.0) - 3.14159  これは書かれた通りに評価される必要がある
    = 3.10000 - 3.14159              y の失われた部分を得るため、本来の y との差分を得る
    = -.0415900                      6桁なので、最後にゼロが付与される
sum = 10003.1                        このように input(i) の一部の桁しか加算されていない

合計が非常に大きいため、入力数値の一部の桁しか反映されない。しかし、ここで次の input(i) の値が 2.71828 とすると、今回は c がゼロではないため次のようになる。

  y = 2.71828 - -.0415900            前回加算できなかった部分をここで反映する
    = 2.75987                        大きな変化はなく、ほとんどの桁が有効に計算される
  t = 10003.1   2.75987              しかし、総和へ加算しようとすると一部の桁しか考慮されない
    = 10005.9                        丸めが発生している
  c = (10005.9 - 10003.1) - 2.75987  反映されなかった分を計算する
    = 2.80000 - 2.75987              今回は加算された値が大きすぎる
    = .040130                        しかし、次の繰り返しで反映するので問題ない
sum = 10005.9                       正確な値は 10005.85987 であり、正しく6桁に丸められている

ここで、総和は2つの部分に分けられて実行されると考えられる。すなわち、sum は総和を保持し、c は sum に反映されなかった部分を保持する。そして次の繰り返しの際に sum の下位桁への補正を試みる。これは、何もしないよりはよいが、精度（桁数）を倍にした方がずっと効果があるのも事実である。ただし、単純に桁数を増やすことが現実的とは限らない。input が倍精度だった場合、四倍精度をサポートしているシステムは少ないし、四倍精度を採用するなら input 内のデータも四倍精度にしなければならない。

精度

補正加算における誤差を注意深く分析することで、その精度の特性がわかる。単純な総和の計算よりも正確だが、悪条件の総和では相対誤差が大きくなる。

i=1,...,n の n 個の数値 x_i の合計を計算するとする。その計算は次の式で表される。

${\displaystyle S_{n}=\sum _{i=1}^{n}x_{i}}$ （無限の精度で計算する場合）

補正加算では、${\displaystyle S_{n} E_{n}}$ で総和が表され、誤差 ${\displaystyle E_{n}}$ について次が成り立つ。

${\displaystyle |E_{n}|\leq \left[2\varepsilon O(n\varepsilon ^{2})\right]\sum _{i=1}^{n}|x_{i}|}$

ここで ε は使用する算術体系の計算機イプシロンである（例えば、IEEEの倍精度浮動小数点数の場合は ε≈10⁻¹⁶）。通常、関心のある量は相対誤差 ${\displaystyle |E_{n}|/|S_{n}|}$ であり、相対誤差は上の式から次のような条件となる。

${\displaystyle {\frac {|E_{n}|}{|S_{n}|}}\leq \left[2\varepsilon O(n\varepsilon ^{2})\right]{\frac {\sum _{i=1}^{n}|x_{i}|}{\left|\sum _{i=1}^{n}x_{i}\right|}}.}$

この相対誤差の境界条件式において、分数 Σ|x_i|/|Σx_i| が総和問題の条件数である。計算方法がどうであれ、この条件数が総和問題の本質的な誤差への敏感さを表している。固定精度を使った固定の（すなわち、任意精度演算のようにデータによって時間および領域の計算量が変化するアルゴリズムではない）アルゴリズムによる全ての（後方安定な）総和計算技法の相対誤差条件は、その条件数に比例する。「悪条件」の総和問題では、その比率が大きくなり、補正加算であっても相対誤差が大きくなる。例えば被加数 x_i が平均値がゼロの無相関の乱数列の場合、その総和はランダムウォークとなり、条件数は ${\displaystyle {\sqrt {n}}}$ に比例して成長する。一方、入力が無作為であっても平均がゼロでなければ、${\displaystyle n\to \infty }$ に伴って条件数は有限の定数に漸近することになる。入力が全て負でない場合、条件数は1となる。

固定の条件数が与えられると、補正加算の相対誤差は事実上 n とは独立となる。原理的に n よって線型に成長する O(nε²) があるが、この項は実質的にゼロと見なせる。というのも最終結果が精度 ε に丸められるので、n がおよそ 1/ε かそれ以上でない限り nε² という項はゼロに丸められる。倍精度の場合、その項が無視できなくなる n の値は 10¹⁶ ぐらいであり、多くの場合それほどの数値の総和を求めるのは現実的でない。したがって、条件数が固定なら補正加算の誤差は事実上 O(ε) となって、n とは独立である。

それに比べ、加算のたびに丸めが発生する単純な総和計算では、相対誤差は ${\displaystyle O(\varepsilon n)}$ と条件数をかけた値として成長していく。ただし、この最悪ケースは丸め方向が毎回同じ場合のみ発生するので、実際にはめったに観察されない。実際には丸め方向は毎回無作為に変化し、その平均はゼロに近づくことが多い。その場合の単純な総和の相対誤差は二乗平均平方根となり、${\displaystyle O(\varepsilon {\sqrt {n}})}$ と条件数をかけた値として成長していく。その場合でも補正加算より誤差が大きくなる。ただし、精度を2倍にすれば ε が ε² となるので、単純総和の誤差は O(nε²) となって、元の精度での補正加算に匹敵するようになる。

代替手法

カハンのアルゴリズムでの誤差成長は入力数 n に対して ${\displaystyle O(1)}$ だが、ペアごとの和では若干悪い ${\displaystyle O(\log n)}$ となる。これは入力を再帰的に半分に分けていって、再帰的に加算を行う方式である。この技法は単純な総和計算に比べて加算回数が増えないという利点があり（カハンのアルゴリズムでは演算回数が4倍に増える）、並列計算も可能という利点がある。通常、再帰の行き着いた基本ケースでは1回または0回の加算になるが、再帰のオーバーヘッドを低減させるため n がある程度小さくなったらそれ以上再帰させないという方式も考えられる。ペアごとの和と同様の技法は高速フーリエ変換 (FFT) アルゴリズムでよく使われており、そのためFFTでは誤差が対数的に成長することが多い。実際には丸め誤差の符号は無作為に変化するので、ペアごとの和の二乗平均平方根誤差の成長は ${\displaystyle O({\sqrt {\log n}})}$ となる。

もう1つの代替手法として、何よりも丸め誤差を生じないことが優先されるなら、任意精度演算を使うことが考えられる。Shewchukは、特に高精度ではないが正確に丸められた総和を求める技法として、任意精度演算を使ってそれなりのコストで計算する方法を示した。Kirchnerとウルリヒ・クリッシュはビット幅の大きいアキュムレータを使い、整数演算だけで総和を求める技法を示した。ハードウェアの実装を示した例として Müller、Rüb、Rülling の論文がある。

10の20乗といったような絶対値が極端に大きい数を扱うことが無い、会計などには、浮動小数点方式ではなく、必要十分な桁数以上を確保した固定小数点方式（また、場合によっては十進演算）を、可能であれば使う方がよい。

最適化にまつわる注意

コンパイラが生成するコードは、最適化により、書かれたプログラムと正確に対応しないのが普通である。コンパイラはプログラムの内容を数式処理的に解析して最適化を施すことがあるが、コンパイラの設計によってはカハンの加算アルゴリズムについて間違った最適化を行なうことがある。例えば、以下のコードについて

  t:=sum   y;
  c:=(t - sum) - y;

コンパイラは、結合法則を適用して以下のように推論することがある。

  c = 0

すると補正がなされなくなる。ただし、一般にコンパイラは浮動小数点演算では近似的にしか結合法則が成り立たないとして、明示的に「安全でない」最適化を指示されないかぎり、このような最適化を行わない。なお、Intel C Compiler のようにデフォルトで結合法則を適用した最適化を行うコンパイラもある。K&R版の最初のC言語では、結合法則による浮動小数点演算の項の並べ替えを許していたが、ANSI C 規格ではそれが禁止され、C言語を数値解析分野で使いやすくした（FORTRANでも並べ替えが禁止されている）。それでもオプションを指定すれば並べ替えできるようにしてあるコンパイラが多い。

一方、一部の言語では総和機能を提供している（APLの /input、FORTRANのSUMなど）。これらは最良の手法で総和を計算するような実装であると期待される。しかし、FORTRANのマニュアルを見ても単に入力と同じ精度で計算するとあるだけで詳細は不明である。線型代数学の標準的サブルーチン集であるBLASでは、高速化のための演算順序の並べ替えを明確に避けているが、BLASの実装ではカハンのアルゴリズムを採用していないことが多い。Pythonの標準ライブラリには fsum という総和関数があり、Shewchukのアルゴリズムを使い丸め誤差の蓄積を防いでいる。

脚注

外部リンク

• Floating-point Summation, Dr. Dobb's Journal September, 1996
• IEEE754 と数値計算 皆本晃弥（佐賀大学理工学部）