原題は『Self-Organizing Systems, 1963』、編者は James Emmett Garvey です。
例によって、プロジェクト・グーテンベルグさまに御礼。
図版は省略しました。索引が無い場合、それは私が省いたか、最初から無いかのどちらかです。
以下、本篇。（ノー・チェックです）
*** グーテンベルク・プロジェクト開始 電子書籍「自己組織化システム」、1963年 ***
自己組織化システム
1963
編集者
ジェームズ・エメット・ガーベイ
海軍研究局
（カリフォルニア州パサデナ）
ACR-96
海軍研究局 海軍
省
ワシントンD.C.
米国政府印刷局発行
、ワシントンDC 20402—価格1.50ドル
コンテンツ
序文 iv
イオン仮説とニューロンモデル 1
—ERルイス
興奮性細胞構造における場と波動 19
—RM スチュワート
多層学習ネットワーク 37
—RAスタッフォード
未知のバイナリ波形の適応型検出 46
—JJ・スピルカー・ジュニア
自己組織化機械の概念設計 52
—PA クライン
自己組織化のための位相幾何学的基礎 65
—RI Ścibor-Marchocki
機能的ニューロンモデリングについて 71
—CEヘンドリックス
ニューラルネットワークシミュレーションのためのパラメータの選択 76
—RKオーバートン
招待参加者一覧 77
[4ページ]
序文
本書に掲載されている論文は、1963年11月14日にカリフォルニア州パサデナのカリフォルニア工科大学で開催された、米国海軍研究局主催の自己組織化システムに関するシンポジウムで発表されたものです。このシンポジウムは、比較的珍しい、開発初期段階にあるアプローチや手法に重点を置き、現代の重要な研究成果を発表し議論するための重要なフォーラムを提供することを目的として開催されました。この目的と性質上、シンポジウムは事実上ワーキンググループとして運営され、招待者の参加人数は限定されていました。
発表・議論された論文は、実際には比較的知られていないいくつかの手法を紹介する役割を果たしました。発表者の中には将来有望な若手科学者もいれば、異なる分野での貢献で既に知られていたものの、自己組織化に関する最近の研究ではまだ評価されていない科学者もいました。さらに、これらの論文は、この新しい学問分野の基盤を示すものとして、特に幅広い分野横断的な研究を網羅しており、それ自体に価値がありました。したがって、シンポジウムで発表・議論された情報は、会議に直接参加できた人々よりもはるかに幅広い科学者や技術者にとって非常に興味深いものであり、相応の普及がなされるべきであったことは、後から振り返って明らかになりました。本書は、その観察結果に基づいて作成されたものであり、シンポジウムで発表された論文を編集した論文集として、その議事録を構成しています。本書が現在および将来の研究者にとって有用な参考資料となり、いくつかの新しい手法の源泉を記録するものであれば、本書の意図した目的は十分に達成されたと言えるでしょう。
ワーキンググループの性質を持つシンポジウムは、その有用性において特に効果的な解説と批判的分析に依存しており、この点において参加者全員の貢献を称賛します。さらに、シンポジウムの成功に貢献した以下の皆様にも感謝の意を表します。カリフォルニア工科大学には、ホスト役を快く引き受けていただき、また数多くの支援サービスを提供していただきました。カリフォルニア工科大学ウィリス・ブース・コンピューティングセンター所長のギルバート・D・マッキャン教授、および同センターの技術スタッフと事務スタッフの皆様には、大学の代表として責任を持ってご尽力いただきました。プログラム委員会の皆様には、各セッションの企画・運営にご尽力いただきました。―ハロルド・ハミルトン [Pg v]ジェネラル・プレシジョン社のジョセフ・ホーキンス氏、フォード・モーター社のロバート・スチュワート氏、ノースロップ社のピーター・クライン氏、そしてマッキャン教授、本論文集を出版した海軍研究所技術情報部の皆様、そして特にシンポジウムの中核を成し、本書を構成する論文の著者の皆様に、主催者一同、心より感謝申し上げます。
ジェームズ・エメット・ガーベイ海軍研究局支局、カリフォルニア州パサデナ
マーゴ・A・サス海軍研究局ワシントンDC
[1ページ目]
イオン仮説とニューロンモデル
ERルイス
リブラスコープ・グループ、ジェネラル・プレシジョン社
研究システムセンター
、カリフォルニア州グレンデール
ホジキンとハクスリーの測定は、全か無かのスパイクの発生と伝播のメカニズムを解明することを目的としていました。彼らの研究結果は、現代イオン仮説へとつながりました。1952年の論文発表以来、微小電極を用いた高度な技術によって、軸索だけでなくニューロンの細胞体や樹状突起においても、多くの閾値下活動モードが発見されてきました。これらの活動には、シナプス電位、局所応答電位、ペースメーカー電位などが含まれます。
私たちは「この活動はホジキン・ハクスリーモデルでも説明できるのか？」という疑問を検討しました。その答えを探るため、イオン仮説に基づき、ホジキンとハクスリーのデータを基に設計された電子アナログを構築しました。シナプス入力は、シミュレーションされたコンダクタンス（カリウムまたはナトリウム）に直接接続された単純な一次または二次ネットワークによってシミュレートされました。このアナログは、わずかなパラメータ調整によって、閾値活動と閾値下活動のすべてのモードを再現しました。
導入
近年、生理学者は細胞内微小電極を用いてニューロンを詳細に調べる技術を非常に向上させてきた。実際、彼らは現在、（a）単一のシナプス前インパルスによって誘発されるシナプス後膜の電圧変化（例えば、参考文献1および2を参照）と、（b）神経細胞膜の局所領域における電圧-電流特性（3）、 （4）、（5）、（6）を測定できるようになっている。微小電極を用いることで、生理学者は軸索の全か無かのスパイク発生および伝播特性だけでなく、個々のニューロンにおける体細胞および樹状突起構造の電気的特性も調べることができるようになった。これらの観察結果から、多くの生理学者は、個々の神経細胞は、初期の多くのモデル研究者が想定していた単純な2状態デバイスとはかけ離れた、潜在的に複雑な情報処理システムであると考えるようになった。このニューロンに関する新しい概念は、Bullockが1959年にまとめた論文によく表されている。 [2ページ目]科学論文（10）。近年の生理学文献に照らすと、単一ニューロンの情報処理能力を評価する際に、体細胞と樹状突起の多様な挙動を正当に無視することはできない。これは、数学的理想化、電気化学モデル、電子アナログのいずれを使用するかに関わらず当てはまる。我々は特にニューロンの電子アナログに興味を持っており、シミュレートしなければならない挙動が非常に多様であることから、まずアナログを設計するための統一的な概念を見つけることを目標としてきた。我々は、現代イオン仮説にそのような概念を見出したと考えており、本論文では、この仮説に基づいており、軸索の特性だけでなく、ニューロンの体細胞と樹状突起のさまざまな閾値下特性もシミュレートするニューロンの電子アナログについて議論する。
まず、ニューロンの体細胞および樹状突起構造で観察されている様々な種類の閾値下活動について簡単に概説します。次に、ホジキン・ハクスリーのデータと現代イオン仮説について簡単に説明します。続いて、ホジキン・ハクスリーのデータに基づいた電子アナログを紹介し、このアナログを用いて様々な種類の体細胞および樹状突起活動を再現する方法を示します。
ニューロンにおける閾値下電気活動
神経生理学の最近の文献を調べると、単一の神経細胞における誘発性および自発性の電気活動の形態の多様性にすぐに驚かされる。これは、全か無かの活動電位の時間的パターンだけでなく、段階的な体細胞電位および樹状突起電位にも当てはまる。例えば、ニューロンのシナプス膜は電気的に興奮性がなく、したがって活動電位を生成できないことがしばしばわかっている。しかし、段階的なシナプス誘発電位は、驚くほど多様な形態を示す。シナプス前インパルスに応答して、シナプス後膜は過分極（抑制性シナプス後電位）、脱分極（興奮性シナプス後電位）、または静止電位のままで特定のイオンに対する透過性が増加する（抑制の一形態）ことがある。孤立したシナプス前スパイクに対するシナプス後電位の形態は、図 1に示すように、シナプスごとにいくつかの点で変化する可能性があります。シナプス前スパイクの後、シナプス後電位は通常、ある程度の遅延を伴ってピーク値まで上昇し、その後平衡電位または静止電位に向かって下降します。潜在的に重要な 3 つの要因は、遅延時間 (シナプス遅延)、ピーク振幅 (シナプスの空間的重み)、および平衡電位への下降速度 (シナプスの時間的重み) です。一斉発火における個々のスパイクに対するシナプスの応答は、段階的に増強 (促進)、減弱 (抑制促進)、またはどちらでもない(1)、(2)、 (7)、(8)可能性があります。促進は、段階的に増加するピーク振幅の形、または段階的に減少する下降速度の形をとる可能性があります (図 2 を参照)。促進または抑制の時間経過と大きさは、重要なシナプスパラメータである可能性が高い。さらに、シナプス後膜は、シナプス前スパイクの連続発火の停止時に興奮性または抑制性の後効果（あるいはその両方）を示すことがある（2）、 （7）。そして、後効果の時間経過と大きさは重要なパラメータである可能性がある。明らかに、シナプス電位だけを考慮しても、驚くほど多様な応答に直面することになる。さまざまな種類のシナプス後応答の例は文献に見られるが、本稿の議論の目的のために、図2の理想化された波形は 、直面する電気的挙動の多様性を示すことになる。[3ページ]
図1—単一のシナプス前スパイクに対する興奮性シナプス後電位
[4ページ]
図2—理想化されたシナプス後電位
[5ページ]シナプス誘発電位に加えて、多くのニューロンで低周波の自発的な電位変動が観察されている （2）、（7）、（9）、 （10）、（11）。これらの変動は一般にペースメーカー電位と呼ばれ、通常は律動的で、波状または鋸歯状に近い形状をしている。脱分極相には、スパイク、スパイクの連発、またはスパイクが全く発生しない場合もある。ペースメーカーの周波数は、1秒間に10サイクル以上から10秒に1サイクル以上まで報告されている。いくつかの理想的なペースメーカー波形を図3に示す。
図3—理想化されたペースメーカー電位
[6ページ]
図4—段階的反応
Bullock (7)、(10)、 (12)、(13)は、彼が段階的応答と呼ぶ第 3 のタイプの閾値下応答の存在を実証しました。シナプス後膜は電気的に興奮しないことが非常に多い一方で、体細胞膜や樹状突起膜の他の領域は中程度の興奮性があるようです。Bullock はこれらの領域で段階的応答を観察しています。段階的応答領域に一連のパルス電圧刺激を適用すると、観察される応答は図 4Aに示されているものと同様になります。ピーク応答電圧を刺激電圧の関数としてプロットすると、図 4Bと同様の曲線が得られます(参考文献 3、4 ページを参照)。 [7ページ]入力電圧が小さい場合、応答曲線は直線的であり、膜は受動的です。しかし、刺激電圧が増加するにつれて、応答はますます不均衡になります。膜は刺激電位を能動的に増幅します。さらに高い刺激電位では、システムは再生的になり、完全な活動電位が発生します。応答のピーク振幅は、刺激の振幅だけでなく、刺激の持続時間にも依存します。また、刺激電圧の印加速度にも依存します。たとえば、刺激電位が電圧ランプである場合、応答はランプの傾斜に依存します。上昇速度が十分に低い場合、膜は、急激に印加された電圧に対するスパイク閾値よりもはるかに高い電圧に対して受動的に応答します。言い換えれば、段階的応答領域は、ゆっくりと変化する電位に適応しているように見えます。
機能的な動作という観点から、シナプスは変換器と考えることができます。この変換器への入力は、シナプス前軸索におけるスパイクまたは一連のスパイクです。出力は、蓄積された持続的な電位であり、何らかの形で（おそらく一意ではないものの）シナプス前スパイクのパターンを表します。ペースメーカーは時計の機能を果たし、周期的なスパイクまたはスパイクバーストを生成したり、ニューロン全体の興奮性の周期的な変化を生成したりします。段階的応答領域は、非線形増幅器として、また時にはスパイク開始器として機能するようです。この電気活動の最終的な結果は、スパイク開始部位で発生し、軸索に沿って他のニューロンに伝播する一連のスパイクに変換されます。上記のニューロンの電気活動は、以下の概要にまとめられています（一部はBullock（7）から引用）。
- シナプス電位
a. 興奮性または抑制性
b. 促進、阻害、またはどちらでもない
c. 興奮性後効果、抑制性
後遺症、どちらでもない、または両方 - ペースメーカー電位
a. 弛緩型、波動型、
または全くない
b. 単一スパイク、スパイクバースト、
またはスパイクなし
c. 規則的または散発的 - 段階的反応（速度依存性）
- スパイクの発生
[8ページ]
現代のイオン説
ホジキン、ハクスリー、カッツ（3）およびホジキンとハクスリー （14）、（15）、（16）は、1952年にイカ（Loligo）の巨大軸索における電圧、電流、および時間の関係の詳細な測定を記述した一連の論文を発表した。ホジキンとハクスリー（17）は 、これらのデータを統合し、スパイクの発生と伝播中の事象の仮想的な時間経過を記述する一連の連立微分方程式に形式化した。これらの方程式が記述する仮想システムは、現代イオニア仮説の基礎となっている。
ホジキンとハクスリーが提唱したシステムは、基本的に軸索膜を横切るイオン流の動的な拮抗関係に基づいています。膜自体は、細胞内液と細胞外液という2つの液相の境界を形成しています。細胞内液はカリウムイオンと不動の有機アニオンが豊富で、細胞外液にはナトリウムイオンと塩化物イオンが豊富に含まれています。膜はカリウムイオン、ナトリウムイオン、塩化物イオンに対してわずかに透過性があるため、これらのイオンは膜を横切って拡散する傾向があります。軸索が不活性（スパイクを伝播していない）のとき、膜はナトリウムイオンよりも塩化物イオンとカリウムイオンに対してはるかに透過性が高くなります。実際、この状態では、ナトリウムイオンは膜の内側から外側へ能動的に輸送され、内側への漏出と釣り合うのに十分な速度で輸送されます。したがって、膜の両側の相対的なナトリウムイオン濃度は能動輸送速度によって決まり、膜を横切る正味のナトリウム流は実質的にゼロになります。一方、カリウムイオンは細胞外へ移動する傾向があります。一方、塩化物イオンは細胞内へ移動する傾向がある。そのため、細胞内は細胞外に対して負の電位となる。膜電位が、塩化物イオンの内向き拡散と外向き拡散、およびカリウムイオンの外向き拡散と内向き拡散（場合によっては能動的な内向き交換）のバランスをとるのに十分になると、平衡状態が確立される。平衡電位は通常60～65ミリボルトの範囲である。
静止状態の神経膜は分極しており、内側は外側に対して約60ミリボルト負の電位になっている。ホジキン・ハクスリーのデータのほとんどは、膜電位の段階的な低下（脱分極）に対する膜貫通電流の測定に基づいている。ホジキンとハクスリーは、外部イオン濃度を変化させることで、膜貫通電流をカリウムイオン電流とナトリウムイオン電流という2つの「活性」成分に分解することができた。彼らは、膜が [9ページ]塩化物イオンおよび他のほとんどの無機イオンに対する透過性は比較的一定であったが、カリウムイオンとナトリウムイオンに対する透過性は膜電位に強く依存していた。突然の脱分極（ステップ脱分極）に応答して、ナトリウム透過性は急速にピークに達し、その後指数関数的に減少して定常値となる。一方、カリウム透過性はかなりの遅延を伴って上昇し、膜が脱分極状態にある限りその値が維持される。カリウム透過性とナトリウム透過性の両方の大きさは、脱分極の増加に伴って単調に増加する。わずかな脱分極を加えると、ナトリウム透過性が直ちに増加する。その結果生じるナトリウムイオンの流入増加により、さらに脱分極が起こり、このプロセスは再生的になり、全か無かの活動電位が生じる。活動電位のピークでは、ナトリウムコンダクタンスは減少し始めるが、遅延したカリウムコンダクタンスは増加する。回復はカリウムイオンの流出によってもたらされ、膜が再分極すると両方のイオン透過性は急速に低下する。しかし、カリウムの透過性はナトリウムの透過性よりも緩やかに低下する。これが、現代イオン仮説における全か無かの急激な変化を説明する基本的な理由である。
図5—軸索膜の小領域のホジキン・ハクスリー表現
図6—段階的脱分極に対するナトリウムコンダクタンスとカリウムコンダクタンスの典型的な応答
ホジキンとハクスリーは、特定のイオン種に対する正味の駆動力を膜電位と当該イオンの平衡電位との差として定義し、透過性の変化を等価電気伝導度の変化で表すことにより、イオンの [10ページ]図5 の電気的等価回路モデル。この等価回路における重要な動的変数は、ナトリウムコンダクタンス （G{Na}）とカリウムコンダクタンス（G{K}）である。ステップ脱分極に対するナトリウムコンダクタンスの変化を図6Bに示す。この変化は、7つの電圧依存パラメータによって特徴づけることができる。[11ページ]
- 遅延時間 ― 一般的に1ミリ秒未満
- 立ち上がり時間：1ミリ秒以下
- ピークコンダクタンスの大きさは、脱分極の増加に伴って単調に増加する。
- 不活性化時定数—脱分極の増加に伴い単調に減少する。
5．不活性化からの回復の時定数―不完全なデータ
- 定常状態コンダクタンスの大きさは、脱分極の増加に伴って単調に増加する。
- 急激な再分極時の下降時間—1ミリ秒未満。
図6Bは、強制的なステップ脱分極に対するカリウムコンダクタンスの変化を示している。この応答を特徴づけるには、以下の4つのパラメータで十分である。
- 遅延時間—脱分極の増加に伴い単調に減少する
- 立ち上がり時間—脱分極の増加に伴い単調に減少する
- 定常状態コンダクタンスの大きさは、脱分極の増加に伴って単調に増加する。
- 急激な再分極時の下降時間—8ミリ秒以上、脱分極の増加に伴いわずかに減少する。
前述のパラメータに加えて、ナトリウムコンダクタンスの過渡的な部分は、ゆっくりと変化する膜電位に順応するように見える。順応の時定数は、膜電位の変化の方向に応じて、不活性化または不活性化からの回復の時定数であるように見える（18）。ホジキン・ハクスリーモデルの残りの要素は定数であり、以下に列挙する。
- カリウム電位：80～85mV（内部負極）
- ナトリウム電位—45～50mV（内部が正）
- リーク電位：38～43mV（内部負極側）
- 漏洩伝導率：約0.23ミリモース/cm²
- 膜容量—約1μF/cm²
- 静止電位—60～65mV
- スパイク振幅：約100mV
ホジキン・ハクスリーモデルの電子シミュレーション
図7—ホジキン・ハクスリーモデルの電子シミュレーションのシステム図
コンダクタンス関数 G Na (v,t)とG K (v,t)を生成する適切な手段があれば、現代イオン仮説の本質的な側面を容易に刺激することができる。これを電子的に行う場合、2 つの問題がある。まず、入力が膜電位で出力が [12ページ]電圧または電流は、所望のコンダクタンス関数に比例します。次に、出力を電圧または電流から実効電子コンダクタンスに変換する必要があります。前者は非線形アクティブフィルタの必要性を意味し、後者は乗算器の必要性を意味します。基本ブロック図を図 7に示します。このシステムのいくつかの異なる実装が当研究室で開発され、いずれの場合も結果は同じでした。パラメータを Hodgkin と Huxley のデータにほぼ一致するように調整すると、電子モデルは軸索の重要な特性をすべて示します。スパイク振幅の約 5% ～ 10% の閾値で、1 ～ 2 ミリ秒の持続時間のスパイクを生成します。印加された刺激は [13ページ]一般的に前電位が続き、その後 1 ミリ秒未満の能動的上昇、続いて能動的回復が起こります。後脱分極は一般的に数ミリ秒続き、その後、長時間の後過分極が続きます。このモデルは、スパイク振幅の 5% ～ 10% のレオベースを持つ典型的な強度-持続時間曲線を示します。十分に長いナトリウム不活性化 (不活性化からの回復の時定数が長い) の場合、このモデルは古典的なウェデンスキー抑制(18)と同一の効果も示します。したがって、予想どおり、電子モデルは軸索の電気的特性を非常によくシミュレートします。
しかし、電子モデルは軸索特性に加えて、閾値下活動のセクションで概説した体細胞および樹状突起のすべての活動を再現することができます。ペースメーカーおよび段階的応答電位のシミュレーションは、追加の回路なしで行われます。ただし、シナプス誘導電位の場合は、補助ネットワークが必要です。これらのネットワークは、シナプス伝達に関する現在の概念（19）に従って、可変コンダクタンスに加算項を提供します。2種類のネットワークが使用されています。どちらの場合も、入力はシミュレートされたシナプス前スパイクであり、どちらの場合も出力は結果として得られるシミュレートされた化学伝達物質濃度です。どちらの場合も、伝達物質はシナプス前スパイク中に一定の速度で注入され、その後、酵素の存在下で不活性化されると想定されています。1つのネットワークは、酵素濃度が実質的に一定である一次化学反応をシミュレートします。もう1つのネットワークは、不活性化プロセス中に酵素濃度が減少すると想定される二次化学反応をシミュレートします。興奮性シナプスのシミュレーションでは、補助ネットワークの出力は電子モデル内のG Naに直接追加されます。抑制の場合は、 G Kに追加されます。電子膜モデルのパラメータを Hodgkin と Huxley によって測定された値に設定して、2 種類の補助ネットワークを使用してシナプス活動をシミュレートしようと試みました。シミュレートされた一次反応の場合、興奮性シナプスは、単一のパラメータである伝達物質不活性化率 (つまり、有効酵素濃度) の設定に応じて、促進、抗促進、またはどちらも示しません。このパラメータは、最も可能性の高いシナプス変数の 1 つであると思われます。この場合、促進と抗促進のメカニズムは、シミュレートされたシナプス後膜に含まれています。促進はG Naの膜電位に対する非線形依存性によるものであり、抗促進はG Naの不活性化によるものです。どちらの反応形態が生じるかは、2つのメカニズムの相対的な重要性によって決まる（18）。グルントフェスト（20）は、 [14ページ]これらのメカニズムはどちらも、それぞれ促進的および抑制的である可能性がある。一次入力を持つシミュレーションされた抑制性シナプスは促進が可能だが（18）、抑制的促進は観察されていない。ここでも、促進の有無は不活性化率によって決まる。
シミュレーションされた二次反応では、興奮性シナプスと抑制性シナプスの両方で促進が見られます。この場合、促進メカニズムは2つ存在します。1つはシナプス後膜に、もう1つは非定常的な神経伝達物質不活性化反応にあります。実際、活性膜電流は除去できますが、それでもこのシステムは促進を示します。二次補助ネットワークでは、興奮性促進、抗促進、またはどちらも存在しないかどうかは、初期、つまり静止状態の神経伝達物質不活性化速度に依存します。シナプス挙動は、シミュレーションされた酵素再活性化速度にもパラメトリックに依存します。抑制性抗促進は、シミュレーションされたシナプス前神経伝達物質供給を制限することによって、どちらのタイプの補助ネットワークでも導入できます。
イオン仮説のメカニズムには、特定の種類の残効が内在しています。電子モデルでは、シナプス前インパルスの後に、どちらのタイプの補助ネットワークでも残効が観察されます。たとえば、シミュレートされた興奮性シナプスへのスパイクのインパルスの後、シミュレートされた伝達物質の不活性化率に応じて、リバウンド過分極が発生する場合と発生しない場合があります。不活性化率が十分に高い場合、リバウンドが発生します。このリバウンドは、単相（抑制相のみ）または多相（興奮と抑制の連続サイクル）のいずれかになります。シミュレートされた抑制性シナプスへのスパイクのインパルスの後、シミュレートされた伝達物質の不活性化率に応じて、リバウンド脱分極が発生する場合と発生しない場合があります。このリバウンドも、単相または多相のいずれかになります。伝達物質の不活性化率を十分に低くすることで、モデル内で持続的な興奮後脱分極と持続的な抑制後過分極（2） が実現されています。
電子モデルでシミュレートされたシナプス後電位の一般的な形式は、実際のニューロンについて文献で発表されているものと驚くほどよく似ている。一次補助ネットワークは、OtaniとBullock （8）によって示されたものとほぼ同じ形式の促進を生成し、二次補助ネットワークは、ChalazonitisとArvanitake （2）によって示されたタイプの促進を生成する。興奮性抑制促進は、形式とシナプス前スパイク頻度への依存性の両方において、HagiwaraとBullock （1）によって示されたものとほぼ同じである。いずれの場合も、シナプス挙動は、実際のニューロンにおける伝達物質不活性化の実効速度によって決定される。 [15ページ]おそらく、シナプスにおける不活性化酵素の実効濃度に直接比例するだろう。
ペースメーカー電位は、補助ネットワークを使用せずに電子モデルで容易にシミュレートできます。これは、シミュレートされた膜に大きくて可変なシャント抵抗を挿入するか（図5参照）、静止電位で小さなナトリウム電流の漏洩を許容することによって実現されます。モデルの残りのパラメータをホジキンとハクスリーによって決定された値にできるだけ近づけて設定すると、漏洩電流によって低周波の自発的なスパイクが発生します。スパイク頻度は、漏洩電流の増加とともに単調に増加します。さらに、ナトリウムコンダクタンスの不活性化が複数のスパイクにわたって蓄積されると、周期的なスパイクペアとスパイクバーストが発生します。閾値下のペースメーカー電位もモデルで観察されていますが、パラメータ値をホジキン-ハクスリーのデータに近づけて設定すると、これらは一般的に実際のニューロンのペースメーカー電位よりも周波数が高くなります。シミュレートされたナトリウムコンダクタンスがない場合でもペースメーカーモードが存在する可能性があることは興味深い点です。これは非常に高周波のモード（50 Hz以上）であり、膜電位の決定においてカリウム電流と塩化物（または漏洩イオン）電流が交互に優勢になることによって生じます。実際のニューロンにおける低レベルの脱分極時のカリウムコンダクタンスに関するより詳細なデータが得られるまでは、このモードの重要性を評価することはできません。一般的に、モデルの観点から言えば、カリウムコンダクタンスは脱分極に伴う上昇と再分極に伴う下降の両方において遅延するため、ペースメーカー電位が発生する可能性があります。
電子モデルにおいても、速度依存性の段階的応答が観察されている。速度感受性（または順応性）は、ナトリウムコンダクタンスの不活性化によるものである。モデルのランプ脱分極に対する応答については、参考文献18で議論されている。この時点では、電気的興奮性を低下させるために、いくつかの代替モデルパラメータを変更することができた。しかし、これらのパラメータ変更はいずれも生理学的データによって正当化されるものではなかったため、満足のいくものではなかった。その後、最近の生理学的知見から妥当なパラメータである膜容量が、電気的興奮性を完全に決定できることがわかった。したがって、ホジキンとハクスリーによって決定された容量（1マイクロファラッド/cm²）を用いると、モデルは軸索に特徴的な興奮性を示す。容量が増加するにつれて、モデルの興奮性は低下し、10または12μμFでは実質的に興奮性を失う。したがって、容量が増加すると、 [16ページ]静電容量は一定であるが、残りのすべてのパラメータをホジキン・ハクスリーの値にできるだけ近づけて設定すると、電子モデルはブロックの段階応答領域の特性を示す。
膜容量が実際のニューロンの決定要因であるかどうかは、もちろん推測の域を出ない。膜容量の測定については激しい論争が繰り広げられているが（Rall（21）を参照）、証拠は細胞体の容量が軸索の容量よりもかなり大きいことを示している（6）、（22）。
膜モデルが興奮性を失って不活性化するまで静電容量を増加させても、シミュレーションで得られるシナプス応答の多様性にはほとんど影響がないことを付け加えておくべきである。促進、抑制促進、およびリバウンドは依然として存在し、伝達物質の不活性化速度に依存する。したがって、このモデルでは、真に興奮性を失っている膜であっても、活性膜コンダクタンスを利用して促進または抑制促進、およびリバウンドをもたらすことができる。静電容量を増加させると、シミュレーションで得られる閾値下ペースメーカー電位は、周波数が低く、形状もより自然になるため、はるかに現実的になる。
ある事例では、電子モデルが予測した挙動が、後に実際のニューロンで報告された。これは、シナプス電位とペースメーカー電位の相互作用に関するものであった。初期の実験では、モデルをペースメーカーモードに設定し、シミュレートされた抑制性シナプスに周期的なスパイクを印加すると、ペースメーカー周波数を変更できることが観察された。実際、ペースメーカー周波数は刺激周波数にロックする傾向があった。これにより、抑制性シナプス刺激の周波数を増加させると、自発的なスパイクの周波数が実際に増加するという逆説的な効果が生じた。非常に低い刺激周波数では、自発的なペースメーカー周波数は著しく変化しなかった。刺激周波数を増加させ、基本ペースメーカー周波数に近づくと、ペースメーカー周波数はロックして、刺激周波数のさらなる増加に追従する傾向があった。刺激周波数がペースメーカーが追従するには高すぎると、ペースメーカー周波数は急激に減少し、第1高調波にロックした。刺激周波数をさらに増加させると、ペースメーカー周波数は増加し、次の高調波に飛び、再び増加する、といった動作を繰り返します。この種の動作は、ムーアら （23）によってアメフラシ で観察され、著者が電子モデルで観察した直後にサンディエゴ生物医学エレクトロニクスシンポジウムで報告されました。
このように、膜容量以外のすべてのパラメータをホジキンとハクスリーの値に近い値に固定した電子アナログは、通常の閾値または軸索挙動のすべてを提供できることを示した。 [17ページ]また、7 ページで概説されている閾値以下の体細胞および樹状突起の挙動もすべて同様です。これが生理学的に重要な意味を持つかどうかはともかく、電子神経アナログの構築のための統一的な基盤となることは確かです。ホジキン・ハクスリー モデルに基づいて上記の挙動をすべて提供する単純な回路は、10 個以下の安価なトランジスタと通常の関連回路で構築されています(18)。近い将来、この種のモデルをいくつか利用して、個々のニューロンだけでなく、ニューロンの小グループやネットワークの情報処理能力を評価するのに役立てたいと考えています。
参考文献
- 萩原S、およびBullock、TH
「ロブスター心臓神経節のペースメーカーニューロンおよび統合ニューロンにおける細胞内電位」
J. Cell and Comp. Physiol. 50 (No. 1) :25-48 (1957) - 霰粒炎、N. および Arvanitaki、A.、
「神経節細胞における反復的なシナプス活性化中および活性化後の緩やかな変化」
ブル。研究所海洋学者。モナコ No. 1225 :1-23 (1961) - ホジキン、AL、ハクスリー、AF、カッツ、B.、
「イカの巨大軸索膜における電流-電圧関係の測定」
J. Physiol. 116 :424-448 (1952) - 萩原 晋、斉藤 直樹
「オンキディウム・ベルクラツムの神経細胞膜における電圧-電流関係」
J. Physiol. 148 :161-179 (1959) - 萩原 晋、斉藤 直樹
「フグの髄上神経細胞における膜電位変化と膜電流」
J. Neurophysiol. 22 :204-221 (1959) - 萩原 晋
「神経細胞膜の電流-電圧関係」
「単一細胞の電気的活動」
医学書院、東京、本郷（1960） - ブロック、TH、
「神経細胞レベルにおける神経系の統合作用のパラメーター」
実験細胞研究補遺 5 :323-337 (1958) - 大谷、T.、およびブロック、TH、
「自発性および統合性神経節細胞の細胞体膜電位を事前に設定した場合の影響」
生理動物学 32（第2号）：104-114（1959） - Bullock, TH、および Terzuolo, CA、
「自発性および統合性神経節細胞の細胞体における多様な活動形態」
J. Physiol. 138 :343-364 (1957) - ブロック、TH、
「ニューロン理論と電気生理学」
サイエンス 129（第3355号）：997-1002（1959） - 霰粒炎、N. および Arvanitaki、A.、
「アメフラシの神経細胞における徐波とそれに伴うスパイク」
ブル。研究所海洋学者。モナコ No. 1224 :1-15 (1961) - ブロック、TH、
「イカの星状神経節における単一シナプスの特性」
J. Neurophysiol. 11 :343-364 (1948) - ブロック、TH、
「神経統合メカニズム」
「無脊椎動物生理学における最近の進歩」
Scheer, BT 編、オレゴン州ユージーン：オレゴン大学出版局、1957年 - ホジキン（アラバマ州）とハクスリー（空軍州）
「イカの巨大軸索の膜を流れるナトリウムイオンとカリウムイオンによる電流」
J. Physiol. 116 :449-472 (1952) - ホジキン（アラバマ州）とハクスリー（空軍州）
「イカの巨大軸索における膜伝導の構成要素」
[18ページ] J. Physiol. 116 :473-496 (1952) - ホジキン（アラバマ州）とハクスリー（空軍州）
「イカの巨大軸索における膜電位のナトリウム伝導に対する二重効果」
J. Physiol. 116 :497-506 (1952) - ホジキン（アラバマ州）とハクスリー（空軍州）
「膜電流の定量的記述とその神経における伝導および興奮への応用」
J. Physiol. 117 :500-544 (1952) - ルイス、ER、
「カリウムイオンとナトリウムイオンのフラックスのダイナミクスに基づいたニューロンの電子アナログ」
「神経理論とモデリング」
RF Reiss 編、カリフォルニア州パロアルト：スタンフォード大学出版局、1964年 - エクルズ、JC、
シナプスの生理学、
ベルリン：シュプリンガー出版、1963年 - グルントフェスト、H.、
「接合部後細胞における興奮誘発因子」
「生理学的トリガー」
T.H. ブロック編、ワシントンD.C.：アメリカ生理学会、1955年 - ラル、W.、
「運動ニューロンの膜電位過渡現象と膜時定数」
実験神経学 2 :503-532 (1960) - 荒木 隆、大谷 隆、
「単一運動ニューロンの直接刺激に対する反応」
J. Neurophysiol. 18 :472-485 (1955) - ムーア、GP、パーケル、DH、セグンド、JP、
「介在ニューロンのペースメーカー調節における安定性パターン」
サンディエゴ生物医学工学シンポジウム議事録
カリフォルニア州サンディエゴ、1963年 - エクルズ、JC、
心の神経生理学的基盤
オックスフォード：クラレンドン・プレス、1952年
[19ページ]
興奮性細胞構造における場と波動
RMスチュワート
スペース・ジェネラル・コーポレーション
、カリフォルニア州エルモンテ
「生理学的方法による生命過程の研究は、非生物系の研究に比べて、苦労してようやく進展した。例えば、呼吸に関する知識は、燃焼の研究が進むにつれて体系的に整理され始めた。なぜなら、これは呼吸と類似した現象だからである。」
JZヤング（24）
導入
高密度に細胞が密集した媒体における電場の研究は、主に脳のメカニズムの詳細と行動との関連性をより深く理解したいという願望から始まった。私たちの研究は、比較的単純な無機材料を用いて、そのような構造とメカニズムをモデル化することに特化している。
こうした実験の原型は「リリー[1] 鉄線神経モデル」である。100年以上前、硝酸に浸した鉄片の表面に亜鉛片が触れると、目に見える波が発生することが観察された。鉄線は一時的に疲労したように見えるが、その後回復し、刺激を受けると再び波を発生できる。こうしたインパルスが末梢神経インパルスと直接関係しているという考えを裏付ける大きな証拠は、1920年頃のリリーの研究から得られた。全く別の方向ではあるが、脳内の樹状突起と、溶液からの金属の電着によって成長する樹状突起の形態的および動的な類似性について、様々な研究者が指摘している。特にゴードン・パスク(17)はこの類似性を指摘し、持続的な記憶痕跡の物理モデルの可能性について概説している。
このような概念と技術を組み合わせ、拡張することで、「灰白質」の巨視的モデルを作成したいと考えています。その構造マトリックスは、高密度で均質に混合された凝集体で構成されます。 [20ページ]小さなペレットは、内部の興奮波を維持する能力、内部の微細構造の成長による電気的挙動の変化、および末梢からの衝撃に対する時間的関連性の形成能力を備えている。
その後、少数の実験家が鉄線と神経インパルスの類似性をさらに追求し、神経興奮、インパルス伝達、および回復のメカニズムを解明しようと試みたが、一般的に関心は低かった。医学部の教科書や講義のデモンストレーションでは、形式的な教育の視覚的な補助教材として、ほとんどそのまま残されている。生物学の周辺分野では、さらに関心は低く、哲学的な生気論者は、このような心と記憶のモデルという考えにきっと反発するだろうし、その一方で、現代のコンピュータエンジニアは、神経細胞は動作が遅すぎて何の役にも立たないと考えているのが一般的である。このような関心の低さは、個々の神経線維を直接モニタリングする技術の開発が成功し、太い神経線維（さらには末梢神経や脊髄神経の接合部）を扱うことが鉄線を扱うのとほぼ同じくらい容易になったことが一因であることは間違いない。このような状況下では、このモデルの価値は限定的であり、おそらく神経活動のダイナミクスにおいて、特定の分子構造や局所的な化学反応以外の要因の役割を強調する程度に限られるだろう。
しかし、長い線維や末梢接合部におけるインパルス伝達の問題を脇に置いて脳について議論しようとすると、意味のある物理モデル技術の開発が非常に価値のあるものであることは疑いようもない。脳組織は柔らかく敏感で、細胞構造は小さく、絡み合っていて、信じられないほど多い。そのため（Young（24））、「…生理学者は、神経における神経インパルスについて多くのことを学んだ後、これらのインパルスが脳に到達したときにどのように相互作用するかを研究できるようになることを期待している。[しかし]、脳を理解するには、神経に使うことを学んだ用語だけで十分だと考えてはならない。神経の機能は電信線のようにインパルスを運ぶことである。脳の機能はそれとは異なる。」しかし、このような途方もない実験上の困難に直面し、包括的な数学理論が見当たらない状況では、脳機能の適切な理解を深めるには、言葉による議論、論理、理論化に頼るしかない。これは絶望的に不器用な手段である。 10年以上前、スペリー（19）は「現代科学は、最も単純な形態の精神活動に関わる神経現象を説明することすらできないほど途方に暮れている」と述べた。この状況は今日でもほとんど変わっていない。複雑な高密度細胞の発生、研究、理解は [21ページ]リリーモデルとパスクモデルの両方の特徴を併せ持つ構造は、この状況を緩和する可能性があると期待される。また、こうした技術が高度に発展すれば、非常に明白な技術的応用が見込まれるだろう。そして、この点が、他のどの理由よりも、本研究への支援を促す大きな要因となっている。
これまでに考案された実験では、以下の基本的な物理的機能特性が実証されている。
（１）密に充填された低導電性ペレットを含む電解質の体積抵抗率の制御
（２）閉ループ上での再生波の循環
（３）孤立した興奮性部位間の強い結合
（４）促進および消滅を含む論理的に完全な波動相互作用
（５）「閉鎖型」興奮性システムにおける電気めっきによる樹状突起の成長
（６）閾値以下の分布場効果、特に局所的に不応性の領域において。
さらに、実験手法全般や材料の選択に関する様々な問題、特に安定性、迅速な回復、長寿命といった点に必然的に注目が集まってきました。しかし、こうした実験の意義や動機を理解するために、神経生理学、組織学、心理学における関連する現代的概念を簡潔に概説します。これらの概念はそれぞれ以下のとおりです。
（１）中枢神経系の細胞構造
（２）短期記憶または「一時的な」記憶
（３）シナプス
（４）抑制
（５）長期記憶痕跡または記憶痕跡
（６）空間的に拡散した時間的関連性と学習。
現代の概念のいくつか
化学反応以外のプロセスを再現しようとしているので、神経化学の膨大な文献への言及は省略します。しかし、成長、生殖、代謝といった基本的な生物学的プロセスを無視すれば、学習メカニズムの一部を模倣できるとしても、驚くには当たらないでしょう。 [22ページ]はるかに単純な分子構造。神経生理学では、化学理論と電気理論、そしてそのメカニズムについてもよく議論されている。区別できる場合、その区別は重要な相互作用の規模という問題にかかっているようだ。つまり、「化学的」相互作用は、おそらく一定量の熱拡散の結果、あるいはそれに続いて、分子レベルで起こると考えられる。一方、「電気的」相互作用は、一般的に、より長距離またはより大きなスケールの巨視的な場を意味すると理解されている。
- 細胞構造
人間の脳には約 10¹⁰ 個のニューロンがあり、ニューロン説では中枢神経活動においてこれらのニューロンが主要な役割を担っているとされています。しかし、これらの細胞は脳全体の体積のごく一部を占めるにすぎません。例えば、その約 10 倍の数の神経膠細胞があり、その機能は比較的不明確です。各ニューロン (細胞体、樹状突起、場合によっては軸索から構成される) は、数千箇所で他のニューロンの樹状突起と密接に接触しており、これらのシナプスや「エファプス」は約 5μm 間隔で配置されています(1)。したがって、このような見かけ上の接合部の総数は 10¹³ オーダーになります。わずかにぼやけた視界で見ると微細構造に無限のバリエーションが見られるにもかかわらず、脳の細胞構造は驚くほど均質です。少なくとも大脳皮質においては、ほとんどの細胞の突起は比較的短く、大脳皮質が静止しているときには、脳波のアルファ波の振幅から、多数の細胞が一斉に拍動しているように見える。スペリーの言葉を再び引用すると、「要するに、現在の脳理論は、私たちの主観的な精神的経験を、ほぼ均質な脳組織を通して本質的に均質なインパルスを伝達する、比較的均質な神経細胞単位の活動と関連付けようと試みることを促している」。 - 短期記憶
例えば、長い光ファイバー上を伝わる一連のパルスは、コンピュータにおける遅延線が一時的メモリとして機能するのとほぼ同じように、短期記憶とみなすことができる。これと似ているが、やや長い長期記憶は、閉ループを循環する波の形でも存在すると考えられる（23）。実際、今日では、最も重要な記憶は、相互に関連する2つの基本的な方法で発生するというのがほぼ普遍的な見解である。まず、このような短期的な循環的、反響的、または再生的な記憶は、しかしながら、 [23ページ]昏睡、麻酔、脳震盪、極度の寒さ、深い睡眠、痙攣発作などの状況下でも持続する可能性があり、したがって、第二に、半永久的な微細構造変化の中に何らかの形で存在する長期記憶痕跡が存在する。ヘッブ（9）が述べたように、「反響痕跡は構造変化と協力し、成長変化が起こるまで記憶を保持する可能性がある」。 - シナプス
現在最も高く評価されているシナプスの概念は、主にエクルズ（5）によるものであり、彼によって最もよく説明されている。「…神経細胞間のシナプス結合は、重要な機能的結合の唯一のものである。これらのシナプスには興奮性シナプスと抑制性シナプスの2種類があり、前者は神経細胞にインパルスを放出させる傾向があり、後者は放出を抑制する傾向がある。脊椎動物のシナプスでは、それぞれのタイプが特定の化学伝達物質を介して機能するという確かな証拠がある…」。ヘッブ氏の発表（10）に対し、エクルズ氏は次のように述べたと伝えられている。「最後に、電気的相互作用があるとすれば、エスタブル博士の研究から接続の複雑さが分かっており、電子顕微鏡学者から中枢神経系の至る所に自由空間はなく、200 Å の隙間しかないことが分かっている以上、すべてが他のすべてと電気的に相互作用しているはずです。これは単なる電気的バックグラウンドノイズであり、特定の化学的接続によってそのノイズを超えると、重要な動作システムが得られると考えています。電気的相互作用は存在するが、それは単なるノイズ、迷惑なものだと私は思います。」エクルズ氏の結論は主に末梢神経系と脊髄で得られたデータに基づいている。しかし、脳内の細胞間相互作用は全く異なるものであると考える圧倒的な理由がある。例えば、「タコの最高位中枢は、脊椎動物や節足動物と同様に、多数の小さなニューロンを含んでいる。この発見はあまりにもありふれたことなので、おそらく私たちはこれまでその意味を十分に探求してこなかったのだろう。これらの小さな細胞の多くは多数の突起を持っているが、軸索はない。したがって、それらの機能が通常の意味で伝導的であるとは考えにくい。神経機能に関する私たちの考えのほとんどは、各ニューロンが本質的に何らかの伝導連鎖のリンクとして機能するという仮定に基づいているが、多数の短い枝を持つ細胞の場合、実際にはこの仮定を裏付ける根拠はない。神経網におけるこれらの突起同士の関係についてより詳しく知るまでは、これ以上述べるのは賢明ではないだろう。 [24ページ]このような細胞の放電は、長い経路での伝導のように同じ繊維を通って戻る内部回路ではなく、他のプロセスに入る外部回路である…」（３）。 - 抑制
エクルズが提唱した抑制性化学伝達物質は、数々の試みにもかかわらず、いまだに検出されていない。抑制のメカニズムは、細胞間相互作用の解明の鍵となる可能性があり、いかなる適切な理論においても、何らかの形で説明されなければならない。
興奮と抑制の相互作用の、より具体的な形態がこれまでにも提唱されてきた。おそらく最も良い例は、ゲゼル（8）と、より最近ではレッツラフ（18）の極性ニューロンであろう。このような概念では、興奮性結合と抑制性結合は、基本的に細胞レベルでの巨視的な構造の違いによって区別される。つまり、密接な細胞構造のさまざまな配置や向きによって、興奮または抑制が生じるのである。
- 長期記憶
半永久的な構造変化（または エングラムと呼ばれることもある）に関する現代の理論のほとんどは、分子レベルか細胞レベルのいずれかに着目している。エングラムの特定の場所として、(1) RNA分子構造の修飾、(2)細胞サイズ、シナプス領域または樹状突起伸長の変化、(3)神経網の修飾、 (4)細胞膜の局所的な変化など、さまざまなものが提案されている。実際、ニューロンやその樹状突起が使用によって成長し、樹状突起が不使用によって縮小または萎縮するという、かなり直接的な証拠がある。錐体ニューロンの頂端樹状突起は、活動が続くとより太くねじれ、神経線維は活動すると膨張し、（少なくとも脊髄では）追加の枝を出し、おそらく終末結節のサイズと数を増やす。コノルスキ（11）が指摘しているように、可塑性の変化が新しいシナプス結合の形成と増殖に関連しているという形態学的可塑性概念は、少なくとも1904年のラモン・イ・カハルまで遡ります。記憶痕跡の基質が何であれ、少なくとも成人においては、それは広範囲の脳損傷に対して驚くほど耐性があり、ヤング（24）が述べているように、「…記憶痕跡の性質に関するこの問題は、生物学全体の中で最も不明瞭で議論の多い問題の一つです。」[25ページ] - 場効果と学習
まず、ボイコットとヤング（3）によれば、「学習に関する議論のほとんどが依然として焦点を当てている現在の概念は、神経系は基本的にシナプスによって重要な点で連結された導体の連鎖の集合体から構成されているというものである。おそらくデカルトの理論と方法から生まれたこの反射概念は、脊髄の働きを分析する上で非常に大きな価値を発揮してきたことは間違いないが、実際には脳機能の理解の発展を妨げてきたと言えるだろう。」
学習と記憶の観察可能な証拠のほとんどは極めて複雑であり、その解釈には多くの落とし穴がある。学習を最も広い意味で捉えると、経験の結果として生じる行動パターンの半永久的な変化として検出できるかもしれない。そのような定義の中では、それぞれに異なるメカニズムが関連していると考えられる、いくつかの明確に異なるタイプの学習を確かに特定できるだろう。しかし、行動の半永久的な変化という状態を学習の基準とする定義に固執するならば、例えば神経症の発症を学習とみなしたり、あるいは深い昏睡状態を学習とみなしたりすることにも陥る可能性がある。
電場効果について考えると、現在の理論はかなり難解になりがちですが、そのような電場が重要であることはほぼ普遍的に認識されているようです。たとえば、モレル（16） は、学習の神経基盤への電気生理学的貢献に関するレビューの中で、「増え続ける知識体系（プルプラ、グルントフェスト、ビショップのレビューを参照）は、中枢神経系の最も重要な統合作業は段階的応答要素で行われていることを示唆しています。段階的応答要素とは、反応の程度が刺激の強度に依存し、全か無かではなく、不応期がなく、正負両方の電位変化が連続的に発生し、混ざり合って代数的に加算される要素です。」と述べています。ジェラード（7） も、これと似たような一般的なコメントをいくつか述べています。 「特定の細胞のこれらの特性は、通常、他の領域から発生するインパルスや、周囲の電場と化学場によって制御されます。電場と化学場はニューロンの相互作用に強い影響を与える可能性があります。このことは、電場の場合において十分に説明されています。」
「罰」と「報酬」、あるいは主観的には「痛み」と「快楽」を伴う学習状況は、一時的ではあるが構造的に広範囲に及ぶ場効果と関連している可能性が非常に高い。苦痛の状態 [26ページ]そして、成功は、同時発生の感覚イベント、あるいはもっと正確には、直前の感覚イベント に関連してのみ、行動に永続的な影響を及ぼすようです。たとえば、条件反射の「予測的」性質は広く注目されています （21）。構造的な観点からは、位置や機能に関係なく、最近活動した部位は広範囲の電場に特に敏感であるかのようです。神経膜と受動鉄表面の両方に固有の電気的特性があり、これが空間的に拡散した時間的関連性のメカニズムの答えとなる可能性があります。すなわち、活性化直後の不応期には、表面抵抗が静止値の1パーセント未満に低下します。
実験手法
ほぼすべての実験において、基本的な信号エネルギー機構は、リリー（12）、 ボンヘッファー（2）、山際（22）、 松本と後藤（14）らが最も広範に研究した機構、 すなわち硝酸に浸した鉄片またはクロム酸に浸したコバルト（20）の通常は不活性な表面での活性化、インパルス伝播、および回復と本質的に同じである。我々が最も頻繁に使用した鉄は純度約99.99%であり、洗浄した「コートハンガー」ワイヤーを使用した場合よりも一貫性があり、同様の性能が得られる。我々が最も頻繁に使用した酸は重量比で約53～55%の水溶液であり、以前の研究者が主に使用していたものよりもかなり希釈されている。最も頻繁に報告されている濃度は68～70％で、この溶液は非常に安定しており、そのため、より低い濃度の溶液よりも開放容器での取り扱いがはるかに容易で、非常に速い波を発生させますが、室温では非常に長い不応期（通常15分）をもたらします。鉄の表面に接触させた貴金属（銀、金、プラチナなど）は、おそらく局所電流の作用により安定化効果（14）をもたらし、希釈によって安定性と迅速な回復（1秒）の両方を簡単なデモンストレーションや実験で達成できる、シンプルで有用な技術を提供します。
電気めっきによる金属デンドライトの成長と研究に関する実験は、上述のエネルギー生成システムとの電気的、物理的、化学的な適合性を考慮して行われている。これまでのところ、安定性、非反応性、神経構造との形態的類似性の観点から最良の結果が得られているのは、53～55%硝酸に様々な量の塩化金塩を溶解させた場合である。[27ページ]
主要な実験を封じ込め、制御するために、装置が考案され、組み立てられました（図1参照）。その主要な構成要素は、試験チャンバー（図1の左側）と流体交換器（右側）の2つです。通常の動作では、実験装置を内部に設置した後、非常に頑丈でしっかりと密閉された試験チャンバーは、すべての気泡や気泡を排除して、電解質（または最初は不活性流体）で完全に満たされます。このようにカプセル化することで、不安定性のために通常は不可能な実験を行うことができます。このような実験を悩ませる不安定性は、すべての「興奮性」物質（すなわち鉄）上で大量の気泡が発生し、その後急速に崩壊するという形で現れます。予備実験では、膨張に利用できる体積を制限することで、このような「気泡不安定性」を抑制できることが示されました。特に、応答時間と回復時間を大幅に短縮できるため、多数の小さな鉄ペレットを含む集合体などの複雑なシステムに関する研究を進めることができます。
試験チャンバーにはヒーター（および温度制御）が備えられており、神経系と同等の電気化学的インパルス応答時間と回復時間（1～10ミリ秒）を実現できます。流体交換器は、試験チャンバー内の流体を、剛性のある密閉された完全液体充填ループ（「等容積」ループ）内で交換することにより、任意に交換または更新できるように構成されています。これにより、長期間にわたり、また多様な調査条件や運転条件下において安定性を維持することができます。
この装置の部品のほとんどはステンレス鋼製で、ポリエチレンとテフロンで密閉されています。試験チャンバーには小型の石英製観察窓、2つの小型照明ポート、圧力変換器、熱電対、ねじピストン式圧力アクチュエータ、および実験用電気入出力用のアンビリカルコネクタが備えられています。
基礎実験
以下のセクションで説明する基本的な実験の種類には、比較のために番号が付けられており、前のセクションで要約した関連する神経生理学的概念とおおよそ対応しています。
- 細胞構造
本研究の主な目的は、電解液に浸漬された小さなペレットが密に充填された集合体における、電気刺激に対する動的挙動の制御と解明である。通常、この集合体は（とりわけ）鉄を含み、電解液は硝酸を含む。この組み合わせにより、リリーの鉄線神経モデルと同様に、集合体内部を電気化学的表面波が伝播することが可能となる。鉄ペレットは、小さな誘電体（ガラスなど）ペレットのマトリックスに埋め込まれ、支持されている。さらに、電解液に様々な貴金属の可溶性塩を添加することで、内部または外部で発生する電場に応じて電気めっきにより長さと分布が変化する、第二の金属の長い樹枝状または繊維状の構造を形成することができる。[28ページ]
図1—試験チャンバーと
流体交換器
[29ページ]孤立した興奮性（鉄）サイト間の結合は、そのようなサイト間の空間を支え満たすガラスおよび流体媒体の微細構造と実効体積抵抗率に大きく影響されます。一般に（次のセクション3を参照）、小さな構造間の強い結合を促進するには、活性または励起された表面から電解質を通って同じ興奮性サイトに付着した樹枝状構造を通って戻る電流の「短絡」逆流を阻止する必要があります。これは、好ましくは電解質の組成とは特に無関係な手段によって体積抵抗率を制御（増加）することを必要とし、回復（すなわち「不応期」）などの表面現象に関係し、影響を与えます。図2は、適切な粒子サイズ分布の選択によって これがどのように行われるかを示しています。図示されたケースは、2つのサイズ相のランダムな球状粒子の混合物で最大の抵抗率を得るための適切な体積比の近似値を示しています。
- 再生ループ
図3は、銀線をらせん状に巻き付けた鉄製のループ（直径約2インチ）を示しています。このループは53～55%の酸の中でも非常に安定しており、3つのパルスの循環パターンを容易に維持できます。実証のために、まず鉄に亜鉛片を接触させ（これにより2つの逆方向に進行する波が発生します）、次にそのうちの1つを白金片、または棒や杖の先端に取り付けた小さな白金スクリーンで遮断することで、片側波を発生させることができます。この目的には、カーボンブロックを使用することもできます。
現在私たちが考案できる最小の再生ループまたは反響ループは、直径約1mmです。予想通り、複数の波によって、すべてのインパルスが等間隔に配置された安定したパターンが生成されます。この現象は、より完全に回復した領域と比較して、相対不応期の特性速度がわずかに遅いことに関係していると考えられます。[30ページ]
図2—導電率制御—混合ペレットサイズ凝集体
[31ページ]
図3—再生ループまたは反響ループ
- 強結合
2つの鉄片を硝酸の浴槽に入れると、一方の鉄片で発生した波は通常、もう一方の鉄片に伝わります。当然のことながら、2つの鉄片を外部導線で接続した場合も同様の結果が得られます。しかし、鉄片が孤立している場合、特に要素が「臨界サイズ」σ/ρ（σは鉄表面の表面抵抗率（Ω-cm²）、ρは酸の体積抵抗率（Ω-cm））に比べて小さい場合は、通常、強い結合は発生しません。非常に小さい孤立した要素間の強い電気結合に必要な条件を示す、単純で分かりやすい構造を図4のように構築できます。誘電体バリアにより、一方の双極子を通る電荷移動は、もう一方の双極子の表面を通る等しく逆方向の電荷移動を伴うことが保証されます。 「非興奮性」の銀の尾部が十分に高い導電率（すなわち、十分に大きな表面積、したがって好ましくは樹枝状構造）を持つ場合、2つの鉄片の芯が固体導線で接続されているかのように、強い結合が生じる。[32ページ]
図4
図5—電気化学的興奮抑制
相互作用セル
[33ページ]
- 抑制的カップリング
3番目の「双極子」が誘電体膜を貫通して反対方向に挿入されると、この孤立した要素の励起は、平行な双極子のいずれかの励起によって引き起こされるはずの応答を抑制する傾向がある。図5は、このような「論理的に完全な」相互作用セルが初めて構築され、実証された例を示している。これは、基本的なマカロック・ピッツニューロン(15)として動作すると言える。さらに分析すると、多くの双極子(興奮性および抑制性の両方)を組み込んだ同様の構造は、すべての入力重みが対応する付着樹状突起構造の全体サイズまたは長さにほぼ比例する一般的な「線形決定関数」として動作させることができることがわかる。 - 樹状突起の成長
図6は、塩化金を添加した54%硝酸溶液から電気めっきによって成長させた金デンドライトのサンプル（実寸約1mm）を示しています。このようなデンドライトを鉄片（両方とも溶液に浸漬）に取り付けると、励起可能な元素の活性化によって、デンドライト構造のさらなる成長を促進する方向に電場が発生します。したがって、上述の基本相互作用セルで使用する溶液に塩化金を添加すると、すべての入力影響の「重み」は使用に伴って増加する傾向があり、その結果、機能の可塑性が生じます。 - 局所的に難燃な領域における磁場効果
我々の測定によると、興奮後の不応期には、硝酸中の鉄の表面抵抗は、神経膜を彷彿とさせる形で、静止値の1%未満にまで大幅に低下する（4）。したがって、複雑な細胞集合体全体に分布または大きな電場が存在する場合、局所的に屈折する領域における同時電流密度は他の領域よりも大幅に高くなり、樹状突起の成長に適した条件が存在する場合（上述のように）、そのような領域の成長速度も他の領域よりも大幅に高くなる。その結果、最近活動している機能的結合（最近の神経活動と関連していないものとは対照的に）は、広範囲に分布した電場または大規模な末梢ショックによって大きく変化するはずである。このメカニズムは、例えば痛覚受容体によって生成されるような空間的に拡散した効果に応答して、脳が特定の時間的関連性を形成する明らかな能力を説明できるかもしれない。[34ページ]
（a）
（b）
図6—樹状突起構造、生体および非生体。（a）ネコの樹状突起（Bok著「大脳皮質の組織学」、Elsevier、1959年より）； （b）電気めっき金樹状突起。
[35ページ]
まとめ
皮質機能のより明確な理解に貢献する可能性のある、意義のある電気化学モデル技術の開発が試みられている。この試みでは、（1）リリーの鉄線神経モデルと（2）電気めっきによる金属樹状突起の成長という、2つの基本的な現象が同時に利用される。これらの現象は、特に、間隙空間が液体電解質で満たされた、様々な物質からなる高密度の細胞凝集体内で誘発される。
参考文献
- ボック、ST、
「大脳皮質の組織学」
アムステルダム、ロンドン：エルゼビア出版、ニューヨーク：プリンストン、1959年 - ボンヘッファー、KF、
「神経興奮のモデルとしての不活性鉄の活性化」
J. Gen. Physiol. 32 :69-91 (1948)。
本稿は、1941年から1946年にかけてライプツィヒ大学で行われ、戦時中にドイツの定期刊行物に掲載された研究成果をまとめたものである。
- ボイコット、BB、ヤング、JZ、
「学習の比較研究」
SEBシンポジウム、第IV号
「動物行動における生理学的メカニズム」
ケンブリッジ：ケンブリッジ大学出版局、米国：アカデミック・プレス社、1950年 - コール、KS、およびカーティス、HJ、
「活動中の巨大イカ軸索の電気インピーダンス」
J. Gen. Physiol. 22 :649-670 (1939) - エクルズ、JC、
「シナプス機能の使用と不使用の影響」
「脳のメカニズムと学習―シンポジウム」
国際医学団体協議会主催、オックスフォード：ブラックウェル・サイエンティフィック・パブリケーションズ、1961年
- フランク、UF、
「生物学的励起過程のモデル」
「生物物理学および生物物理化学の進歩」
JAV バトラー編、ロンドンおよびニューヨーク：パーガモン・プレス、171-206頁、1956年 - ジェラール、RW、
「精神医学の生物学的ルーツ」
サイエンス 122（第3162号）：225-230（1955年） - ゲゼル、R.、
「呼吸作用の神経生理学的解釈」
Ergedn. Physiol. 43: 477-639 (1940) - ヘッブ、DO、
「行動の組織化：神経心理学的理論」
ニューヨーク：ジョン・ワイリー・アンド・サンズ、1949年 - ヘッブ、DO、
「高等動物における学習の際立った特徴」
「脳のメカニズムと学習―シンポジウム」
国際医学団体協議会主催、オックスフォード：ブラックウェル・サイエンティフィック・パブリケーションズ、1961年
- コノルスキ、J.、
「条件反射と神経細胞の組織化」
[36ページ] ケンブリッジ：ケンブリッジ大学出版局、1948年 - リリー、RS、
「受動鉄神経モデルにおける伝達と回復に影響を与える要因」
J. Gen. Physiol. 4 :473 (1925) - リリー、RS、
生物学レビュー 16 :216 (1936) - 松本、M.、後藤、K.
「新しいタイプの神経伝導モデル」
グルマ医学ジャーナル 4(No.1) (1955) - マカロック、WS、およびピッツ、W.、
「神経活動に内在する観念の論理的計算」
数理生物物理学紀要 5 :115-133 (1943) - モレル、F.、
「学習の神経基盤に対する電気生理学的貢献」
生理学レビュー 41（第3号）（1961年） - パスク、G.、
「サイバネティックマシン内部の成長プロセス」
第2回国際サイバネティクス協会会議議事録、ゴーティエ＝ヴィラール、パリ：ナミュール、1958年 - レッツラフ、E.、
「対をなす半中心の機能に関する神経組織学的基盤」
J. Comp. Neurology 101 :407-443 (1954) - スペリー、RW、
「神経学と心脳問題」
アメリカ科学者誌 40(第2号) :291-312(1952) - 田崎、I.、およびバク、AF、
J. Gen. Physiol. 42 :899 (1959) - ソープ、WH、
「学習の概念と本能の概念との関係」
SEBシンポジウム、第IV号、
「動物行動における生理学的メカニズム」
ケンブリッジ：ケンブリッジ大学出版局、米国：アカデミック・プレス社、1950年 - 山際和也
「様々な形で現れる相互作用（リリーの神経モデルに関する考察）」
日本生理学会誌 1 :40-54 (1950) - ヤング、JZ、
「神経系の進化と生物と環境の関係」
GR de Beer 編、
“進化、”
オックスフォード：クラレンドン・プレス、179-204頁、1938年 - ヤング、JZ、
「科学における疑念と確信：生物学者による脳についての考察」
ニューヨーク：オックスフォード大学出版局、1951年
[37ページ]
多層学習ネットワーク
RAスタッフォード
フィルコ社、エアロニュートロニック部門
、カリフォルニア州ニューポートビーチ
導入
本稿では、所定の入出力関係を生成するために、様々な重みセットを効率的に適応させることができる線形閾値要素のネットワークを設計する問題について考察する。この適応は、様々な入力とそれに対応する望ましい出力が繰り返し提示されることによって実現される。ここでは、様々な種類の「一般化」能力、すなわち、過去に発生した入力と何らかの変換された意味で類似している場合に、以前に発生していない入力に対しても正しい出力を与える傾向があるという要件については考慮しない。
このような適応型、あるいは「学習型」ネットワークのモデルを提示するにあたり、適切な重み変更を生成するために必要な要素間の相互接続という観点から見た適応プロセスの複雑さは、静的な重みセットを持つ入力から出力を生成するために既に必要とされている複雑さを大きく超えてはならないという要件が課せられる。実際、ネットワークの入力から出力への計算能力を利用して、様々な重み変更が出力に及ぼす影響を観察することで、適切な重み変更を選択することが可能であることが分かっている。
現時点で有効な理論が存在しないため、ここでは提案されたネットワークモデルを理論的根拠に基づいて擁護する試みは行わない。その代わりに、ネットワークモデルの様々な側面における妥当性と、実証的な結果を組み合わせることで十分とする。
単一要素
問題を単純化するために、ネットワークは2値入力x₁, x₂, …, xₙを受け取り、単一の2値出力yのみを生成する必要があると仮定する。各変数の2つの値に+1と-1という数値を割り当てると便利である。
最も単純なネットワークは、重み c₀、c₁、c₂、…、cₙ のセットを持つ単一の線形閾値要素で構成されます。これらは、 [38ページ]出力と入力の関係または関数は、量 c₀ + c₁x₁ + c₂x₂ + … + cₙxₙ が正か負かに応じて、y がそれぞれ +1 または -1 となるようにする。このような単一の要素は、次のように適応的な動作を示すことができる。与えられたセット x₁, x₂, …, xₙ に対して出力 y が正しい場合は、重みを変更しない。そうでない場合は、方程式に従って重みを変更する。
Δc₀ = y*
Δcᵢ = yxᵢ、i = 1,2, …,n ここで、yは目標出力値である。
多くの人によって、そのような要素の重みは、十分な数のエラーの後、正しい入出力関係を生成する値のセットに到達することが保証されていることが示されている。ただし、そのようなセットが存在する場合に限る。可能なエラー数の上限は、初期重み値と学習する論理関数のみに依存する。しかし、これは2つの理由から、我々のネットワーク問題を解決するものではない。
まず、入力数nが大きくなるにつれて、学習可能なほとんどの関数で発生するエラーの数が不合理なほど増加します。例えば、n=6の場合、そのような関数のほとんどは500～1000個のエラーが発生しますが、これは理想的な学習装置で予想される平均エラー数32個とは大きく異なります。
第二に、そしてより重要な点として、単一の要素で生成可能な論理関数の割合は、nが増加するにつれて極めて小さくなる。例えば、n=6の場合、そのような論理関数は3兆個に1個未満しか存在しない。
要素のネットワーク
十分な数の線形閾値要素を用い、それらの出力を他の要素の入力とすることで、入力の任意の論理関数を最終出力として生成できることが実証されている。このようなネットワークの難しさは、各要素の正しい出力が分からず、最終出力しか分からない点にある。最終出力が誤っている場合、どの重みセットを変更すべきかを判断する明確な方法はない。
エアロニュートロニック社における綿密な研究と実験の結果、これらの困難を克服できると考えられるネットワークモデルが開発されました。このモデルは、これから説明する4つの基本的な特徴から構成されています。[39ページ]
正の相互接続重み
ネットワーク内の他の要素からの入力に付随する要素の重みはすべて正の値に制限することが提案されています。（もちろん、ネットワークへの元の入力に付随する重みはどちらの符号でも構いません。）このような制限の理由は次のとおりです。要素 1 が重み c₁₂ で要素 2 への入力であり、要素 2 が重み c₂₃ で要素 3 への入力であるなど、要素 1 が要素 2 への入力である場合、積 c₁₂c₂₃ … の符号は、要素 1 の出力の変化が連鎖の最終要素に与える影響の方向を示します（2 つの要素間にこのような連鎖が 1 つしかないと仮定します）。これらのさまざまな重みがどちらの符号でも構わない場合、最終要素のエラーを修正するために要素 1 の出力を変更するかどうかの決定には、連鎖内のすべての重みが関係することになります。さらに、一般にこのような連鎖が複数存在するため、決定は不可能に困難になります。
上記の制約により、この問題は解消されます。ネットワーク内のいずれかの要素の出力が、例えば-1から+1に変更された場合、最終要素への影響（もし影響を受けるとすれば）は、同じ方向になります。
この制約はネットワークの論理機能に深刻な影響を与えないことに留意すべきである。実際、ある論理関数が符号に制限のない重みを用いてネットワークで実現できる場合、同じ関数を正の相互接続重みのみを持つ別のネットワークで生成することができ、最悪の場合でも要素数は2倍になる。最悪の場合、これは制約のあるネットワークで、制約のないネットワークの各要素の出力とその補数の両方を生成することによって実現される。（ネットワーク内にループがないことを前提とする。）
可変バイアス
ネットワーク学習における中心的な問題は、与えられた入力に対して、最終要素を修正するために出力を変更できる要素のセットを決定することであり、かつ、他の入力に対する以前の適応に与えるダメージを最小限に抑えることである。このセットが決定されれば、単一要素に対して与えられた増分ルールは、この場合にも適用される（相互接続重みを正に保つという制約はあるものの）。なぜなら、望ましい最終出力は、変更される各要素に対して望ましい出力と一致するからである（相互接続重みが正であるため）。
このような決定に至る過程では、3つの要素を考慮する必要があります。変更対象として選択される要素は、 [40ページ]これにより、他の入力値のうち影響を受ける可能性のあるものは最小限に抑えられる。同時に、問題となる各要素の変更が最終出力の修正に大きく貢献していることを確認する必要がある。最後に、そのような要素は最小限の数だけ使用すべきである。
一見すると、意思決定機構の複雑さを先に述べた基本的な入出力ネットワークと同程度に保つと、このような意思決定は不可能に思えるかもしれない。しかし、これから説明する方法では、複雑さを過度に増大させることなく、これらの要件を合理的に近似できると考えられる。
各要素は通常の入力に加えて、b と呼ばれる可変入力バイアスを受け取ると仮定します。各要素の出力は、入力の通常の加重和にこのバイアス量を加えたものの符号によって決定されます。このバイアスは、ネットワークの各要素で同じ値になります。b = 0 の場合、ネットワークはこれまでと同じように動作します。しかし、b を徐々に増加させると、ネットワーク全体でさまざまな要素が -1 から +1 に変化し始め、通常は一度に 1 つまたは少数の要素が変化することになっています。b を減少させると、その逆の現象が発生します。
ここで、ある入力に対して最終出力が+1になるはずなのに、実際には-1になっていると仮定します。次に、bの値を大きくして最終出力を修正します。そして、bを徐々に減らしていきます。さまざまな要素が-1に戻る可能性がありますが、最終出力が-1になるまでは、重みは変更されません。最終出力が-1に戻るのは、要素の合計（重み付き合計とバイアス）がちょうどゼロを通過したためです。これにより、最終要素まで要素が変化する連鎖反応が起こりますが、おそらくこの要素だけが合計がゼロになります。これが、要素の重みを変更するシグナルとなります。つまり、最終出力が正しい状態から間違った状態に変化すると同時に、要素自体の合計がゼロになるということです。
このような重みの変化の後、最終出力は再び正しくなり、バイアスは再び低下し始めます。バイアスがゼロになるまで、このプロセスはネットワーク全体で何度も繰り返される可能性があります。バイアスが最終的にゼロになり、最終出力が正しくなった時点で、ネットワークは次の入力を受け入れる準備が整います。もちろん、-1が必要な場合は、バイアスは逆方向に変化します。
重み変更プロセスをゼロバイアスレベルより少し長くすると、有益な結果が得られる可能性がある。これにより、学習された各入出力組み合わせの寿命が延び、エラーの総数が減少する可能性がある。これは、この方法が [41ページ]上記で使用した方法を用いると、重み補正プロセスが停止してしまうため、最終出力は正しくても、最終出力に不可欠な要素の中には、合計値がゼロに近いものがあり、その後の重み変更によって容易に修正されてしまう可能性があります。
この方法は、前述の3つの考慮事項すべてに適合していることに留意すべきである。第一に、各要素に同じバイアスを与え、バイアスを下げて最終出力が不正確になるまで重みを変更しないことで、b = 0 の場合に合計がゼロに近い要素を選択する傾向が強くなる。しかし、要素の合計の大きさは、現在の出力を変更する場合に他の入力に対して要素に与えるダメージの程度を示す良い指標となる。第二に、変更された各要素が最終出力に明らかな影響を与えていることは明らかである。最後に、出力が明らかに変更を必要とするまで変更が行われないため、変更される要素は最小限に抑えられる傾向がある。
一方、この方法は、ネットワークに既存の複雑さをほとんど加える必要がない。各要素はバイアス、誤差信号、および望ましい最終出力を必要とするが、これらはネットワーク内のすべての要素で共通である。何らかの外部デバイスがバイアスを適切に操作する必要があるが、これは誤差信号と望ましい最終出力のみに依存する単純な動作であり、ネットワーク内の個々の要素の状態には依存しない。つまり、重み変更の決定に関してほぼ自律的な要素からなるネットワークが得られる。このような方式は、非常に複雑な中央の重み変更決定装置を構築することを回避する唯一の方法であるように思われる。このかなり高度な決定は、ネットワークが入力から出力を生成する際に既に備えている計算能力を利用することによって可能になる。
ここで注意すべき点は、この可変バイアス方式では、可変バイアスは可変重みを持つ要素のみに適用され、他の要素には適用されない必要があるということです。ネットワークの固定部分（例えば、前処理層や最終多数決関数など）は、可変バイアスとは独立して動作しなければなりません。そうでない場合、バイアスがゼロに近づくにつれて最終出力が正しい値から間違った値へと変化し、可変重みを持つ要素に責任がないという事態が生じる可能性があります。このような場合、ネットワークは機能不全に陥ります。
ネットワークにおける論理的冗長性
ネットワークモデルの3つ目の側面は、これまでの手順でどれだけ注意を払っても、すぐに決まった状態に落ち着くには不十分であるということである。 [42ページ]必要な論理関数を生成するために必要な重みの数だけを用意しておく必要がある。ただし、これを実現する方法が多数存在する場合はこの限りではない。つまり、学習ネットワークは、学習対象となる関数を生成するために必要な最小限の数を超えて、十分な数の重みと要素を持つ必要があるということである。
これは、単一要素の重みの値の許容範囲に関して生じる状況と類似しています。例えば、単一要素によって生成可能なn=6の任意の関数は、各重みを整数値-9、-8、…、+9の範囲に制限することで得られることが示されています。しかし、重みの値をこれらの範囲に制限しつつ、ほとんどの関数で学習される可能性のある、前述の重み変更規則の修正は知られていません。
疲労した要素
ネットワークシミュレーションの予備的な結果から、要素が過剰な重み変更を受けた後に「疲労」する状態になることが有効である可能性が示唆される。これまで説明したモデルを簡略化したモデルで実験を行ったところ、少数の要素が重み増加の大部分を受け取る状態になり、学習プロセスに大きな悪影響を及ぼすという結果が時折見られた。このような場合、ネットワークは調整可能な要素がはるかに少ないかのように動作する。ある意味では、これは各要素が保存するように求められているデータの記録を保持し、自身の情報容量を超えないようにすることを求めていることになる。
この疲労係数が素子の動作にどのように影響するかは定かではないが、可変バイアス方式と互換性を持たせるためには、この疲労係数がバイアスの変化に対する素子の応答に反映されなければならない。素子がゼロサムで状態変化し、同時に最終出力が誤りとなる場合、この方式が機能するためには増分処理が必要となる。したがって、「疲労した」素子は、バイアスの変化に対してより弱いエネルギーで応答する必要があり、おそらくバイアス項に乗じる一種の可変係数を用いるべきである。
ネットワーク構造
ネットワークの相互接続構造を選択する問題は、前述の一般化の問題と密接に関連していると考えられている。おそらく、適切な固定値を与えることで、特定の種類の一般化が得られると考えられる。 [43ページ]ネットワークの各部分と、可変部分に適した相互接続構造が必要です。しかし、非常に大規模なネットワークの場合、比較的単純なルールで指定できるように複雑さを制限する必要があることは間違いありません。この非常に重要な問題についてはほとんど知られていないため、ここではこれ以上の議論は行いません。
コンピュータシミュレーション結果
前述のネットワーク特性の一部をIBM 7090上でコンピュータシミュレーションした。要素数が過剰で、相互接続重みがすべて正であるネットワークを使用した。ただし、可変バイアス法の代わりに、最終出力の補正における要素の有効性に関わらず、合計値がゼロに最も近い、かつゼロの反対側にある要素を単純に選択した。疲労係数は使用しなかった。
これらのシミュレーション結果は非常に有望であるが、同時に、より高度な手法の必要性も示している。ここでは、結果を完全に説明する試みは行わない。
ある一連の学習実験では、3つの層を持つ22要素のネットワークが使用されました。第1層には10個の要素、第2層には11個の要素、第3層には1個の要素がありました。第3層の1つの要素は最終出力であり、第2層の11個の要素の固定多数決関数でした。これらはそれぞれ、第1層の10個の要素と6つの基本入力のそれぞれから入力を受け取ります。第1層の10個の要素はそれぞれ6つの基本入力のみを受け取ります。4つの論理関数A、B、C、Dのセットが使用されました。関数Aは実際には重み8、7、6、5、4、3、2で生成できる線形閾値関数であり、関数BとCは真理値表をランダムに埋めることによって選択され、Dはパリティ関数でした。
表1
A B C D
r e r e r e r e
5 54 8 100 11 101 4 52
4 37 9 85 4 60 5 62
4 44 6 72 9 85 6 56
[44ページ]表 I は、さまざまなランダムな初期重みから始めて、これらの関数とこのネットワークを使用して実行した一連の結果を示しています。量 r は、関数が完全に学習されるまでに 64 エントリの真理値表を完全に通過した回数であり、e は発生したエラーの総数です。結果を評価する際には、理想的な学習デバイスは各実行で平均 32 個のエラーを合計で発生させることに注意する必要があります。これらの実行で記録された合計は、この理想に非常に近い値となっています。予想どおり、線形閾値関数が最も学習しやすいですが、パリティ関数がランダムに選択された 2 つの関数よりも大幅に学習しやすいことは驚きです。表 II は、最後の要素が他の 21 個の要素の固定多数決関数であることを除いて、すべての相互接続重みを削除した同じ実験の厳しい結果を示しています。したがって、適応は 1 つの層のみで行われました。表 I は表 IIとほとんど変わらないことから、可変相互接続重みの価値が十分に実現されていないことがわかります。後の実験では、要素数を 12 個に減らし、同じ関数を使用しました。この場合、余分な相互接続重みの存在が実際には障害となっていました。しかし、増分処理を詳しく調べたところ、問題のある動作は、ごく少数の要素（多くの場合、たった1つの要素）がほぼすべての増分処理を担う可能性が高くなることに起因することが判明しました。ここで説明した追加の改良を用いることで、ネットワークの複数の層における適応能力を最大限に引き出す上で、大幅な改善が期待されます。
表II
A B C D
r e r e r e r e
7 47 18 192 8 110 4 48
3 40 7 69 10 98 6 68
4 43 7 82 4 47 6 46
将来の問題
ネットワーク構造を決定するという前述の問題以外にも、学習ネットワークにおいて研究すべき問題はいくつか残っている。
ネットワークから複数の出力が必要な場合、問題が生じる。例えば、ある入力に対して+1と-1の2つの出力が必要な場合、これは増加プロセスと矛盾する。一方の出力に有利な変更が、もう一方の出力に不利に働く可能性がある。 [45ページ]前述のようにバイアスを変化させながら探索するプロセスは、必要な方法で全ての出力に作用する重みの変化を見つけるために、大幅に改良する必要があるようです。これは単なる学術的な問題ではなく、入出力計算の大部分において全ての出力変数に共通の特徴が見られるケースが数多く存在するでしょう。それらを区別する必要があるのは、後の段階になってからです。したがって、完全な効率性を達成するためには、出力変数ごとに個別のネットワークを用意するのではなく、複数の出力を生成する単一のネットワークを想定する必要があります。
関連するもう一つの問題は、入力変数として2値変数ではなく、多値変数または連続値変数を用いる場合である。この場合、根本的な困難は見当たらないが、この問題については十分な研究と実験を行う価値がある。
もう一つ重要な問題は、出力を生成するために一連の入力を使用する方法である。つまり、ネットワークの論理的な動作に時間的な要素を取り入れることで、ネットワークに「静的」な機能だけでなく「動的」な機能も与えることができる可能性がある。
[46ページ]
未知のバイナリ波形の適応型検出
JJ スピルカー・ジュニア
フィルコ・ウェスタン・デベロップメント・ラボラトリーズ
（カリフォルニア州パロアルト）
本研究は、Philco WDL独立開発プログラムの支援を受けて実施されました。シンポジウム後に提出された本論文は、シンポジウムの討論セッションで提起されたいくつかの問題についてより詳細に論じたものであり、議事録に加える価値のある内容となっています。
導入
データストリームを処理する上で最も重要な目的の一つは、そのデータストリーム中に存在する不変または準不変の「特徴」を特定し、検出することです。これらの特徴は多くの場合、最初は未知であり、観測データから「学習」する必要があります。この種の最も単純な特徴の一つは、有限長の信号が繰り返し発生するものの、必ずしも時間的に周期的ではなく、波形が時間とともに不変であるか、あるいはゆっくりとしか変化しないというものです。
本稿では、データストリームは、検出器や識別器などによって前処理され、このような反復的な（ただし未知の）波形または信号構造を示すようになっていると仮定する。しかしながら、観測された信号は、加算ノイズやその他の外乱によって乱されている。データの準不変性を、真にランダムな環境から分離することが求められる。反復波形は、例えば、未知のソナーやレーダーの送信、パルス位置変調されたノイズのような波形、あるいは繰り返し符号語を表している可能性がある。
問題となるのは、信号波形を推定し、各信号の発生時刻を決定することである。ここでは、単一の反復波形のみが存在し、信号サンプル値がバイナリである場合に限って議論を進める。観測された波形は低信号対雑音比で受信されると想定されるため、信号の単一の観測（たとえ到着時刻が正確に分かっていたとしても）だけでは、信号波形を適切に推定するには不十分である。各信号の発生時刻はランダムであると想定する。[47ページ]
適応型検出マシン
このメモの目的は、ノイズによって乱されたバイナリ波形を復元するために実装されたマシン[2]について非常に簡単に説明することです。マシンの簡略化されたブロック図を図1 に示します。実験用マシンは、10³サンプル持続時間の信号で動作するように設計されています。
各アナログ入力サンプルは左側からマシンに入力され、信号サンプルとノイズ、またはノイズのみを含む場合があります。マシン内でデジタル動作を可能にするため、サンプルは対称型3レベル量子化器で量子化されます。次に、サンプルはベクトル形式に変換されます。例えば、前の10³個のサンプルがベクトル成分を形成します。各サンプル時点で、新しい入力ベクトルY⁽ⁱ⁾が生成されます。
信号サンプル値を s₁, s₂, …, sₙ と定義します。観測ベクトル Y⁽ⁱ⁾ は、(a) 完全に中央に配置された信号とノイズ、(b) シフトされた信号とノイズ、または (c) ノイズのみのいずれかになります。
(s₁, s₂, ..., sₙ) + (n₁, n₂, ..., nₙ) （a）(Y⁽ⁱ⁾)ᵗ = (0, …, s₁, s₂, …, sₙ₋ⱼ) + (n₁, n₂, …, nₙ) （b）
(0 … 0) + (n₁, n₂, …, nₙ) (c)
各サンプル時点で、入力ベクトルに対して2つの測定が行われます。1つはエネルギー測定‖Y⁽ⁱ⁾‖²、もう1つはメモリに格納されている信号ベクトルの現在の推定値との極性一致相互相関です。エネルギーと相互相関の測定値の加重和が現在の閾値Γᵢを超える場合、入力ベクトルは信号（時間的に適切にシフトされている）を含むものとして受け入れられ、入力ベクトルがメモリに追加されます。適応メモリには、 2 Q レベル、2 Q-1正レベル、1ゼロレベル、および2 Q-1 -1 負レベルがあります。新しい寄与は通常のベクトル加算によってメモリに追加されますが、コンポーネント値が最大レベルまたは最小レベルにある場合は飽和が発生します。
入力ベクトルの受理または拒否は、超球面決定境界に基づいて行われます。入力ベクトルは、重み付き和γᵢが閾値Γᵢを超える場合に受理されます。
γᵢ = Y⁽ⁱ⁾∙M⁽ⁱ⁾ + α‖Y⁽ⁱ⁾‖² ⩾ Γᵢ.
[48ページ]
図1—適応型バイナリ波形検出器のブロック図
[49ページ]幾何学的に、入力ベクトルが、中心が の超球面上にあるか、または超球面の外側にある場合に受理されることがわかります。
- M⁽ⁱ⁾C⁽ⁱ⁾ = ——
2α
半径の二乗を持つ
Γ⁽ⁱ⁾ ‖M⁽ⁱ⁾‖²[r⁽ⁱ⁾]² = —— + ———— .
α (2α)²
この超球の中心と半径は、機械が適応するにつれて変化します。超球型決定境界の性能と最適性については、Glaser [3] および Cooper [4]による関連研究で議論されています。
閾値Γᵢは、メモリが信号のより良い複製となるにつれて増加するように調整され、その結果γᵢ が増加します。一方、メモリが信号の不十分な複製である場合（例えば、ノイズのみを含む場合）、追加の受容によってメモリ構造を変更できる点まで、閾値が時間とともに減少する必要があります。
実験装置は完全にデジタル方式で動作し、前述のとおり、最大10³サンプルまでの波形を復元できます。典型的な実験では、ランダムな間隔で発生する、最大10³ビットの未知のノイズ混入擬似ランダム波形を復元しようと試みます。信号波形に関する情報がない場合は、実験開始時に適応メモリは空の状態になります。
機械の動作を最も明確に説明するために、交互に「ゼロ」と「イチ」が10³ビットで構成される繰り返しバイナリ波形を考えてみましょう。この波形の一部を 図2aに示します。実際に観測される波形は、この波形にノイズが加わったもので、図2bに-6dBの信号対雑音比で示されています。図2bを直接観測しても、各信号ビットの正確な符号を正確に判断することは明らかにできません。
（a）バイナリ信号
（b）バイナリ信号＋ノイズ
図2—-6 dB SNRでの加算ノイズを含むバイナリ信号
[50ページ]
（a）
（b）
(c)
（d）
（e）
図3—-6 dB SNRでのメモリの適応：（a）初期状態のメモリ；（b）最初のダンプ後のメモリ；（c）12回のダンプ後のメモリ；（d）40回のダンプ後のメモリ；（e）比較のための完全な「チェッカーボード」メモリ
マシンメモリがこのノイズの多い入力信号に適応するにつれて、図3に示すように変化します。この図では、10³個のメモリコンポーネントの符号がラスタパターンで表示されています。図3aは、適応プロセスの開始時のメモリの初期ブランク状態を示しています。 図3bは、メモリの最初の適応後のメモリを示しています。この最初の「ダンプ」は、閾値がエネルギー測定によって許容判定が下される点まで低下した後に発生しました。図3c [51ページ]図3dは、それぞれ12回と40回の適応後のメモリを示しています。これらのダンプは、もちろん、エネルギーと相互相関の両方の測定に基づいています。ご覧のとおり、40回のダンプ後の適応メモリは、図3cの「チェッカーボード」パターンで示される理想的なメモリにすでにかなり近いものになっています。
この種の装置の性能と信号対雑音比、平均信号繰り返し周波数、信号持続時間、および装置パラメータとの関係を詳細に分析することは非常に複雑です。したがって、ここではこの装置の性能に関する分析および実験結果を詳しく説明することは適切ではありません。しかし、一般的な結論をいくつか述べることは可能です。
（a）マシンメモリは常に適応しているため、「誤警報」に対するペナルティは比較的大きくなります。誤警報は完璧なメモリを破壊する可能性があります。したがって、メモリ適応のために閾値レベルを適切に高く設定する必要があります。誤警報に対する許容度が高い信号発生を検出したい場合は、別の比較器と閾値レベルを使用する必要があります。
（b）信号波形の緩やかな変化を許容する本装置構造は、入力信号対雑音比（ピーク信号電力対平均雑音電力比）が約-12 dBのときに定常状態性能に顕著な閾値効果を示す。この信号レベルを下回ると、収束に必要な時間は信号レベルの低下とともに急速に増加する。より高いSNRでは、良好な自己相関特性を持つ雑音のような信号への収束が満足のいく速度で発生する。
パフォーマンスに関するより詳細な議論は、脚注1に記載されている報告書に掲載されている。
[52ページ]
自己組織化機械の概念設計
PA クライン
ノースロップ・ノートロニクス・
システムズ・サポート部門
、カリフォルニア州アナハイム
自己組織化の定義と、この定義を裏付けるいくつかの例が提示される。この定義の重要性は、関連論文（1）で議論されている計量化問題との比較によって検討され、自己組織化には環境を表す空間の分解が必要であることがわかる。環境に関する事前知識がない場合、自己組織化マシンはこの分解を実行するために単位球面への一連の射影に頼らなければならない。このような一連の射影は、冪零射影演算子（NPO）を繰り返し使用することによって提供できる。このようなNPOの1つをアナログコンピュータで機械的に実装する方法が議論され、関連論文で提供されている計量化可能なトポロジーのユークリッド幾何学的表現を使用して、NPOの信号処理動作が詳細に提示される。複数のNPOを使用する自己組織化システムが議論され、現在の研究分野が特定される。
導入
特定の問題を深く考察している姉妹論文とは異なり、本論文は自己組織化システムに関する我々の研究範囲を概観するものであり、深遠な内容を意図したものではありません。
私たちが採用したアプローチは現象論的アプローチと呼ぶことができる（図1）。すなわち、望ましい挙動（自己組織化）を定義し、数学的に表現し、想定される挙動を生み出すために必要なメカニズムを数学的手法を用いて合成した。このアプローチの利点の1つは、メカニズムの一意性に関する仮定を回避できることである。もう1つの利点は、結局のところ主要な目的である望ましい挙動が不変であるとみなされることである。明らかな欠点は、前述の合成手法が必要となることである。幸いなことに、私たちの場合は、関連論文の著者が十分に汎用的な手法を開発していた。
以上のことから、また我々が採用する自己組織化の定義（概念モデルを参照）から、我々の研究は [53ページ]自己組織化に関する広く知られているアプローチのいずれにもうまく当てはまらない（2）。哲学的には、アシュビー（3）、（4）、 ホーキンス（5）、メサロヴィッチ（6）が表明した見解に傾いている が、いくつかの留保がある。ニューラルネットワークのアプローチを避けたのは、それがかなりの注目を集めていることと、望ましい行動を生み出す唯一の方法が脳のメカニズムである必要はないためである。
図1—ノルトロニクス社が自己組織化システムに関する研究で用いたアプローチ
また、 Braverman (7)が例示した確率コンピュータや統計的決定理論のアプローチも採用していませ ん。なぜなら、これらは通常、何らかの事前定義された座標系(8)を必要とするからです。読者は、形式論理(9)やヒューリスティック(10) プログラミングの兆候をほとんど見つけることはないでしょう。その代わりに、私たちは自己組織化システムを、その本質的な性質ではなく、環境を反映する鏡として捉えています。この観点からすると、自己組織化システムは非常に柔軟であるように見えます。なぜなら、環境の反映を歪め、適応能力を阻害するような内部制約がほとんどないからです。
概念モデル
意味
未知の現象の入力と出力（伝達関係）を観測した後、システムが自ら未知の現象のシミュレーションを行うように組織化される場合、そのシステムは自己組織化していると言われる。
この定義には、自己組織化マシン（SOM）があらかじめ割り当てられた座標系を持たないという要件が暗黙のうちに含まれている。実際、入力出力空間に暗黙的に含まれるこの座標系を取得する能力こそが、我々が指定する現象を定義するものである。 [54ページ]自己組織化。したがって、例えば、保存されたプログラムや配線されたプログラムによってSOMにプログラムされた事前情報は、SOMを制約し、適応能力を制限します。このような事前プログラミングが有用でない、または望ましくないと言っているわけではありません。単に、自己組織化の要件と矛盾しているということです。 図2に示すように、SOMがシミュレートする環境の与えられた部分は、定義エンドスペースを介して、それらの空間に固有の座標系を構築するために必要なすべてのデータをSOMに提供します。
自己組織化の特徴としてシミュレーション能力を要求する動機は、以下の例に由来する。
自動車の運転操作を考えてみましょう。図3は 、一連の入力（ステアリング、スロットル、ブレーキ、トランスミッション）と一連の出力（軌道）によって特徴付けられる関係を示しています。自動車の操作には、目的の軌道に対して、目的の軌道を実現する入力を提供できるデバイス（SOM）が必要です。自動車に適切な入力を提供するために、SOMは⨍⁻¹(x)のシミュレーションを含んでいる必要があります。
図2—環境（の一部）のシミュレーション
図3—関係のシミュレーション
⨍(x) は入力と結果として生じる軌跡によって完全に定義されるため、それらに触れることで SOM は⨍⁻¹(x) をシミュレートするために必要なすべての情報を得ることができます。また、SOM が観測データに従って SOM の入出力関係を⨍⁻¹(x)に対応するように再配置する内部プロセスを備えている場合、SOM は自動車を操作できます。この内部変化が「自己組織化」という用語で示唆されていますが、注意すべき点として、 [55ページ]望ましい組織形態を指定する指示は、環境内にその情報源を持つ。
2つ目の例として、環境への適応を考えてみましょう。適応（ウェブスター辞典より）とは、「自分の行動や態度などが新しい状況や変化した状況に適合するように（自分自身）を変えること」を意味します。生物学における適応とは、環境へのより良い適応を生み出す構造、機能、または形態の変化を意味します。これらの記述はシミュレーションを示唆しています。なぜなら、環境への適応は、生物を環境の有害な影響ではなく有益な影響にさらすことによって生存することを意味するからです。図2に示すように、環境（またはその一部）を関係として表すと、特定の撹乱がどのような影響を与えるかを予測する能力は、環境を特徴づける因果関係のシミュレーションによるものであることがわかります。
これらの例から、シミュレーションが関係性を特徴づける原因と結果の様相をそのまま保持すると推論するのは誤りである。本稿では、関係性とそのシミュレーションを検証することで、この状況を明らかにする。
図4に示すような、2人の母親と息子の関係を考えてみましょう。実際の物理的な物体（母親と息子）を記号（点）に置き換えても、関係性は全く変化しないことに注目してください。これがシミュレーションの意味であり、SOMがシミュレーションを行う方法です。関係性を表示するために使用されるオブジェクトが定義されている必要さえありません。つまり、これらのオブジェクトはプリミティブなオブジェクトでも構いません。（そうでなければ、数学的または物理的な理論では環境をモデル化することはできません。）主な前提条件は、オブジェクト同士を区別するのに十分な解像度があることです。
図4—オブジェクト間の関係—表示およびシミュレーション
[56ページ]
数理モデル
数学モデルは環境とSOMの両方を表現する必要があり、付随論文で述べた理由から、それぞれは計量可能なトポロジーとして表現されます。一意性を確保するために、各空間を等しい部分に分割し、環境をチャネルとして表現します。
W ⟶ X. (参考文献10a)
ここで、SOMをカスケード接続されたチャネルで表現することを考えてみましょう。
X ⟶ Y ⟶ Z
ここで、X ⟶ Yは、 Y ⟶ Zで表される既存の SOM 入出力関係の再編成を表す変数です。
3つのチャネルが直列接続されている問題の解決策
W ⟶ X ⟶ Y ⟶ Z、
ここで、p(W) (11)、p(X)、p(X|W)、p(Y)、p(Z)、p(Z|Y)は固定されており、許容される中間チャネルのセット{p(Y|X)}から、 R(Z,W)を最大化する中間チャネルp₀(Y|X)が得られます。
そして、結果として得られる中間チャネルは、 Ch(Z,Y)の制約内で SOM によるW ⟶ Xの最適なシミュレーションをもたらす SOM の再編成を記述します。
解（中間チャネル）は当然ながら、特定の末端チャネルに依存します。しかし、解を求めるために使用されるアルゴリズムは明らかにそうではありません。したがって、ある物理プロセスがアルゴリズムで指定された手順を実行するように制約された場合、そのプロセスはシミュレーションが可能であり、自己組織化を示すことになります。
3つのチャネルが直列接続された問題に対する正式な解法はまだ完全ではないものの、アルゴリズムの機械化を進めるのに十分な特性が明らかにされている。解法の大部分はチャネルの分解と計測に関するものであり、ここではその点に焦点を当てる。
付随論文で示唆されているように、空間の次元が 1 より大きい場合、SOM には 1 つの方法しかありません (12)。入力と出力を区別せずに、空間の分解を考えてみましょう。
図5は、 (おそらく多次元の)点群の「クラウド」で表されるオブジェクトを示しています。座標系が事前に割り当てられていない場合、 [57ページ]SOMは、クラウドの重心を計算し（これは任意の座標系で実行可能）、その重心からの距離に基づいて点を記述します。つまり、重心を原点とする同心円状の球として記述します。
図5—3次元空間の冪零分解
特定の点の方向は、基準となる半径ベクトルがないため指定できません。SOMは最終的にデカルト座標系を得たいので、球（2次元表面）を平面（2次元表面）に変換する必要があります。残念ながら、球は平面と同相ではないため、SOMは球を半球（12a） と可算群のデカルト積に分解する必要があります。その後、SOMは半球を平面に変換できます。平面に投影された点は、SOMが開始した空間と同じ性質の空間を構成します。したがって、SOMは、目的の点が位置する重心と円を見つけることで、平面（次元が1つ少ない空間）上ですべての操作を繰り返すことができます。円も同様に、直線と可算群の積に分解されます。この操作を空間の次元の数だけ繰り返すことで、SOMは最終的に1点に到達し、その過程で空間の記述を得ます。この手順は1つの演算子を繰り返し使用することで実行できるため、この演算子は冪零であり、この事実と射影の使用を反映して、これを冪零射影演算子、略してNPOと名付けました。
NPOの機械化
アナログコンピュータ要素を使用して、テストされた1つのNPOをシミュレートしました。[58ページ]図6に示す実験構成において、NPOは、2つのノイズ発生器i₁とi₂、および信号発生器 i₀（i₀もノイズ発生器である可能性がある）から人工的に生成されたチャネル上で動作する。NPOは、 X₁とX₂というラベルの付いた入力を受け取り、3つの出力Ξ₁、Ξ₂、およびγを提供する。X₁は発生器i₁と i₀の出力の線形結合であり、同様にX₂はi₂ とi₀から得られる。
図6—NPOシミュレーションのための実験テスト構成
明らかに、i₀は空間X₁と X₂を関連付けるメモリを表す重要なパラメータです。Ξ₁はi₀ への射影の大きさが最大となる性質を持ち、一方Ξ₂ はi₀への射影がゼロになります。γはCh(X₂,X₁)の固有値の検出バージョンです。
付随論文では、NPOのユークリッド幾何学的表現を与える方法が示されました。この表現は 図7に示されており、ベクトルi₀、i₁、i₂、X₁、X₂、Ξ₁、Ξ₂、 および角度Θ₁、Θ₂、 γが示されています。ベクトルの長さは次のように与えられます。
|X| = κₓ(2πε)⁻¹ᐟ² ∈ H(X)
そして2つのベクトル間の角度は
|Θ(X₁,X₂)|-sin⁻¹ ∈ -R(X₁,X₂)。
3 つのベクトルi₀、i₁、i₂ は、対応する信号がランダムであるため、直交座標系を提供します。
κ R(i₀,i₁,i₂) ≡ 0.
外部の観察者として、我々はこの座標について事前に知識を持っている [59ページ]システムですが、NPO にはi₀ ⨉ i₁ および i₀ ⨉ i₂平面上の ベクトルX₁およびX₂のみが与えられます。NPO は全体の形状を再構築できますが、実際の出力Ξ は明らかに、入力ベクトルXの平面内にあるように制約されます。以下の式は、存在する関係の典型例です。
|Ξ₁|tan β = ——
|Ξ₂|
cos Θ = cos 2β csc 2γ
cos 2βcos 2Θ₁ = -1 + 2 ————
1-cos 2γ
cos Θ = cos Θ₁ cos Θ₂。
図7—NPOの形状
[60ページ]
図8—NPOラン番号5
図9—NPO試験6回目
[61ページ]
74 個の数式を含む NPO の完全な記述が得られました。これらは、さまざまな出力のノイズ、NPO の不変性、およびその他の興味深い特徴を扱っています。これらの説明はこの論文の範囲外であり、NPO の主な特徴を不明瞭にする傾向があります。したがって、ここではコンピュータ シミュレーションの典型的なサンプルのみを示します。図 8 と図 9です。これらの実行の条件は表 Iに示されています。実行番号 6 は、実行番号 6 でi₁とi₂ が無効になっていることを除いて、実行番号 5 を複製したものです。
NPOとその分解対象空間に関する記述はすべて時間不変であるのに対し、シミュレーションで示されている信号は時間の関数として表されていることに注意してください。変換は次のように実行できます。測定可能な（単一値）関数が与えられた場合
x = x(t)t ∊ T
どこ
μ(T) > 0
空間を定義する
X = { x = x(t) ∍ t ∊ T }
確率分布
μ(x⁻¹(X′)) P(X′) = ———— X′ オープン ⊂ X
μ(T)
その場所に。
表1
図8および図9のトレース図の凡例
トレース番号 1 2 3 4 5 6 7
シンボル X2 X₁ γ β 私 dξ₂/dτ dξ₁/dτ
5回目のラン
信号 7½ Vrms 7½ Vrms π ptop 35.6 m cps
ノイズ 16 Vrms 15 Vrms π/9 ptop [5] 正弦波
ワシントンDC 0 0
電力S/N 1/4 1/4 81/1 0 1/2 [6]
終値 π/4 π/4
6回目のラン
信号 7½ Vrms 7½ Vrms π ptop 35.6 m cps
ノイズ 0 0 0 [7] 正弦波
ワシントンDC -30V 0
電力S/N ∞ ∞ ∞ 0 ∞
終値 π/4 π/4
[62ページ]
すると、(X,p(X))は通常の意味で確率空間であり、x(T)は確率変数となる。そこから直ちに導かれる結果が 2 つある。
P(X)は定常であり（P(X)はt∊Tの関数ではない ） 、エルゴード性の問題も生じない。
NPOのネットワーク
NPOのネットワークは、含まれる事前プログラミングの相対的な量に応じて、SOMから事前プログラムされた検出器まで、あらゆるものを構成できます。事前プログラミングの2つの方法は次のとおりです。(1) 永続ストレージからNPOネットワークの入力の一部に信号を供給する。この事前コピーは完全である必要はありません。なぜなら、SOMはいずれにせよ角度Θᵢを測定するからです。(2) フィードバック。これは結局のところ、あらゆる遅延線に内在するストレージを利用する方法にすぎません。(NPOの妥当な物理的実現には、x入力 とξ出力の間に、 γ計算における内部フィードバックループの時定数の10⁻¹倍以上の遅延Tが含まれることを暗黙のうちに想定しています。)
離散的な要素を持つチャネルのシミュレーションでは、有限生成群の必要な自由積を生成するためのフィードバック経路が必要です。そして、このようなSOMは、信号の対称性を記述する群の最大部分群に収束します。この最大部分群は、このSOMが利用できる自由積です。
1 ≤ n₀ ≤ K₀の単一の NPO は、 n₀ = 1の適切な NPO ネットワークと同型 (同じ入力から出力へのマッピングを提供する) であるため、 n₀ = 1の NPO ネットワークのみを研究すれば十分です。
図 10 はほぼ自明です。項目 a は、n₀ = 1の単一の NPO の概略図記号です。項目 b、d (より大きなフィードバック ループを含む)、および f は、人工知能ネットワークの典型的なものです。項目 c は、1 次元符号化問題の解決に 3 つのチャネルをカスケード アルゴリズムで適用するために必要なレベル変更を行うために使用されます。項目 c と e は、γ出力を必要とする唯一の構成であることに注意してください。項目 d は、信号に存在する最高周波数と比較してT⁻¹ を高くすることで、リミッタとして使用できます。項目 e は、 ξ₂またはβ出力の いずれかを必要とする NPO の唯一の適用例であることに注意してください 。項目 f は、実質的に単一の (より大きな) NPO へのより高い電力レベルの入出力を処理する目的で使用されます。[63ページ]
図10—NPOの考えられるネットワーク例
結論
自己組織化行動の定義が適切に表現されたことで、情報理論的手法を用いて自己組織化マシンの（数学的）メカニズムを合成することが可能になった。NPO（ネットワーク型組織）の形態での物理的な機械化が実現し、プログラムの実験段階が始まった。今後さらに研究すべき多くの項目の中から、現代技術の導入によるより経済的な物理的機械化、NPOネットワークとその群論的記述の特定、SOM（自己組織化マシン）がシミュレートする可能性のあるタスクの次元分析、および関連タスクへのSOMのプロトタイプ適用などが挙げられる。これらの方向性における進展が今後報告されることが期待される。
[64ページ]
参考文献
- シボル＝マルコッキ、ロムアルド I.、
「自己組織化のための位相幾何学的基礎」
カリフォルニア州アナハイム：ノースロップ・ノートロニクス、NSSレポート2828、
1963年11月14日 - 確かに、私たちの定義はホーキンスが提唱した定義（参考文献5）と非常によく似ています。例えば、ホーキンスの学習機械の定義（参考文献5の31ページ）と比較してみてください。しかし、そこで概説されているその後の展開は、私たちが辿ってきたものとは異なります。
- アシュビー、WR、
「メカニズムと恒常性の集合論」
技術報告書7、イリノイ大学、
1962年9月 - アシュビー、WR、
「システムと情報」
トランザクションズ PTGME MIL-7 :94-97
（1963年4月～7月） - ホーキンス、JK、
「自己組織化システム―概観と解説」
Proc. IRE . 49 :31-48 (1961年1月) - メサロヴィッチ医師
「自己組織化システムについて」
スパルタン・ブックス、9-36ページ、1962年 - ブレイバーマン、D.、
「最適なパターン認識のための学習フィルタ」
PGIT IT-8 :280-285 (1962年7月) - 我々は、自己組織化を統計的に扱う手法を採用しているにもかかわらず、後者の主張を行う。例えば、NPOのパフォーマンスを統計的記述を用いて予測することは可能だが、だからといってNPOが統計を計算しているとは限らない。
- マカロック、WS、およびピッツ、W.、
「神経活動に内在する観念の論理的計算」
Bull-Math. Biophys 5 :115 (1943) - ニューウェル、A.、ショー、JC、サイモン、HA、
「論理理論マシンの経験的探求」
ヒューリスティックに関するケーススタディ」
WJCC論文集、218-230ページ、1957年
10a.
空間 W、X、Y、Z は確率空間です。つまり、各空間は順序対 (X,p(X)) として定義され、 p(X) = {p(x) ∋ x ∈ X}、p(x) ≥ 0、x ∈ X、∫x p(x)dx = 1 です。このような空間は距離化可能な位相を持ちます。 - 確率分布については、次の規則を使用します。p( ) の引数が異なる場合、それらは異なる関数であり、したがって、y = xの場合でもp(x) ≠ p(y) となります。
- 距離の存在は直接証明できるが、距離化を行うにはまず空間を分解する必要がある。しかし、距離を持たない空間を分解するには巧妙な工夫が必要であり、我々の知る限り、SOMで使用される方法によってのみ実現されている。
12a.
この例では半球を使用していますが、一般的には球冠になります。
[65ページ]
自己組織化のための位相幾何学的基礎
RI Ścibor-Marchocki
ノースロップ・ノートロニクス・
システムズ・サポート部門
、カリフォルニア州アナハイム
情報理論を用いることで、任意の距離化可能な位相空間は、直交ユークリッド空間（ランダムなガウス確率分布を持つ）と、直積に関して既約な可算群の可算ランダム直積との積として距離化できることが示されている。統計的基底からこの距離化を実現するために必要なアルゴリズムが提示されている。そのような基底が利用できない場合は、代わりに特定の冪零射影演算子を使用する必要がある。この演算子は自己組織化特性を持つ。
導入
付随する論文[8]では 、自己組織化システムを、未知の現象の入力と出力（伝達関係）を観察した後、未知の現象のシミュレーションへと自らを組織化するシステムとして定義します。
数学モデルにおいては、前述の現象は位相空間として表現することができ、入力と出力の（恣意的な）指定はひとまず省略する。これは後述するように、一意性の問題に関わるものである。したがって、数学的基礎を重視する本稿では、インテリジェントデバイスとは、空間を研究し、それを記述するタスクを実行するものと定義する。
（少なくとも原則として）自分ができないことを他人（あるいは何か）に頼むべきではないという方針に沿って、そのような問題にどのように対処するかを考えてみましょう。
まず、問題を設定する空間を選択する必要があります。私たちが取り組める最も一般的な空間は、距離化可能な位相空間です。一方、これより限定的な空間は、不必要に制約が厳しくなります。したがって、距離化可能な位相空間を選択します。[66ページ]
この選択をした途端、私たちはそれを後悔します。状況を少しでも改善するために、直交ユークリッド空間と[9] 可算ランダムデカルト積（直積に関して既約な可算群）を使用しても、（追加の）一般性の喪失はないことを示します。
本論文では、問題の概要と、概念的には明快だが実用的とは言えない解決策を提示する。関連論文[10] では、ある冪零射影演算子を逐次的に用いることで、この問題を解決する実用的な方法を提示している。
メートル法
まず、距離化可能な位相空間から始めます。距離化可能な位相には、多くの同値な公理化が存在します。例えば、Kelley を参照してください。距離化可能な位相を視覚化する最も簡単な方法は、距離空間が与えられたものの、その距離の正確な形式が書かれたメモを紛失してしまった状況を考えることです。つまり、距離空間でできることはすべて、やり方さえ分かれば実行できるということです。
「その方法を解明する」ことは決して容易ではありません。ここでは、空間上で累積確率分布が標準的な方法のいずれかによって得られていると仮定します。バード・イン・ケージ法[11] 、 マンローI法[12] 、マンローII法[13] 、順序付け法（ハルモス[14] またはケリー[15]を参照）。この累積確率分布は、 Xから実数の区間 [0,1]への関数です。ラドン・ニコディムの定理により存在するこの関数の逆関数は、実数区間からXの非自明な部分への写像を提供します。この写像は、空間X上に実数の好ましい性質、すなわち位相的性質、距離的性質、順序付けを誘導します。
実際には、特に空間の次元が1より大きい場合、前述の手順では1つの計量化だけでなく、多数の計量化が得られることが判明した。実際、この一意性の欠如こそが、この手順を極めて困難にしている原因である。唯一の解が存在するような追加条件を課すことによってのみ、この問題は扱いやすくなる。
我々は、結果として得られる距離空間が直交座標系を持つユークリッド幾何学であるという追加条件を課すことを選択する。[67ページ]
それでも必ずしも一意性が得られるとは限りませんが、必要な言語を開発した後、一意性を保証する追加の制約を示します。与えられた距離化可能な位相のすべての距離化は同型であるため、商クラスでは、直交ユークリッド幾何学は、与えられた距離化可能な位相から得られる一意の要素の便利な代表として機能します。
さらに、この直交ユークリッド幾何学における確率分布としてガウス分布を用いる場合にも、同様のことが言える。すなわち、直交ユークリッド幾何学におけるランダムなガウス分布は、商クラスの1つの要素（確率空間）に写像される同値類の便利な代表例である。
情報理論
次に、情報理論が計量化の手順を詳細に記述するために必要な言語を提供することを示す。
ファインスタインの公理[16]を適切に一般化することで、情報理論を公理的に導入することは可能である。 [17] しかし、ここでは議論を簡略化するために、より洗練されていないが同等の方法である、特定の定積分を定義する方法を用いる。確率密度分布pは、累積確率分布Pから次のように定義される。
P(X′) = ∫X′測定可能 ⊂ X p(x)dx. (1)
すると、情報レートHは次のように定義される。
H(X) = -∫ₓ p(x) ln κ p(x)dx (2)
ここで、κはXの単位を持つ（運ぶ）。最後に、チャネルレートRは次のように定義される。
R (⨀Xᵢ) = Σ H(Xᵢ) – H(X)、(3)
私 私
ここで、Xは可算[18] デカルト積空間である。
X = ⨂ Xᵢ. (4)
私
[68ページ]
次に、角度Θを定義します。
-R(⨀Xᵢ)
私| Θ ( ⨀Xᵢ ) | = sin⁻¹ e （５）
私
そして、その規範
|X| = κ(2π e )⁻¹ᐟ² e H(X)。(6)
さて、[19] 統計的に独立した基底、つまり、
κ R ( ⨀Xᵢ ) ≡ 定数、（７）
私
1次元成分で表すことができる。つまり、それらのいずれもそれ以上分解できない場合は、対称行列を対角化して直交座標系を得るための合同変換による通常の問題となる。さらに、一意性を確保するために、スペクトルを降順に並べる。次に、これらの1次元軸それぞれにラドン・ニコディムの定理を適用することで、確率分布（例えば、必要に応じてガウス分布）を作成できる。こうして、約束された直交ユークリッド空間が得られる。
チャネル
この時点で、分解が一意であるために必要な残りの追加条件を述べることができます。インデックス空間 I は、I′とI″という正確に 2 つの部分に分割されなければなりません。つまり、
I′ ∪ I″ = I (8)
I′ ∩ I″ = φ、
そのため
dim (X′) = dim (X″)、(9)
どこ
X′ = ⨂Xᵢ (10)
私’
X″ = ⨂Xᵢ。
私”
[69ページ]（dim (X)が奇数の場合は、余分なランダムなダミー次元を挿入することで少しズルをする必要があります。）そして、空間の分解
X = ⨂Xᵢ (11)
私
この分割が維持されるように処理を実行する必要がある。この分割は（数学的には）任意であるため、分割されていない空間には多くの（同等の）分解が存在することは明らかである。一方、分割が2つ以上の部分に分かれている場合は、分解の存在は保証されない。
この分割方法を用いるには、わずかな代償が伴います。すなわち、最終的に一次元空間のランダムな直積を得る代わりに、一次元チャネルの拡張チャネル（ランダムな入力を持つ）を得ることになります。分割を一時的に放棄した場合、このような一次元チャネルはそれぞれさらに2つのランダムな成分に分解されることは明らかです。この分解は一意ではありません。しかし、これらの等価な分解のうちの1つは特に便利です。それは、元のX′から成分を取り出し、それに対してランダムな成分（例えばV）を取り出す分解です。このV（および、必然的にランダムであるすべてのVの直積）は、線形加法性ノイズと呼ばれます。「線形加法性」という名称は、直交ユークリッド幾何学におけるベクトルの線形加算と同型な統計的概念であるため、正当化されます。（この最後の記述の証明はまだ完了していません。）
列挙可能な空間
この分解手順は、空間の可算成分が存在する可能性を軽視するように記述されている。このような成分は明示的に与えられる場合もあれば、空間が単連結でない場合に存在する場合もある。可算空間は必ずゼロ次元であり、これは情報理論における次元の定義から容易に確認できる。
可算空間を処理する明白な方法は、固定長のセグメントを使用してスティルチェス積分をルベーグ積分に変換する従来のマッピングを使用することです。（H はこのようなマッピングの下で不変であることが示せます。）残念ながら、このマッピングに続いて前述の手順を繰り返すと、常に [70ページ]与えられた問題（2 回目のパスで新しい可算コンポーネントを生成する必要がない） では、結果として得られる空間の構造についてほとんど洞察が得られません。一方、カスケード接続されたチャネルはグループを構成するため、そのような可算空間は可算グループの表現となります。
まとめ
要約すると、元の距離化可能な位相空間は、直交ユークリッド空間と[21] 可算ランダムデカルト積（直積に関して既約な可算群）に分解されました。したがって、ランダムデカルト積の個々の成分は他の成分とは独立して研究できるため、研究する必要があるのは、（1）単一の実軸上のガウス分布と（2）可算既約群だけです。
最後に、計量可能なトポロジーを分解する方法は次の2つしかないことを強調しておく必要がある。(1) （統計的）基底が与えられている場合は、先に説明した対称行列の対角化アルゴリズムを使用する（カスケード問題の3つのチャネルで詳細に説明されている）。(2) そうでない場合は、n₀=1のNPOの適切なネットワークを使用する。もちろん、これら2つの方法の任意のハイブリッドも使用できる。
[71ページ]
機能的ニューロンモデリングについて
CEヘンドリックス
スペース・ジェネラル・コーポレーション
、カリフォルニア州エルモンテ
ニューロンの数学的・物理的モデルを構築すべき理由は、大きく分けて2つあります。モデル構築は物理科学では広く用いられていますが、生物学ではほとんど無視されてきました。しかし、物理科学における経験から判断する限り、ニューロンモデルの構築は実際のニューロンの機能理解を深めることにつながることは間違いありません。第二に、ニューロンモデルは新しい技術デバイスとして、それ自体が非常に興味深いものです。自己組織化システムに関するシンポジウムへの関心と開催の理由は、まさにここにあります。
実際のニューロンの特性に注目し、その中で模倣すべき最も重要な特性はどれかを検討すべきです。もちろん、生きたニューロンのすべての特性を模倣することは不可能です。なぜなら、そのためには、生きた代謝細胞、しかも高度に特殊化された細胞の完全なシミュレーションが必要となるからです。しかし、最も重要だと考えられる機能特性を選択し、それらをシミュレーションすることは可能です。
ニューロンの機能の中で最も劇的な側面は、もちろん軸索放電です。これこそがニューロンに「全か無か」という性質を与え、出力パルスを遠くまで伝播させる手段を提供するものです。ホジキンとハクスリー（1）は この動作を非常に詳細に記述しました。彼らのモデルは、実際のニューロンの性質を説明する上で、間違いなく比類のないものです。
技術的な側面では、クレーンの「ニューリストア」（2）は、ホジキン・ハクスリーモデルの微妙なニュアンスをすべて排除し、軸索放電を大まかに模倣する装置の一種である。クレーンは、ニューリストアを組み合わせることで、コンピュータに必要なさまざまなブール関数が得られることを示した。
しかし、このような軸索モデルは興味深いものの、自己組織化システムの開発におけるその重要性については疑問が残る。軸索の挙動におけるパルス生成、つまり「全か無か」の部分は、「ワンショット」トリガー回路でも同様にシミュレートできる。結局のところ、軸索の伝達特性は、自然が信号をここからあそこへ送る方法に過ぎない。 [72ページ]塩水浴の中で開発され、今もなお機能していることを考えると、これは問題に対する見事な解決策と言えるだろう。しかし、特に絶縁銅線が十分に入手できる状況であれば、ハードウェア設計者がこのように自らを制限することにはほとんど意味がないように思われる。
軸索の伝達特性が削除された場合、自己組織化システムの合成において最も重要と思われるニューロンの特性は以下のとおりである。
a. ニューロンは、刺激に対して標準的な大きさおよび形状の電気パルスで応答する。刺激が継続すると、パルスは一定の間隔で発生し、その発生頻度は刺激の強度に依存する。
b. 刺激には閾値が存在する。刺激の強度がこの閾値を下回ると、ニューロンは発火しない。
c. ニューロンは時間的および空間的な統合能力を持つ。異なる発生源から、あるいはわずかに異なるタイミングでニューロンに到達する多くの閾値以下の刺激が、ニューロンを発火させるのに十分なレベルまで加算されることがある。
d. 入力の中には興奮性のものもあれば、抑制性のものもあります。
e. 不応期が存在する。一度発火すると、刺激の大きさに関わらず、ニューロンは一定期間、再び発火することができない。これにより、個々のニューロンのパルス頻度に上限が設けられる。
f．ニューロンは学習することができる。この特性は、生きたニューロンにおいては推測の域を出ない。なぜなら、現時点では、単離された生きたニューロンにおいて学習が明確に実証されていないからである。しかしながら、学習特性は、すべての自己組織化モデルの基本となるものである。
上記のような特性を持つニューロンモデルは構築されているが、それらすべてを単一のモデルに組み込んだものはないようだ。 ベル研究所のハーマン（3）は、特性（a）から（e）を持つニューロンモデルを構築し、それを用いて末梢神経系の一部をシミュレートする非常に興味深い装置を開発した。
学習要素に関する様々な試みがなされてきたが、おそらく最もよく表れているのはウィドロー（4）の試みであろう。これらのデバイスは「学習」能力を備えているが、静的であり、（a）から（e）に挙げた時間的特性をすべて欠いている。このようなデバイスは、時間的パターンを空間的パターンに変換するマッピング技術によってのみ、時間的パターンを扱うことができる。
ニューロンの重要な特性と思われるものを列挙することで、それらすべてを備えた単純なモデルを構築することが可能となる。[73ページ]
複数の入力刺激は、閾値を設定し空間積分を行う抵抗加算ネットワークを介してニューロンに送られる。加算接合部の電圧は「ワンショット」回路をトリガーし、この回路はその性質上、パルス生成を行い、時間積分と不応期を示す。個々の入力の極性によって、それが興奮性か抑制性かが決まる。この回路の大部分は、ハーモンのモデルと非常によく似ている。
学習は次のような仕組みで起こると考えられている。ニューロンが発火すると、外部からの影響（環境、あるいは「トレーナー」）によって、発火の結果が望ましいものだったかどうかが判断される。望ましい結果であれば、ニューロンの閾値が下がり、次回の発火が容易になる。望ましくない結果であれば、閾値が上がり、次回の発火が難しくなる。
自己組織化システムでは、多数のモデルニューロンが相互接続されます。「罰と報酬」（PR）信号は、すべてのニューロンに共通して接続されます。ただし、最近発火したニューロンのみがPR信号の影響を受けるように手段が提供されます。したがって、最近の反応に関与したニューロンのみが変化します。このアイデアはスチュワート（5）によるもので、彼はこれを電子機器ではなく電気化学デバイスに適用しました。
回路の仕組みは比較的単純です。パルス発生器の出力の一部は、「パルス伸長器」または短期記憶器を経由して送られ、ニューロンが最近発火したという事実を一時的に記録します。パルス伸長器の出力はゲートを制御し、ゲートはPR信号を受け入れるか拒否するかを決定します。PR信号は、「罰」、「無行動」、「報酬」のいずれであるかに応じて、正の値、ゼロ、負の値の3つのみをとります。最後に、ゲートの出力は可変抵抗器を制御し、この可変抵抗器は抵抗加算ネットワークの一部です。図1 は、完全なモデルのブロック図です。
このデバイスは、各入力抵抗を可変重み要素とするのではなく、閾値抵抗のみが可変要素であるという点で、通常の「パーセプトロン」構成とは異なります。この簡略化により、特定のタスクを準備する際に、多変数ニューロンよりも多くの単変数ニューロンが必要になる状況が生じる可能性があります。この潜在的な欠点は、モデル設計に含まれる非常にシンプルな制御アルゴリズムによって少なくとも部分的に相殺され、ほとんどの多変数モデルで問題となるような大きな懸念事項ではありません。[74ページ]
図1—ニューロンモデルのブロック図
この種のモデルの動作を手動でシミュレーションした結果、ある程度のランダム性が必要であることが示唆された。これらの要素から構成され、かつ興味深いほど十分な複雑さを持つ自己組織化システムは、かなりの数の再循環ループを持つと考えられる。そのため、入力刺激がない場合でも自発的な活動が維持される。もしそうであれば、ランダムノイズ発生器から得られる少量のノイズをPRバス上の信号に加えることで、容易にランダム性を導入できる。こうして、自発的に発火するニューロンは、常に閾値が変化することになる。
このモデルの機構はそれほど複雑ではなく、以下のように概算できます。ワンショットパルス発生器にはトランジスタが2個必要で、パルス伸長器にはさらに1個必要です。双方向ゲートにはトランジスタ1個と少なくとも2個のダイオードが必要です。
電気的に制御可能な可変抵抗器の候補はいくつか存在する（6）。特に有望な候補としては、ウィドローが開発した「メミスター」またはめっきセル（7）、ヴェンデリンによるその固体版（8）、および「ソリオン」 （9）が挙げられる。これらはすべて、2つの端子間の抵抗が3番目の端子を通る正味の電荷の流れによって制御される電気化学デバイスである。これらはすべて、この特定の回路に適用可能である。
しかしながら、この3つの中で、ソリオンは一見すると最も有望に見える。なぜなら、その抵抗値は数千オーム程度（めっきセルの数オームに比べて）であり、一般的な固体回路との互換性が高いからである。ソリオンの欠点は、非常に低い電圧（1ボルト未満）しか耐えられないことと、現状では追加のバイアス電圧が必要となることである。これらの課題を克服できれば、ソリオンは大きな可能性を秘めている。[75ページ]
要約すると、実際のニューロンの重要な機能のほとんどを模倣できる、比較的単純なニューロンモデルを構築できることがわかります。このようなモデルで構成されたシステムは、観察者によって罰や報酬を与えられることで、特定の刺激に対して特定の反応を示すように訓練することができます。場合によっては、観察者は単に環境そのものとなるため、システムは経験から直接学習し、自己組織化システムとなるでしょう。
参考文献
- アラバマ州ホジキン、アラバマ州ハクスリー、
「膜電流の定量的記述とその神経における伝導および興奮への応用」
J. Physiol. 117 :500-544 (1952年8月) - クレーン、HD、
「ニューリストア ― 斬新なデバイスとシステムコンセプト」
Proc. IRE 50 :2048-2060 (1962年10月) - LD ハーモン、J. レビンソン、ワシントン州ヴァン ベルゲイク、
「神経機構のアナログモデル」
IRE Trans. on Information Theory IT-8 :107-112
（1962年2月） - ウィドロー、B.、およびホフ、ME、
「適応型スイッチング回路」
スタンフォード電子工学研究所技術報告書1553-1、1960年6月 - スチュワート、RM、
「興奮性細胞構造における電気化学的波動相互作用と広範な電場効果」
第1回パサデナ自己組織化システム招待シンポジウム
カリフォルニア工科大学、カリフォルニア州パサデナ、1963年11月14日 - ナギー、G.、
「アナログメモリデバイスに関する調査」
IEEE電子計算機学会誌EC-12:388-393 (1963年8月) - ウィドロー、B.、
「化学メミスターを用いた適応型アダラインニューロン」
スタンフォード電子工学研究所技術報告書1553-2、1960年10月 - ヴェンデリン、GD、
「固体状態適応型コンポーネント」
スタンフォード電子工学研究所技術報告書1853-1、1963年1月 - 「電気化学の原理と低電力電気化学デバイス」
通信省技術サービス局PB 131931
（米国海軍兵器研究所、メリーランド州シルバースプリング、1958年8月）
[76ページ]
ニューラルネットワークシミュレーションのパラメータの選択[22]
RKオーバートン
オートネティクス研究センター
、カリフォルニア州アナハイム
本シンポジウムでは、質の高い研究発表が数多く行われました。特に興味深かったのは、AeronutronicグループとLibrascopeグループの報告です。Aeronutronicグループは、線形閾値要素の様々な配置について体系的な調査を行っており、その点は高く評価できます。また、Librascopeグループは、シミュレーションされたニューロンのパラメータに異なる値を設定した場合の影響を示したデータを提供しており、こちらも体系的かつ興味深いものでした。
しかしながら、残念ながら、こうした研究への関心が、より根本的な、そして研究に値すると思われる問題を覆い隠してしまう可能性がある。その問題とは、シミュレーションされたニューロンを記述するパラメータ、すなわち属性に関するものである。具体的には、シミュレーションにはどのパラメータまたは属性を選択すべきか？（例えば、絶対不応期の後に超常的な感受性の期間をシミュレーションすべきか？）
当然ながら、何らかの選択が必要となる。ニューロンをほぼ忠実にシミュレートしようとしているLibrascopeは、10個のシミュレートされたニューロンからなるネットワークを構築する予定だ。一方、General Dynamics/Fort Worthは、ほぼ同程度の労力を費やしながら、3900個の不忠実なシミュレートされたニューロンを用いて研究を進めている。この比較はどちらのグループをも批判するものではない。Librascopeチームは、General Dynamicsグループよりもはるかに多くのシミュレーションパラメータを選択したというだけのことだ。学習に必要かつ十分な実際のニューロンのパラメータがまだ完全に解明されていないため、それぞれが好みの選択をすることができる。
実際のニューロンに関心を持つ者としては、このような同定の欠如は残念なことである。かつて私は、ニューロンの本質的な特性についていくつかの推測をまとめた本を書いたことがある。それ以来、多くのニューロンシミュレーションプログラムが開発されてきた。しかし、これらのプログラムは、それ自体は興味深く価値のあるものではあるものの、必要なパラメータに関する疑問に答えるにはほとんど役に立っていない。つまり、より良い推測を可能にするものではないのだ。しかし、より良い推測ができれば、より「知的な」機械が実現するはずである。
[77ページ]
招待参加者一覧
マイケル・アービブ マサチューセッツ工科大学
ロバート・H・アセンドルフ ヒューズ研究所/マリブ
JA デイリー アストロパワー/ニューポートビーチ
ジョージ・デフロリオ システム開発株式会社／サンタモニカ
デレク・H・フェンダー カリフォルニア工科大学
レナード・フリードマン スペーステクノロジーラボ/レドンドビーチ
ジェームズ・エメット・ガーベイ ONR/パサデナ
トーマス・L・グレッテンバーグ カリフォルニア工科大学
ハロルド・ハミルトン リブラスコープ/グレンデール
ジョセフ・ホーキンス エアロニュートロニック/ニューポートビーチ
チャールズ・ヘンドリックス スペースジェネラル社／エルモンテ
RDジョセフ アストロパワー/ニューポートビーチ
ピーター・A・クライン ノートロニクス/アナハイム
ジョン・クーン スペースジェネラル社／エルモンテ
フランク・リーハン スペースジェネラル社／エルモンテ
エドウィン・ルイス リブラスコープ/グレンデール
ピーター・C・ロッケマン カリフォルニア工科大学
ギルバート・D・マッキャン カリフォルニア工科大学[78ページ]
CJマンシー エアロニュートロニック/ニューポートビーチ
C. オーバーマイヤー ノートロニクス/アナハイム
リチャード・K・オーバートン オートネティクス/アナハイム
ダイアン・ラムジー アストロパワー/ニューポートビーチ
リチャード・ライス リブラスコープ/グレンデール
RI ŚCIBOR-MARCHOCKI ノートロニクス/アナハイム
ジェームズ・J・スピルカー フィルコ/パロアルト
ロバート・M・スチュワート スペースジェネラル社／エルモンテ
ヘニッグ・スティーブ カリフォルニア工科大学
リチャード・テュー スペースジェネラル社／エルモンテ
ジョン・トーセン カリフォルニア大学ロサンゼルス校
リチャード・ヴィネッツ リブラスコープ/グレンデール
クリストフ・フォン・カンペンハウゼン カリフォルニア工科大学
デビッド・ヴォールズ カリフォルニア工科大学
ホルスト・ヴォルフ アストロパワー/ニューポートビーチ
米国政府印刷局：1966年 O—205-502
脚注：
[1]総説記事については、Lillie (13)、 Franck (6)を参照してください。
[2]この装置の動作については、JJ Spilker, Jr.、DD Luby、RD Lawhorn、「適応型バイナリ波形検出」、Philco Western Development Laboratories、通信科学部門、TR #75、1963年12月に、より詳細に説明されている。
[3]FM Glaser、「適応フィルタによる信号検出」、 IRE Trans. Information Theory、pp. 87-90、1961年4月。
[4]PW クーパー、「パターン認識における超球体」、 Information and Control、pp. 324-346、1962 年 12 月。
[5]オシログラムから観測
[6]計算された
[7]オシログラムから観測
[8]Kleyn, PA、「自己組織化機械の概念設計」、カリフォルニア州アナハイム：ノースロップ・ノートロニクス、NSSレポート2832、1963年11月14日。
[9]ランダムなデカルト積。
[10]Kleyn, PA、「自己組織化機械の概念設計」、カリフォルニア州アナハイム：ノースロップ・ノートロニクス、NSSレポート2832、1963年11月14日。
[11]Harman, WW、「通信の統計理論の原理」、ニューヨーク、ニューヨーク：マグロウヒル、1963年。
[12]Munroe, ME、「計測と積分入門」、マサチューセッツ州ケンブリッジ：Addison-Wesley、1953年。
[13]Munroe, ME、「計測と積分入門」、マサチューセッツ州ケンブリッジ：Addison-Wesley、1953年。
[14]Halmos, PR、「測度論」、プリンストン、ニュージャージー州：D. Van Nostrand Co., Inc.、1950年。
[15]Kelley, JL、「一般トポロジー」、プリンストン、ニュージャージー州：D. Van Nostrand Co., Inc.、1955年。
[16]ファインスタインは有限空間 X においてのみ公理を使用する。 すなわち、card(X) < K₀ である。
[17]ファインスタイン、A.、「情報理論の基礎」、ニューヨーク、ニューヨーク：マグロウヒル、1958年。
[18]Iが無限大の場合、いくつかの注意を払う必要がある。
[19]この「もし」という条件こそが、重心を中心とする単位球面への逐次投影法を除いて、1次元を超える空間の計量化法を全て非現実的なものにする落とし穴である。この冪零投影演算子を用いる方法は、関連論文（65ページの脚注を参照）で説明されている。
[20]旧可算空間のうち、非巡回的な既約（直積に関して）可算群成分のみが残る。
[21]ランダムなデカルト積。
[22]本論文はシンポジウム後に提出されたものであり、シンポジウムの討論セッションで提起されたいくつかの問題についてより詳細な説明を行ったものであり、したがって、議事録に加える価値のあるものである。
転写者メモ：
イラストは、段落を分断しないように、また、イラストが説明する本文のすぐ隣に配置されるように移動されました。
誤字脱字や句読点の誤りは、目立たないように修正されました。
文字の上に太い横棒が付いている場合はベクトルを表します。例えば、Mは「ベクトルM」を意味します。
*** グーテンベルク・プロジェクトの電子書籍「自己組織化システム」の終焉、1963年 ***
《完》