Skip to main content

Applications Kit ML101 with Prof. Vijay Course

note

この文書は AI によって翻訳されています。内容に不正確な点や改善すべき点がございましたら、文書下部のコメント欄または以下の Issue ページにてご報告ください。
https://github.com/Seeed-Studio/wiki-documents/issues

序文​

概要​

私たちはデータが支配する世界に生きています。機械学習は一部で恐ろしい影響をもたらしていますが、それを活用して世界をより良くするためにできることはたくさんあります。例えば、ソーシャルメディアで安全を保つといった単純なタスクから、研究室でパターンを検出するような複雑なタスクまでです。業界や用途に関係なく、組み込みシステムと機械学習の理解は今後非常に価値のあるものとなるでしょう。これらのツールの仕組みを理解しなければ、それらを活用することはできません。そしてこれは、現在仕事を探している人々だけでなく、これらの技術が生まれる前からその仕組みを理解している未来の世代にも当てはまります。

製造業や自動車産業のような業界では、すでに予知保全の形で機械学習の恩恵を受けています。アルゴリズムは特定の種類の機械や部品の典型的な故障パターンを識別するように訓練され、その後、オペレーターにアラートを送ったり、自律的に是正措置を取ったりすることができます。このようにして、産業用IoT（インターネット・オブ・シングス）の導入により、プラントの稼働時間を向上させ、運用コストを削減することができます。同じ基本原則は他の設定にも適用できます。例えば、交通管理システムは機械学習アルゴリズムを使用して渋滞を予測し、それに応じて信号のタイミングを調整することができます。

組み込みシステムの文脈では、「Tiny Machine Learning（TinyML）」という重要な用語を理解する必要があります。これは、マイクロコントローラーのようなリソースが制約されたデバイス上で実行できる、小型で軽量なニューラルネットワークの使用を指します。TinyMLアルゴリズムは、物体認識、分類、検出などのタスクに使用できます。これらは比較的少ないトレーニングデータを必要とし、少数のニューロンで高い精度を達成できるため、組み込みシステムに適しています。 TinyMLの応用例は数多くあり、以下のような興味深い例があります：

  • 自律走行車：ニューラルネットワークを使用して環境内の障害物を検出し、それを回避する方法を決定します。
  • ホームセキュリティ：ホームセキュリティカメラで撮影されたビデオ内の人物や物体を識別します。
  • ヘルスケア：アルゴリズムを使用して医療画像の異常を検出したり、病気のリスクを予測したりします。
  • 産業用IoT：ニューラルネットワークを使用して、産業用センサーからのさまざまなデータを分類します。
  • 小売業：ニューラルネットワークを使用して商品画像内のアイテムを識別し、顧客に製品を推奨します。

TinyMLは、機械学習の初心者にとって学び始めるのに最適な方法です。また、組み込みシステムと、それらが機械学習アルゴリズムとどのように連携できるかについて学ぶ良い方法でもあります。始めるためには、いくつか知っておくべきことがあります。まず、Tinyニューラルネットワークコードを実行できるマシン（例えば、Wio Terminal）へのアクセスが必要です。次に、使用するアルゴリズムのトレーニングデータが必要です。私たちはトレーニングデータを理解するためにさまざまなプロジェクト例を見ていきます。最後に、アプリケーションに合った機械学習アルゴリズムを選ぶ必要があります。このコースではニューラルネットワークを使用します。

これらの言葉が馴染みのないものであっても心配しないでください。このハンドブックは、TinyMLを始めるための初心者向けに設計されています。年齢に関係なく、学びたいという意欲があれば学ぶことができます。このハンドブックでは、Seeed StudioのARM Cortex-Mコアマイクロコントローラーデバイス上で、TensorFlow Lite for MicrocontrollersやEdge Impulseといった最新の最先端MLソフトウェアを使用して、ディープニューラルネットワークモデルをトレーニングおよびデプロイする方法を学びます。

この本は誰のためのものか​

この本は、Wio Terminalを教室やワークショップに取り入れ、学習者にTinyMLの力を示すために、教育者が採用できるように特別に設計されています。機械学習の基本を教えるために必要な基礎を提供し、概念を実践的な演習に基づいて学べるようにしています。

コース構成​

この本は、TinyMLを始めるための教師と学習者向けの実践的なブックレットとして特別に設計されています。この本から概念を学び、応用機械学習の基本概念を教えることができるようになることを目指しています。キーワードは「応用」であり、このコースは機械学習の技術的および理論的な側面ではなく、その応用に焦点を当てています。

  • 学生の最低年齢：12歳以上
  • 計画された授業数：5回の講義、5回の実習、2つのプロジェクト
  • 実践プロジェクトの所要時間：45分

コース要件​

Arduino IDEとC++の基本的な知識

コース教材​

教材にはこのハンドブックと、SEEED Studioの「Getting Started with the TinyML Kit」が含まれています。このコースに必要なすべてが1つのボックスに揃っています。

pir

学べること​

この書籍の読者は、Seeed Studio の Cortex-M コアマイクロコントローラデバイス上で深層ニューラルネットワークモデルをトレーニングおよびデプロイする方法を学びます。コース内容には、現代の機械学習の基本的なアイデアを理解し、低消費電力かつ小型のマイクロコントローラを使用してインテリジェントで接続されたシステムを構築する方法を学ぶための詳細なステップバイステッププロジェクトが含まれています。

コースを修了すると、学生は Cortex-M コアマイクロコントローラ上で機械学習を活用した独自のプロジェクトを設計および実装できるようになります。問題の定義からデータ収集、ニューラルネットワークモデルのトレーニング、そして最終的にデバイスにデプロイして推論結果を表示したり、推論データに基づいて他のハードウェア機器を制御したりするまでのプロセスを学びます。コース内容は、データ収集、モデルトレーニング、変換パイプラインを簡素化する Edge Impulse プラットフォームを使用することに基づいています。

はじめに​

初心者向け人工知能​

人工知能とは何か？​

人工知能（AI）は、機械によって示される知能のことです。しばしば創造性、知性、意識と混同されますが、それらとは異なるものです。AI は、Amazon Echo や Google Home のようなスマートスピーカーの形で多くの現代の家庭に存在しており、簡単な質問に答えたり、交通情報を提供したり、家庭内の他のデバイスを制御したりするようにプログラムされています。そして、多くの人が人工知能について理解していると思っていますが、実際にはほとんどの人が誤解しています！実際、AI は長い間存在していました（1951年から）が、最近（2010年代初頭）になってその潜在能力が明らかになり、車の運転方法からテイクアウトの注文方法まで、すべてを変える可能性があることがわかりました。それでは、AI を詳しく見てみましょう。

AI はどのように機能するのか？​

AI は「機械学習」と呼ばれるプロセスを使用して機能します。このプロセスについては後ほど詳しく学びますが、簡単に言うと、データから学習する方法であり、明示的にプログラムされる必要はありません。例えば、コンピュータに猫の写真を認識する方法を教えたい場合、まず大量の猫の写真をコンピュータに提供する必要があります。その後、コンピュータは新しい猫の写真を分析し、それが猫かどうかを判断できるようになります。これはニューラルネットワークと呼ばれるもので、データを分析することで独自に学習できる人工知能の一種です。このコースでは、ニューラルネットワークとその「トレーニング」方法についてさらに学びます。

AI が重要な理由​

AI が重要である理由は数多くありますが、その中でも最も重要な理由の一つは、世界の最大の問題を解決する可能性があることです。例えば、AI は医師が病気を診断するのを助けたり、農家が収穫量を予測するのを助けたりすることができます。また、AI は新薬の開発やメールのスパムフィルターの改善にも利用できます。実際、AI が影響を与えない分野はありません。

人工知能は、統計や線形回帰などの従来の方法に比べていくつかの利点を提供します。これらの利点には以下が含まれます：

  • 機械学習モデルは、手動の介入なしで独自に学習することができます。
  • 従来の方法よりも効率的に大量のデータを処理することができます。
  • 人間には識別できないほど複雑なパターンを特定することができます。

AI は安全か？​

AI に関する主な懸念の一つは、それが危険である可能性があるということです。結局のところ、コンピュータが独自に学習できる場合、悪いことを学ぶ可能性もあります。しかし、専門家はコンピュータが悪意を持つリスクは非常に低いと考えています。実際、AI に関する真の危険は人間自身から来るものです。例えば、AI システムに過剰な権限を与えると、人間が危険にさらされる可能性があります。

AI 革命​

AI について覚えておくべき最も重要なことの一つは、それが単なる新しい技術ではないということです。実際には、経済、社会システム、さらには私たちの生活を変える力を持つ革命なのです。それは少し怖いように聞こえるかもしれませんが、専門家は、この驚異的な技術を活用するために協力すれば、人工知能が世界の最大の問題を解決するのに役立つ可能性があると考えています。

さらに、専門家は、AI を受け入れる人々がそれに反対する人々よりも成功するだろうと予測しています。ここで重要なのは協力ですので、AI についてできるだけ多く学び、AI の未来に備えましょう！人工知能が何であるか、そしてそれがどのように機能するかについて自分自身を教育し、AI の未来に備えましょう！

AI の概念的基盤​

人工知能は、今日の社会で主流となった単なる技術ではありません。AI は、世界のあらゆる側面、経済、社会システム、さらには私たちの生活を革命的に変える力を持っています。人工知能は長い年月をかけて進化し、単なるコンピュータ科学のプロジェクト以上のものであることを明らかにしました。

人工知能の基礎となる考え方は、英国の哲学者アラン・チューリングの機械の知的能力に関する研究に由来しています。彼はケンブリッジ大学で数学とコンピュータ科学を学び、その後学術フェローとして活躍しました。彼の論文「Computing Machinery and Intelligence」は1950年に Mind によって発表され、多くの人々が出席しました。この論文でチューリングは「チューリングテスト」として知られるものを提案しました。これは、特定の人工知能が達成されたかどうかを判断するための事実上の基準となっています。

pir

チューリングテストに合格するということは、人工知能が人間の性格特性を模倣し、人間ではなく知能を持つ機械と話していることに気づかせないようにすることを意味します。このテストでは、機械が30%以上の確率で人間として認識される必要があります。これは完璧ではありませんが、AIが人間に非常に近い存在になり得ることを示しています。「計算機械と知能」という論文は、人工知能が登場する未来の文学作品、例えばダニエル・H・ウィルソンの『ロボポカリプス』のように、ロボットが自己認識を持つことで世界を支配するというテーマを扱う作品の先駆けとなりました。人工知能をテーマにした文学作品や映画は他にも多く存在しますが、今日でも使用されているテストを提案した最初の論文の一つです。

チューリングの論文が人工知能のさらなる研究を可能にした一方で、それを助けた他の取り組みもありました。1956年、ジョン・マッカーシーはダートマス大学で人工知能をテーマにした夏季ワークショップを組織しました。これが「ダートマス人工知能研究プロジェクト」として知られるようになりました。この新しい分野は、コンピュータが人間のように「考え」、問題を解決する方法を探求するものでした。「コンピュータが考えることができるか」という問いは長年にわたって存在していましたが、このプロジェクトは数学や工学の最高の頭脳を集めることで新たな高みに到達しました。

それ以来、人工知能は多くの分野で利用される成長分野となっています。現代社会におけるAIの主な用途の一つは、スマートスピーカーのような家庭用電化製品の制御です。これらのデバイスは、簡単な質問に答えたり、アラートを提供したり、家庭内の他のIoTデバイスを制御したりするようにプログラムされています。例えば、スマートスピーカーが常に会話を聞いているのではないかという懸念があります。一部のデバイスがハッキングされ、許可なく会話を記録した事例もありますが、ほとんどの企業はこれらの問題が自社製品で発生しないよう適切な対策を講じています。これにより、AIが社会にとって有益なさまざまな方法で利用できることが示されています。

もう一つの懸念は、人工知能が仕事を奪うのではないかという点です。例えば、自動運転車の開発により、多くの人が輸送業界の仕事の未来を心配しています。しかし、これらの技術が短期的に特定の仕事を置き換える可能性がある一方で、新しい種類の仕事の機会も生み出します。例えば、自動運転車の開発には、これらの車両をプログラムし、修理するスキルを持つ人々が必要です。したがって、新しい技術を恐れるのではなく、それを受け入れ、どのように活用するかを学ぶことが重要です。

要約すると、人工知能はその概念が生まれて以来、大きな進歩を遂げ、多くの異なる方法で利用されています。いくつかの懸念があり、それらに対処する必要がありますが、多くの人々がAIが実際に生活を改善できることを認識しています。企業が私たちのプライバシーを確保するために適切な対策を講じる限り、人工知能は私たちと共に成長し、社会をより良くするために役立つでしょう。

機械学習とディープラーニング​

pir

機械学習​

機械学習は、データから学び、時間とともにその精度を向上させるアプリケーションを構築することに焦点を当てた人工知能（AI）の一分野です。機械学習の基盤は、すべてを一つ一つ教える必要があるのではなく、もし機械が私たちのように考えるようにプログラムされれば、観察し、分類し、失敗から学ぶことで作業を学べるという考えに基づいています。機械学習は、データから明示的にプログラムされることなく抽出することができるという考えに基づいた人工知能の一種です。大量のデータセットのパターンを分析し、それらのパターンからルールやアルゴリズムを抽出し、それを使って予測を行います。

ディープラーニング​

ディープラーニングは、人工ニューラルネットワークを活用して大量のデータから学習する機械学習のサブセットです。これは人間の脳の内部構造をモデルにしています。ソフトウェアプログラムには「ニューロン」（私たちの脳のようなもの）が含まれており、それらの間に接続があります。これらの接続は新しいデータにさらされると変更され、入力情報を処理する方法を学びます。ディープラーニングは機械学習と異なり、「教師あり学習」に限定されません。これは、数学の各ステップで何が正しいか、何が間違っているかを正確に教えてくれる教師が隣にいるようなものです。教師はその分野の専門家であるため、「監督」することができます。しかし、ディープラーニングはラベル付けされていないデータ（画像やテキストなど）を使用することもでき、「深層」というのは、複雑な構造を作り出すアルゴリズムを使用することを指します。このコースを進める中で、これらの異なる学習方法の詳細についてさらに学んでいきます。

ディープラーニングの応用​

ディープラーニングは現在、多くの産業で広く使用されています。金融業界では、株式市場の予測、リスク評価、不正検出などに使用されています。また、マーケティングでは、顧客セグメンテーション、パーソナライズ、コンテンツ最適化などに使用されています。医療分野では、診断、治療計画、患者モニタリングなどのタスクに使用されています。ディープラーニングは私たちの社会に変革的な影響を与えています。

機械学習が社会に与えた変革的な影響の一例として、コスト削減や命を救うことが挙げられます。例えば、前述のように、ディープラーニングアルゴリズムは株式の予測、例えば株価が上がるか下がるかを予測することができます。これらの予測は投資戦略を導き、財務上の意思決定を改善します。同様に、ディープラーニングは医療分野でも予測を行い、患者の診断を改善し命を救うことができます。ある研究では、ディープニューラルネットワークが敗血症の患者を83%以上の精度で予測できることが判明しました。これは従来の診断ツールの55%の精度を大きく上回るものです。このように可能性は無限であり、利益は明白です。機械学習は人間よりも高い精度で予測を行うだけでなく、はるかに速いペースでそれを実現します。では、何をためらう必要があるのでしょうか？

別の例を見てみましょう。製造業はコンピュータ技術にますます依存するようになり、生産のあらゆる側面についてリアルタイムデータを提供しています。これは以前には想像もできなかったことです。この傾向が最も顕著に現れているのが自動車産業であり、車はますます物理的な製品というよりも「車輪の上のコンピュータ」として見られるようになっています。

ディープラーニングは製造業に大きな効果をもたらしています。製造プロセス全体で収集された膨大なデータから常に学習するソフトウェアを使用することで、企業は生産性を向上させ、効率を改善することで廃棄物を削減しています。これにより企業は経済的な利益を得る一方で、顧客はより高品質な製品をより低価格で手に入れることができます。機械学習は、製造業者がプロセスを継続的に改善し、これまで以上に迅速かつ効率的に高品質な製品を生み出すことを可能にしています。

ディープラーニングは、Netflixのおすすめ機能やGoogle翻訳のテキスト翻訳のように、私たちが日常的に使用する製品を改善していますが、AmazonやUberのような企業が顧客サービスコストを削減するために、不満を持つ顧客を迅速に特定することにも役立っています。さらに驚くべきことに、多くの美術館がディープラーニングを使用して絵画を管理し、美術品の盗難を防いでいるのです。

ディープラーニングは私たちの生活や仕事の仕方を変えています。幅広い業界の企業がすでにAIを活用して大きな利益を得ており、生産性を向上させると同時に、これまで以上に正確な予測を行っています。ビジネスでディープラーニングを活用したい場合でも、その仕組みを理解したいだけの場合でも、この素晴らしい技術とあなたを隔てているのは知識だけです。ですから、今日少し時間を取って、この時代で最もエキサイティングな技術の一つについて学んでみてはいかがでしょうか？人工知能の分野が発展するにつれて、機械学習の利用はますます増加しています。毎日収集されるデータが増える中で、機械学習ができることには無限の可能性があります。私たちを制約しているのは、その仕組みを理解する力だけです。ですから、今日少し時間を取って、この素晴らしい技術について学び、自分の生活や仕事にどのように応用できるかを考えてみてください。後悔することはありません！

Q&Aセッション​

  • AIと機械学習の違いは何ですか？
  • アラン・チューリングとは誰ですか？
  • チューリングテストとは何ですか？
  • この章で挙げた例以外に、今日のビジネスや日常生活で人工知能が大きく活用されている他の例は何ですか？
  • 人工知能にはどのような潜在的な危険やリスクがありますか？
  • AIは人間のように自己認識を持つと思いますか？

機械学習の未来は小さく、そして明るい​

私たちはデータが支配する世界に生きています。機械学習は一部で恐ろしい影響をもたらしている一方で、ソーシャルメディアでの安全確保のような単純なタスクから、研究室でのパターン検出のような複雑なタスクまで、世界をより良くするために活用できることがたくさんあります。業界やユースケースに関係なく、組み込みシステムと機械学習の理解は今後非常に価値のあるものとなるでしょう。これらのツールの根幹を理解しなければ、それらを活用することはできません。そしてこれは、現在仕事を探している人々だけでなく、これらの技術が生まれる前からその仕組みを理解している未来の世代にも当てはまります。

組み込みシステムは私たちの生活に広く浸透しており、多くの人はその存在に気づいていません。これらは私たちの車、電子レンジ、家庭用電化製品、さらには衣服の中にも存在します。組み込みシステムとは、特定のタスクを実行するために他のデバイスやデバイス群を制御するデバイスのことです。組み込みシステムは、私たちの周囲の世界の機能にとっても重要です。例えば、車を道路上に保つことや電子レンジで食べ物を調理することなどを担っています。組み込みシステムがなければ、私たちの世界は全く異なるものになるでしょう。

組み込みシステムにはさまざまな種類があります。最も一般的なタイプはマイクロコントローラーです。マイクロコントローラー・ユニット（MCU）は、小型の組み込みコンピューターで、他のデバイスを制御するようにプログラムできます。これらは車から家庭用電化製品まで、あらゆるものに搭載されています。例えば、ARM Cortex M0+やSeeeduino XIAO ボードを挙げることができます。このボードは親指ほどの大きさ（21x17.8mm）で、わずか1.33mAhの電力を消費します（150mAのバッテリーで112時間稼働可能、ディープスリープ状態ではさらに長時間稼働可能）。価格はわずか4.3米ドルです。もう一つの一般的な組み込みシステムのタイプはデジタル信号プロセッサ（DSP）です。DSPはオーディオやビデオなどのデジタル信号を処理するために使用されます。これらはスマートフォンやタブレットなどに搭載されています。組み込みシステムに関する追加情報は、付録セクションで確認できます。

pir

将来、スマートウォッチやFitbitのようなウェアラブル技術など、さらに多くの組み込みデバイスが私たちの生活に登場するでしょう。組み込みシステムはさらに複雑化し、より多くの機能や能力を持つようになります。私たちの世界がますます組み込みシステムに依存するようになる中で、それらがどのように機能し、私たちの生活においてどのような役割を果たしているのかを理解することが重要です。特に機械学習の進展に伴い、その重要性は増しています。

製造業や自動車産業のような業界では、すでに予知保全の形で組み込み機械学習の恩恵を受けています。アルゴリズムは特定の種類の機械や部品における典型的な故障パターンを識別するように訓練され、その後、オペレーターにアラートを送信したり、自律的に是正措置を講じたりすることができます。このようにして、産業用IoT（インターネット・オブ・シングス）の導入により、プラントの稼働時間を向上させ、運用コストを削減することができます。同じ基本原則は他の設定にも適用可能です。例えば、交通管理システムでは、機械学習アルゴリズムを使用して渋滞を予測し、それに応じて信号のタイミングを調整することができます。

pir

クラウド機械学習​

機械学習は現在、多くの業界で活用されている確立された技術です。機械学習はデータを収集し、それを処理してアルゴリズム的な洞察を抽出し、将来の出来事を予測することを含みます。機械学習は人工知能（AI）の一部です。機械学習アルゴリズムは通常、多くの計算を伴い、非常に大規模なデータセットを必要とします。そのため、実験の回数が制限され、結果の検証が難しくなります。クラウド機械学習は、機械学習とAIのためのサービスを提供し、複雑なインフラや高価なハードウェアを管理する必要がないようにします。

エッジ機械学習​

クラウド機械学習とエッジ機械学習の違いは、クラウド機械学習が通常、すべてのデータを処理し、機械学習を行う中央サーバーを意味するのに対し、エッジ機械学習は、データをエッジデバイス（スマートフォン、車、ドローンなど）で処理することを指します。エッジ機械学習は、ローカルでの意思決定を可能にし、すべてのデータを中央サーバーに送信して処理する必要がなくなるため、遅延やコストを削減できます。

小型機械学習​

もう一つの注目されている機械学習アプローチは、小型機械学習（Tiny Machine Learning、TinyML）です。機械学習は、大量のデータを使用してモデルを訓練し、データ内の統計的関係に基づいてモデルパラメータを計算することを含みます。機械学習アルゴリズムは通常、多くの処理能力とデータセットを必要とするため、データがあまり利用できない場合にモデルを訓練するのは非常に困難です。特に機械学習の分類アルゴリズムでは、訓練を開始する前にデータセット内の可能なクラスの数を知る必要があります。

小型機械学習（TinyML）は、限られたデータとリソースでモデルを訓練することに焦点を当てた機械学習の一分野です。これは、従来の機械学習アルゴリズムがリソース集約的すぎたり、実装が難しいアプリケーションに特に適しています。小型機械学習は、スマート製造のような消費者向けアプリケーションから自律走行車の制御まで、さまざまな用途で使用されています。

マイクロコントローラーがエッジデバイスでますます強力かつ安価になっていることが、Tiny Machine Learning（TinyML）が人気を集めている理由の一つです。マイクロコントローラーは、小型コンピューターであり、車やドローンなど幅広いデバイスで使用されています。半導体業界がより小さなジオメトリに移行するにつれて、これらはますます強力で安価になっています。これにより、Tiny Machine Learningアルゴリズムを電話、車、ドローンなどのエッジデバイスで実行することが可能になり、電力消費やスペースをあまり必要としません。

IoTシステムにおけるTiny Machine Learning​

マイクロコントローラーは急速に強力になっていますが、従来のサーバーと比較すると、依然としてメモリや計算能力が相対的に小さいです。大規模なデータセットや複雑な計算を必要とするAIアルゴリズムは、これらの技術上で完全に改修しない限り実装することができません。TinyMLは、特にIoT（Internet of Things）分野において、新しい可能性を開きます。IoTでは、単純な制御システムが、インテリジェントな医療インプラントや自動運転車などの新しい用途に使用されています。

最近のモデル最適化の進展や、マイクロコントローラー上で機械学習モデル推論を行うために特別に設計されたフレームワークの登場により、これらの小型デバイスに追加の知能を提供することが可能になりました。現在では、マイクロコントローラー上でニューラルネットワークを使用して、音声シーン（例えば、象の活動やガラスが割れる音）を認識したり、ホットワードを検出したり（特定のフレーズでガジェットを起動）、簡単な画像を認識したりすることができます。マイクロコントローラーを統合したガジェットは、既存のセンサーに新しい生命と意味を与えるために使用できます。例えば、異常検知や予測保守のために機構に取り付けられた加速度計を使用したり、異なる種類のリキュールを識別するデモのように活用することができます！TinyMLの可能性は本当に無限です。

Tiny Machine Learningの仕組み​

Tiny Machine Learningアルゴリズムは、マイクロコントローラーや組み込みシステムで処理可能な小規模なデータセットで動作するように設計されています。これらのアルゴリズムは、線形回帰やニューラルネットワークに基づいていることが多く、非常に少量のコードで実装することができます。機械学習モデルは、限られた量のデータを使用してトレーニングすることができ、従来の機械学習アルゴリズムよりもデータセットの変化に容易に適応することができます。

これにより、データが不足している、または収集が困難な自動車や医療機器などの用途において、Tiny Machine Learningが理想的な選択肢となります。また、大量のメモリや処理能力を必要とせずに低消費電力デバイスで機械学習モデルを開発することが可能になります。

資源は限られているが競争も少ない​

Tiny Machine Learningアルゴリズムの利用はまだ初期段階にあり、この分野の研究の多くは、小型デバイス上でこれらのアルゴリズムを実装する新しい方法の開発に焦点を当てています。このため、革新の余地が多く、機械学習を新しい市場に持ち込むための多くの機会が存在します。一方で、資源の競争は激しくなる可能性があります。GoogleやAmazonのような大手技術企業はすでに機械学習に多額の投資を行っており、Tiny Machine Learning市場にも進出する可能性があります。これは、この分野で競争しようとする小規模なスタートアップにとって課題となるかもしれません。

Q&Aセッション​

Q. クラウド、エッジ、組み込み機械学習の違いを説明できますか？
Q. 小型機械が学習する必要があるものは何ですか？
Q. Tiny Machine Learningには制限がありますか？
Q. 家庭やオフィスでTiny Machine Learningをどのように活用できますか？
Q. これらの機械はデータセットに基づいてどのように結論を導き出し、通常このデータセットはどれくらい小さいですか？
Q. 大型機械をTiny Machine Learningシステムよりも使用する方が良い場合はいつですか？

機械学習アルゴリズムの分類​

機械学習アルゴリズムには、主に3つの大きなクラスがあります：教師あり学習、教師なし学習、強化学習です。教師あり学習アルゴリズムでは、機械にトレーニングデータのセットが与えられ、このデータから学習して新しいデータに対する予測を行います。教師なし学習アルゴリズムは、特定の結果を念頭に置かずにデータセットを探索し、隠れたパターンを見つけるのに役立ちます。強化学習アルゴリズムは、試行錯誤の経験から学習するタイプの機械学習アルゴリズムです。それぞれの機械学習アルゴリズムは異なる方法で問題を解決し、特定の機械学習問題は特定のアルゴリズムでしか解決できない場合があります。

教師あり学習​

教師あり学習とは？​

教師あり学習は、入力と出力の例のペアに基づいて、入力を出力にマッピングする関数を見つける機械学習タスクです。「教師あり学習」と呼ばれるのは、機械が環境から学習しパフォーマンスを向上させるために、何らかの監督（例：「教師」）に依存しているためです。この場合、機械は人間の助けなしには完全に学習することができません。望ましい出力につながる入力についての指導とフィードバックが必要です。

教師あり機械学習はどのように機能するのか？​

教師あり機械学習では、コンピュータをトレーニングする人が、ラベル付け、分類、測定のいずれかのタスクを実行します。ラベル付けは、アイテムにカテゴリを割り当てることを指します。例えば、すべてのリンゴを「リンゴ」カテゴリに赤ラベルで分類することです。分類は、共通の特性に基づいてアイテムをグループ化することを意味します。例えば、すべての動物を一緒にグループ化することを「動物分類」と呼ぶかもしれません。測定は、サイズや重量などの特性を評価し、それをスケール上で定量的な値として提供することを意味します。例えば、このバスケットにリンゴが何個あるかを測定し、「ここには36個のリンゴがあります」と言うことです。

pir

教師あり機械学習の目標は常に、過去のデータに基づいてモデルを構築し、結果を予測し意思決定を支援することです。このアルゴリズムをトレーニングするには多くの時間と労力が必要ですが、それには多くの利点があります。一つには、提供されるデータが多ければ多いほど、モデルは結果を予測する能力が向上します。情報が増えるほど、将来何が起こるかを予測する精度が高まります。さらに、アルゴリズムは「健康」や「病気」といったラベルを使用することができます。教師あり機械学習は、予測を行う際に肌の色や性別といったカテゴリ的な特性を組み込むことも可能です。これにより、精度が向上するだけでなく、個人的な経験や偏見が意思決定プロセスに影響を与えないようにすることができます。

教師あり機械学習は、さまざまな分野で大きな効果を発揮する強力なツールです。偏見を抑え、精度を高めて予測を行う能力は、データサイエンティストのツールキットに欠かせない要素となっています。データの利用可能性がますます増加する中で、今後さらに重要な役割を果たすことは間違いありません。

教師あり機械学習が現実世界で使用される例：

  • 小売業者は、顧客の行動を予測し、それに応じて提供内容を調整するモデルをトレーニングするために使用するかもしれません。
  • データサイエンティストは、自然言語をモデル化し、非構造化データのパターンを見つけるために教師あり機械学習を使用するかもしれません。
  • 医療業界では、特定の集団の健康結果を予測するモデルを開発するために使用される可能性があります。

教師あり機械学習の利点は何ですか？​

データサイエンティストは、このタイプの機械学習を使用して、ラベル付けや分類が行われたトレーニングデータを反映するモデルを構築します。言い換えれば、「健康」や「病気」といったラベルが付いている必要があります。モデルを構築する目的は、アルゴリズムに何を探すべきか、データを分類する際にどのように振る舞うべきかをトレーニングすることです。

誰が教師あり機械学習を実行できますか？​

データサイエンティストは、このタイプの機械学習を使用して、ラベル付けや分類が行われたトレーニングデータを反映するモデルを構築します。言い換えれば、「健康」や「病気」といったラベルが付いている必要があります。モデルを構築する目的は、アルゴリズムに何を探すべきか、データを分類する際にどのように振る舞うべきかをトレーニングすることです。

教師あり機械学習の欠点は何ですか？​

教師あり機械学習は、大量のラベル付け/分類/測定されたトレーニングデータがある場合に最も効果的に機能します。情報が多いほど、結果や予測が向上します。しかし、十分なデータがない場合、良好な予測を生み出すモデルをトレーニングするのが難しいことがあります。さらに、アルゴリズムはそれを設計し監督する人間の能力に依存しています。トレーニングデータに偏りがある場合、その偏りが教師あり機械学習によって作成されたモデルにも反映される可能性があります。

教師あり機械学習の実例は？​

教師あり機械学習の一般的な応用例の一つは、不正検出です。この場合、クレジットカード会社は、支出行動のパターンを特定するために教師あり機械学習アルゴリズムを使用し、不正行為を示す可能性のある活動を特定します。これには、過去のデータをモデル化して、不規則性や異常な活動を探すことが含まれます。例えば、誰かが突然短期間で多くのアイテムを購入し始めるような場合です。

教師あり機械学習の限界は？​

監督型機械学習は、アルゴリズムに正確なトレーニングを提供し、期待される動作を学習するのを助けます。十分なデータがない場合、良好な予測を生成するモデルをトレーニングすることは困難です。さらに、アルゴリズムはそれを設計し監督する人間の能力に依存します。トレーニングデータに偏りがある場合、その偏りは監督型機械学習によって作成されたモデルにも再現される可能性があります。

監督型学習の未来はどうなるのか？​

監督型機械学習は将来的にさらに重要になる可能性があります。生成されるデータ量が増え続ける中で、それらを正確に理解する方法を持つことがますます重要になっています。監督型機械学習は、それを実現する最も効果的な方法の1つです。さらに、多くの企業がデータサイエンスの価値を認識するにつれて、熟練したデータサイエンティストの需要は引き続き増加するでしょう。これにより、監督型機械学習は競争優位性を求める組織のビジネス運営においてさらに重要な役割を果たすようになります。

監督型学習の最も簡単な例は何か？​

監督型機械学習の最も一般的な形式は線形回帰です。線形回帰は、データポイントのセットに最適な線をフィッティングする技術であり、各データポイントは2つの座標 (x, y) で表されます。機械学習アルゴリズムは、誤差の尺度であるコスト関数に基づいてデータポイントに最適な線を見つけます。

pir

監督型学習では、各例は入力オブジェクト（通常はベクトル）と望ましい出力値（監督信号とも呼ばれる）のペアで構成されます。機械学習アルゴリズムは、予測値と目標値の間で可能な限り最も近い一致を生成するようにパラメータを調整することで「トレーニング」されます。

監督型機械学習アルゴリズムは分類にも使用できます。分類は、入力が事前に決定されたカテゴリのセットの中でどのカテゴリに属するかを識別するタスクです。例えば、犬と猫の画像を区別するために機械学習を使用したい場合があります。この場合、入力は画像であり、望ましい出力は画像が示す動物の名前（「犬」または「猫」）になります。

pir

非監督型学習​

非監督型学習とは？​

近年注目を集めているもう一つの機械学習のタイプが非監督型機械学習です。この研究分野は、機械の力と人間のデータセットの整理、ラベル付け、解釈能力を組み合わせたものです。非監督型ML技術は、次元削減、クラスタリング、可視化、特徴選択などのタスクに使用されます。

  • 次元削減: データセットの次元数を減らすこと。例えば、データを低次元空間に変換することで実現できます。
  • クラスタリング: 類似した項目をグループ化するプロセス。
  • 可視化: データを理解しやすい形で表示するプロセス。
  • 特徴選択: データセットから特徴のサブセットを選択するプロセス。例えば、データセットのサイズを縮小したり、機械学習アルゴリズムのトレーニングを容易にするために行われます。

非監督型学習はどのように機能するのか？​

非監督型機械学習では、アルゴリズムを使用してデータセット内のパターンを見つけます。非監督型機械学習アルゴリズムには多くの種類があり、それぞれ独自の指示セットを持っています。非監督型機械学習アルゴリズムの例として、k-means、k-nearest neighbor、階層型クラスタリング、潜在ディリクレ配分などがあります。

成功する非監督型機械学習モデルを作成するには、データ、アルゴリズム、フィードバックという3つの重要な要素が必要です。データはモデルへの入力であり、アルゴリズムはデータ内のパターンを見つけるためのツールであり、フィードバックはモデルの精度を向上させるために使用されます。非監督型機械学習プロセスは以下の4つのステップに分けられます：前処理、データ探索、パターン検出、後処理。

  1. 前処理: このステップでは、データをクリーンアップし、さらなる分析の準備を行います。
  2. データ探索: このステップでは、データを探索し、パターンを見つけます。
  3. パターン検出: このステップでは、データ内のパターンを検出します。
  4. 後処理: このステップでは、モデルの精度を向上させ、データを展開の準備をします。

非監督型機械学習の利点と欠点は何か？​

非監督型機械学習の利点の1つは、人間だけでは困難または不可能なタスクに使用できることです。例えば、データセットをクラスタリングすることで、人間の目には隠れているパターンを特定できます。さらに、非監督型学習は既存の監督型機械学習アルゴリズムを改善するのにも役立ちます。クラスタリング技術をデータセットに適用することで、監督型アルゴリズムはこれらのクラスタ内のグループを発見できます。

pir

一般的に、非監督型MLは探索的分析に使用されます。場合によっては、望ましい結果が既知であり、非監督型学習アルゴリズムを使用する唯一の目的は特定のパターンを見つけることです。他の場合では、望ましい結果が存在せず、非監督型学習アルゴリズムの唯一の目的は未発見のパターンを発見することです。

教師なし機械学習の利点の一つは、人間が自力で行うのが難しい、または不可能なタスクに使用できることです。例えば、データセットをクラスタリングすることで、人間の目には見えないパターンを特定することができます。さらに、教師なし学習は既存の教師あり機械学習アルゴリズムを改善するのにも役立ちます。データセットにクラスタリング技術を使用することで、教師ありアルゴリズムはこれらのクラスタ内のグループを発見することができます。

教師なし機械学習技術を使用するもう一つの利点は、新しいアプリケーションや問題に対する洞察を提供できることです。例えば、データサイエンティストが生物学のデータセットにクラスタリングを適用した場合、特定の病気に関連する遺伝子を含むクラスタを発見するかもしれません。これにより、生物学の分野で新しい発見が生まれる可能性があります。

教師なし機械学習の利点にもかかわらず、これはまだ発展途上の研究分野です。教師なし機械学習が広く使用されるようになる前に、多くの課題が解決される必要があります。例えば、現在の教師なし学習アルゴリズムは、データセット内のすべての望ましいパターンを見つけることができない場合があります。また、教師なし学習アルゴリズムは遅く、計算コストが高いこともあります。

それにもかかわらず、教師なし機械学習は非常に興味深い分野であり、多くの異なる研究分野において深い貢献をする可能性を秘めています。研究と開発が進むにつれて、教師なし機械学習はより強力になり、より広く使用されるようになるでしょう。

強化学習​

強化学習とは？​

最後のタイプは強化学習であり、これは特定の行動に対して報酬を与えることでコンピュータにタスクを実行させることができる機械学習の一種です。強化学習では、コンピュータに学習するためのシミュレーション環境を提供し、最終的には現実世界でタスクを完了することを目指します。

強化学習は、ソフトウェアエージェントが環境内でどのように行動を取るべきかを研究する機械知能の分野であり、累積的な報酬の概念を最大化することを目的としています。強化信号は、タスク完了後に与えられる「報酬」のように明示的である場合もあれば、不正確な行動後の「罰」のように微妙な場合もあります。強化信号は純粋に肯定的または否定的な形式に限定されるわけではなく、行動に情報を与え、将来の意思決定に影響を与えるあらゆるフィードバックを含みます（例：絵を描いたことで褒められた場合、将来的に絵を描く可能性が高くなるかもしれません）。

pir

強化学習はどのように機能するのか？​

強化学習では、強化信号は通常まばらです。強化学習では、信号が強化を意味するかどうかを確認するのが難しいためです。これにより、強化学習アルゴリズムは受け取った強化信号が有効な強化信号であると仮定し、即時の報酬だけでなく将来の報酬の加重和を最大化する価値関数を学習する必要があります。この仮定が成り立たない場合、強化学習アルゴリズムは期待される割引将来報酬を最大化しようとします。

1960年代初頭に開発された最初期の強化学習手法の一つがQ学習アルゴリズムです。Q学習はモデルフリーの強化学習技術であり、強化信号を使用してマルコフ決定過程（MDP）の各状態に対する最適な行動価値関数（Q）を学習します。このアルゴリズムは、各状態sに対するQ(s)の推定値から始まり、状態sで取られた行動がどれだけ良いかまたは悪いかを示す強化信号r(s,a)を使用してこれらの推定値を反復的に更新します。言い換えれば、Q学習は、世界の状態を最適な行動にマッピングするポリシーを学習しようとします。

強化学習では、時には転移学習を強化学習の一種として定義することができます。これは、エージェントが人間の介入なしに過去の経験から学ぶ方法です。罰は報酬を減少させることを含みます（例：何かを送り返すこと）。報酬は報酬を増加させることを含みます（例：メディアプレーヤーの再生ボタンを押すこと。これは環境に基づきます）。

強化学習の応用例は？​

強化学習は、Sokobanのような強化ベースのパズルや、Age of Empires II: The Age Of Kingsのようなリアルタイム戦略ゲームのゲーム開発に応用できます。また、従業員の採用や配置（推薦システム）、ソフトウェアエージェントの制御、ロボット制御などのビジネス課題にも使用できます。

pir

上図では、入力層の黄色いノードが前の層からの入力を受け取るニューロンを表しています。これらのニューロンのそれぞれには、信号として渡される前に重み（in1, in2, in3）が適用される場合があります。そのニューロンの入力の加重和が次の層の1つ以上のノードを活性化します。このプロセスは、出力値が決定されるまで各層で繰り返されます。このようにして、数学的に導き出されたアルゴリズムを使用して複雑な意思決定ルールを非常に簡単に表現することができます（ただし、それらを正しく機能させることは別問題です）。

人工ニューラルネットワーク（ANN）が学習するためには、トレーニングセットと呼ばれる膨大な量の情報を与える必要があります。例えば、ANNに猫と犬を区別する方法を教えようとする場合、トレーニングセットには「犬」とタグ付けされた何千もの画像が含まれます。これにより、ネットワークは学習を始めます。十分なデータでトレーニングされた後、ネットワークは、異なるユニットを通じて「見ている」（またはデータセットによっては「聞いている」）内容に基づいて将来のデータを分類しようとします。トレーニング期間中、機械の出力は、人間が提供した観察結果の説明と比較されます。それらが一致していれば、機械は検証されます。一致しない場合、バックプロパゲーションを使用して学習を調整します。これは、層を遡って数学的な方程式を微調整するプロセスです。このプロセスはディープラーニングとして知られ、ネットワークを「知的」にするものです。

通常、ディープニューラルネットワークはトレーニングと展開にかなり強力な計算リソースを必要とします。しかし最近では、TinyMLと呼ばれるエッジでの機械学習や組み込み機械学習の分野が登場しました。これは、機械学習アプリケーションを縮小、最適化、統合した後、マイクロコントローラーのような小型デバイス上で実行できるかを探求する技術または研究分野を指します。

他にもさまざまな機械学習アルゴリズムがあり、異なるタスクに使用できます。適切なアルゴリズムを選択することが重要であり、意図されていない用途に機械学習アルゴリズムを無理に適用しようとすると、分類精度が低下したり、誤った予測が行われたりする可能性があります。

ディープラーニングの基礎​

このセクションでは、特に人工ニューラルネットワーク（以下、ニューラルネットワークと略します）に関連するディープラーニングの概要を非常に高いレベルで説明します。人工ニューラルネットワーク（ANN）は、脳をモデルにした計算システムです。

ニューラルネットワークとは？​

一般的に、ニューラルネットワークはデータ内の複雑なパターンを理解し予測するための強力なツールです。これらは、多数の相互接続された処理ノード（ニューロン）で構成されており、入力データのパターンを認識するように学習できます。入力ニューロンと呼ばれる一連のノードがあり、その後に隠れ層のコレクションが続き、最終的に出力層に至ります。この出力層が情報に基づいた意思決定を支援します。適切なデータがあれば、ニューラルネットワークは学習し、驚くほど正確な予測を行うことができます。しかし、これらは計算負荷が非常に高く、トレーニングが難しい場合があります。また、ニューラルネットワークの意思決定はしばしば不透明であり、その予測を人間に説明する際に問題となることがあります。それにもかかわらず、ニューラルネットワークは適切な問題に適用すれば非常に効果的なツールです。

pir

ニューラルネットワークはデータ内の複雑なパターンを理解し予測するための強力なツールです。しかし、計算負荷が非常に高く、トレーニングが難しい場合があります。また、意思決定が不透明であるため、その予測を人間に説明する際に問題となることがあります。それにもかかわらず、適切な問題に適用すれば非常に効果的なツールです。

ディープラーニングのトレーニングとは？​

ニューラルネットワークをトレーニングするには、トレーニングデータセットと、ネットワークが学習する方法を決定する一連のパラメータを提供する必要があります。トレーニングデータセットには、入力データのセットと、それぞれのデータポイントに対応する期待される出力が含まれています。ニューラルネットワークはこのデータを使用して、入力データのパターンを認識し、正しい出力を生成する方法を学習します。設定する必要があるパラメータは使用するニューラルネットワークの種類によって異なりますが、通常は学習率、反復回数、隠れ層のサイズなどが含まれます。

機械学習のトレーニングにおける重みは、アルゴリズムの成功において重要な役割を果たします。ニューロン間の交点（エッジ）にある重みは、各入力が機械学習モデルの出力にどの程度影響を与えるかを決定します。最良の結果を得るためには、データセットに適した重みを選択することが重要です。正しい重みを決定する一般的な方法の1つはデルタルールと呼ばれるものです。デルタルールは、予測された出力と実際の出力との間の誤差を計算する数学的な公式です。この誤差を使用して、機械学習アルゴリズムの重みを調整します。

pir

機械学習モデルをトレーニングする他の方法もさまざまありますが、最も一般的なアプローチはバックプロパゲーションと呼ばれる手法を使用することです。バックプロパゲーションはニューラルネットワークをトレーニングするために使用されるトレーニングアルゴリズムの一種です。この手法は、誤差勾配をネットワーク内で逆方向に伝播させることで、重みを更新し、誤差を減少させる仕組みです。バックプロパゲーションはニューラルネットワークを効率的にトレーニングする方法であり、さまざまなタスクで成功を収めています。バックプロパゲーションの利点の1つは、複数の層を持つニューラルネットワークをトレーニングできることです。これは、誤差勾配がネットワークのすべての層を逆方向に伝播するため、すべての重みを更新できるからです。また、バックプロパゲーションは比較的実装が簡単であるため、ニューラルネットワークのトレーニングにおいて人気のある選択肢となっています。

pir

バックプロパゲーションにはいくつかの欠点があります。一つは、大規模なニューラルネットワークをトレーニングする際に時間がかかることです。もう一つは、バックプロパゲーションが時折不安定になることがあり、重みが収束するのではなく発散してしまう可能性がある点です。最後に、バックプロパゲーションは動作するためにトレーニングデータへのアクセスを必要とするため、データが容易に利用できない場合には問題となることがあります。これらの欠点にもかかわらず、バックプロパゲーションは効率的で比較的使いやすいアルゴリズムであるため、ニューラルネットワークのトレーニングにおいて依然として人気のある選択肢です。もし自分でニューラルネットワークをトレーニングしたいと考えているなら、バックプロパゲーションは良い選択肢となるでしょう。

ディープラーニング推論とは？​

機械学習推論とは、トレーニング済みの機械学習モデルを使用して新しいデータに対して予測を行うプロセスを指します。一般的に、機械学習推論にはオンライン推論とバッチ推論の2種類があります。オンライン推論は、新しいデータが入ってくるたびに予測を行うプロセスであり、バッチ推論は大量のデータに対して一度に予測を計算するプロセスです。ニューラルネットワークは非常に迅速に予測を行うことができるため、オンライン推論に非常に適しています。これは、顔認識のようにリアルタイムで顔を識別する必要があるタスクにおいて重要です。また、バッチ推論も、株式市場の予測や天気予報のように、大量のデータポイントに対して一度に予測を行う必要がある多くのアプリケーションにおいて重要です。

機械学習ライフサイクル​

機械学習ライフサイクルは、データサイエンティストやデータエンジニアが、ロボティクス、音声認識システム、検索エンジン最適化（SEO）、医療、金融などのさまざまなアプリケーションで使用される膨大なデータを活用してモデルを開発、トレーニング、提供するために採用する3つのフェーズ（パイプライン開発、トレーニングフェーズ、推論フェーズ）からなる循環プロセスとして定義されます。本記事の目的は、機械学習ライフサイクルとそのデータサイエンス分野における重要性を深く理解することです。

機械学習ライフサイクルの最初のフェーズはパイプライン開発フェーズです。このフェーズでは、データサイエンティストとデータエンジニアが協力して、データセットを取得、クレンジング、処理、事前トレーニングするためのデータ処理パイプラインを開発します。このフェーズの主な目標は、データセットがトレーニングと推論に適した状態であることを確認することです。次のフェーズはトレーニングフェーズで、ここではデータセットを使用して実際にモデルをトレーニングします。このフェーズでは、予測に使用できる最適なモデルを見つけるために、さまざまなアルゴリズムやパラメータを試す必要があるため、多くの時間と労力を要します。最後のフェーズは推論フェーズで、ここではモデルを実際に使用して予測を行います。このフェーズでは、データサイエンティストとデータエンジニアが協力してモデルを本番環境にデプロイし、正しく動作していることを確認します。

機械学習ライフサイクルは、データサイエンティストとデータエンジニアが膨大なデータを活用してモデルを開発、トレーニング、提供するのを助けるために重要です。また、トレーニングフェーズや推論フェーズで発生し得る一般的な落とし穴を回避するのにも役立ちます。機械学習ライフサイクルは循環プロセスであるため、モデルの精度を向上させるために何度も繰り返すことができます。したがって、データサイエンティストやデータエンジニアを目指す人にとって不可欠なツールです。

ほぼすべての機械学習のワークフローは、以下の手順に従うことで簡略化および整理することができます：

  1. データの収集とクレンジング
  2. パラメータの準備と設定
  3. 機械学習モデルのトレーニング
  4. 機械学習モデルの性能評価
  5. 本番環境へのデプロイ/状況に応じたさらなるトレーニングの実施

これらの手順は単純に見えるかもしれませんが、完了するまでにかなりの時間がかかることがあります。次の章では、これらの各手順についてさらに深く掘り下げ、その詳細を理解していきます。

データ収集​

データ収集は、機械学習ライフサイクルの最初のステップです。データサイエンティストとデータエンジニアは、モデルを開発、トレーニング、提供するために膨大な量のデータを収集する必要があります。このデータは、画像認識、ビデオ分析、自然言語処理、予測分析など、さまざまなアプリケーションに関与しています。

前処理​

前処理は、機械学習ライフサイクルにおいてデータサイエンティストとデータエンジニアが行う2番目のステップです。データは、機械学習アルゴリズムに入力される前に、分析のためにクレンジングおよび準備される必要があります。データ前処理は機械学習において重要であり、以下のようなタスクが含まれます：データクレンジング、データ探索、データ可視化、データ削減、データ変換。これらは、生のデータセットに対してよく使用されるため、機械学習モデルの開発において重要です。データが処理された後は、アルゴリズムを選択する段階に進みます。このアルゴリズムが、コンピュータがデータからどのように学習するかを決定します。

トレーニング​

機械学習トレーニングは、機械学習ライフサイクルの3番目のステップです。機械学習トレーニングプロセスは、トレーニングフェーズと推論フェーズの2つのフェーズで構成されます。データサイエンティストは機械学習モデルをトレーニングし、その後、トレーニングに使用されていない異なるデータセットに対して結果を予測するために使用します。トレーニングには、タスクに最適なニューラルネットワークアーキテクチャを選択することが含まれます。アルゴリズムが選択された後、次のステップはニューラルネットワークアーキテクチャのパラメータを設定することです。これらのパラメータには、ニューラルネットワークの層の数、活性化関数の種類、学習率が含まれます。パラメータが設定された後、機械学習モデルをトレーニングする段階に進みます。このプロセスは、データセットのサイズと複雑さに応じて長い時間がかかることがあります。

最適化​

機械学習モデルを最適化する方法には、圧縮、剪定、量子化があります。圧縮は、機械学習モデルのサイズを縮小するプロセスです。これは、現在のタスクに重要でない特徴を排除することで実現されます。剪定は、機械学習モデル内のニューロンの重みで重要でないものを削除するプロセスです。量子化は、浮動小数点数を整数値に変換するプロセスです。これにより、スペースと時間を節約できます。これらの最適化は、モデルの実行速度を向上させるだけでなく、システムのメモリ消費要件を削減するのにも役立ちます。

デプロイメント​

デプロイメントフェーズは、機械学習ライフサイクルの第4段階であり、最終ステップです。このフェーズでは、機械学習モデルが予測を行うために使用できる環境にデプロイされます。これには、クラウド、オンプレミス、モバイル、または私たちの場合は小型デバイスが含まれます。機械学習モデルがトレーニングされた後、選択されたプラットフォームのいずれかで使用する準備が整います。モデルは、運用環境にデプロイするか、さらなるトレーニングに使用することができます。最終ステップは、機械学習モデルの性能を評価することです。これは、予測結果を実際の結果と比較することで行われます。

評価​

機械学習推論は、異なるデータセットでトレーニングされた機械学習モデルを使用して新しいデータセットに対して予測を行うプロセスです。推論は、以前に見たことのないデータセットに対して機械学習モデルを使用して予測を行うことができるため重要です。これにより、データと機械学習モデルの理解を深めることができます。

機械学習ライフサイクルは、予測アルゴリズムを使用して生データを実用的な洞察に変換するための循環プロセスです。このサイクルは、以下の3つのフェーズで構成されています：(1) データ収集、(2) 前処理、(3) 機械学習トレーニング。このサイクルの主な目的は、機械学習モデルを使用して行われる予測の精度を向上させることです。

Q&Aセッション​

Q. 機械学習ライフサイクルの3つのフェーズは何ですか？

Q. 正確な予測を行うために最も重要なフェーズはどれですか？

Q. 機械学習モデルをどのように評価できますか？

データ収集​

データ収集とは？​

機械学習モデルが効果的であるためには、高品質なデータでトレーニングされる必要があります。データの品質は、その中に含まれる変動の量とラベルの正確性によって決まります。機械学習モデルが効果的であることを保証するためには、解決しようとしている現実の問題を代表するデータを選択することが重要です。無数の異なるソースから情報を収集し測定するプロセスがデータ収集です。

トレーニングデータとは？​

トレーニングデータは、機械学習モデルをトレーニングするために使用されるデータです。これは、アルゴリズムが非構造化データ内の関連するパターンを正しく識別するために必要な知識を教えるために使用されます。データが機械学習モデルに適しているかどうかを判断する最良の方法は、データ自体をより深く理解することです。トレーニングの燃料として使用したい場合、以下のいくつかの重要な特性を満たす必要があります：

  • 収集元の母集団を代表している必要があります。
  • 同じグループ内で存在する可能性のある複数のクラス（例：「猫」対「犬」）から均等に代表されている必要があります。これにより、機械学習モデルがあるクラスを別のクラスよりも優先して予測する際のバイアスが防止されます。
  • 各項目の変数は意味のある測定レベルを持つべきです。つまり、数値は離散的なカテゴリに割り当てられるべきであり、その逆ではありません。

トレーニングデータの分割とは？​

トレーニングデータは異なるパーティションで構成されています。機械学習データを分割する際には、機械学習データセットをトレーニングセットとテストセットの2つに分ける必要があります。機械学習アルゴリズムはまずトレーニングセットでトレーニングされ、その後テストセットでターゲット変数の予測能力を評価します。機械学習データセットは以下のようなさまざまな手法で分割できます：

  • データをランダムに2つのセットに分割する。
  • 層化アプローチを使用して、両セット間でデータの分布を維持する。
  • 機械学習アルゴリズムを使用してデータを知的に2つのセットに分割する。

一般的な経験則は80:10:10ルールです。データの80%はモデルのトレーニングに使用されます。10%はトレーニングの精度を向上させるための検証に使用されます。そして残りの10%は、機械学習モデルを本番環境に投入する前にその精度を最終的に検証するために使用されます。

トレーニングデータのソースは何ですか？​

収集したデータを実用的な人工知能（AI）および機械学習ソリューションの開発に使用するためには、ビジネス上の問題に適した方法で収集・保存され、システムが必要とする際に迅速にアクセスできるよう効率的に整理されている必要があります。データの主なソースは以下の3つです：

  • 内部データ
  • 公開データ
  • 外部データ

内部データは、組織内にすでに保存されているデータを指します。これには、顧客記録、購入情報、製品情報などが含まれます。内部データを使用する主な欠点は、不完全であることが多く、機械学習ソリューションと互換性のある形式で利用できないことです。しかし、内部データを使用する主な利点は、迅速かつ容易にアクセスできることです。

公共データとは、インターネット上で無料で利用可能なデータソースを指します。このデータは通常、大量に存在し、モデルで使用する前に追加の処理が必要となる場合があります。ここで重要な注意点は、そのデータをモデルのトレーニングに使用する権利があることを確認することです。無料で利用可能なデータがあるからといって、それを使用できるとは限りません。特に商業目的での使用には注意が必要です。

選択する公共データは、モデルの目的に依存します。例えば、選挙の結果を予測しようとしている場合、過去の選挙結果や有権者登録記録などの公共データを使用することができます。外部データとは、自分で収集できないデータを指し、第三者のプロバイダーや機械学習用の情報を専門に提供する他の企業から提供される場合があります。

ラベル付きトレーニングデータを取得するにはどうすればよいですか？​

ラベル付きトレーニングデータは、教師あり機械学習モデルにとって重要です。このデータは、アルゴリズムが非構造化データ内の関連するパターンを正しく識別するために必要な知識を教えるために使用されます。ラベル付きトレーニングデータを取得するには、それを提供する意思のあるソースから収集する必要があります。以下のような方法があります：

  • オンライン調査や実験を使用して、多くの人々からデータを収集することができます。その後、参加者にデータを適切にラベル付けしてもらいます。
  • Twitterなどのソーシャルメディアプラットフォームからデータを収集することも可能です。ユーザーが特定のキーワードやハッシュタグでツイートをタグ付けすることがあります。
  • 事前にラベル付けされたアイテムのデータベースをトレーニングデータのソースとして使用することができます。これは、データのアノテーションやラベル付けを専門とする企業によって行われることがよくあります。

データセットが機械学習モデルに適しているかどうかを判断するには？​

データが機械学習モデルに適しているかどうかを判断する最良の方法は、そのデータ自体をよく理解することです。トレーニングの燃料として使用したい場合、以下の重要な特性を満たしている必要があります：

  • 収集元の母集団を代表している必要があります。
  • 同じグループ内で存在する可能性のある複数のクラスが均等に表現されている必要があります。これにより、特定のクラスに偏りがなくなり、特性に基づいて何かを予測する際の結果がより正確になります。
  • 各アイテムの変数は、意味のある測定レベルを持つ必要があります。つまり、数値が離散的なカテゴリに割り当てられるべきであり、その逆ではありません。

データの種類にはどのようなものがありますか？​

データには、構造化データと非構造化データの2種類があります。構造化データは、表やグリッドに整理されたデータです。このタイプのデータは処理が容易で、教師あり学習アルゴリズムを使用する機械学習モデルのトレーニングに使用されます。一方、非構造化データは特定の形式で整理されていないデータです。このタイプのデータは処理が難しく、教師なし学習アルゴリズムを使用する機械学習モデルのトレーニングに使用されます。

前処理​

データ前処理とは？​

データを収集した後の次のステップは、それをクリーンアップし、機械学習モデルで使用できるように準備することです。このプロセスはデータ前処理と呼ばれます。データ前処理の目的は、不要な変動を取り除き、欠損値を補完することで、データをモデリングに適した状態にすることです。

選択する前処理の手順は、使用するデータの種類やモデルで採用するアプローチによって異なります。例えば、データに多くの欠損値（年齢や性別などの欠損属性）が含まれている場合、他の利用可能な情報から欠損情報を推測することが可能です。これにより、欠損データの量を減らし、モデルに含めるレコード数を増やすことができます。

データ前処理には何が含まれるのか？​

一般的に、データ前処理にはいくつかのステップが含まれます。まず、データをクリーンアップして分析可能な状態にします。これには、外れ値、ノイズ、不完全なデータを取り除くことが含まれます。次に、データを機械学習アルゴリズムに適した形式に変換します。通常、これはデータを数値形式に変換し、関連する特徴を抽出することを意味します。例えば、音声信号を画像に変換して音声データを理解することができます。実際、ほとんどの「キーワードスポッティング」アルゴリズムはこの方法で動作します。

機械学習データを数値形式に変換する際には、カウント法またはビニング法を使用することが推奨されます。これらの手法は、カテゴリカルデータと数値データの両方に適用できます。カウント法は各特徴に対して値の数が限られている場合に使用され、ビニング法は各特徴に対して値の数が多い場合に使用されます。最後に、データをトレーニングセットとテストセットに分割します。トレーニングセットは機械学習アルゴリズムの訓練に使用され、テストセットはアルゴリズムの性能を評価するために使用されます。

データ前処理の重要性とは？​

データ前処理は、機械学習アルゴリズムが現実世界を代表するデータで訓練されることを保証するために重要です。データをクリーンアップし変換することで、データに存在する可能性のあるノイズやバイアスを取り除くことができます。これにより、機械学習アルゴリズムの精度が向上します。

さらに、データ前処理は、データから有用な特徴を抽出することで性能を向上させることもできます。最も重要な特徴を特定して抽出することで、機械学習アルゴリズムが処理する必要のあるデータ量を減らすことができます。これにより、性能が向上し、実行時間が短縮される可能性があります。最後に、データをトレーニングセットとテストセットに分割することで、機械学習アルゴリズムの性能を評価することができます。機械学習アルゴリズムをこれまで見たことのないデータでテストすることで、その性能がどれほど正確であるかを確認できます。このテストの結果を使用して、機械学習モデルが効果的かどうかを判断します。

データ前処理の最初のステップは、入力データをクリーンアップすることです。これには、データからノイズや外れ値を取り除き、機械が処理できる形式に適切にフォーマットし、必要な変換を行うことが含まれます。ノイズは不正確または一貫性のないデータ値によって引き起こされる可能性があり、外れ値はデータセットの他の部分から大きく外れた値を指します。

次に、データを探索して、その内容をよりよく理解する必要があります。これは、データを視覚化し、データを観察して得られた洞察に基づいて必要な抽出や変換を行うことで実現できます。機械学習アルゴリズムは、データを探索する際に得られた知見を活用できるようにする必要があります。

最後に、これらすべてが完了したら、機械学習を実行できます。これには、クリーンアップされ変換されたデータを使用して機械学習モデルを訓練し、新しい入力値に基づいて予測を行うための予測モデルを作成することが含まれます。例えば、来月どの商品が最も売れるか、あるいは誰がローンを返済できないかを予測することができます。

予測モデルに人口の大部分を含めたいが、少数派グループの例が非常に少ない場合、別の選択肢として、オーバーサンプリングやアンダーサンプリングなどの統計的手法を使用してバランスの取れたデータセットを作成することができます。オーバーサンプリングは、少数派グループの他のレコードをランダムに選択して追加のレコードを作成することを指します。一方、アンダーサンプリングは、少数派グループのレコード数を削減して、より大きな集団を代表するようにすることを指します。

データの準備が整ったら、機械学習モデルの訓練を開始できます。このプロセスでは、アルゴリズムを選択し、適切な損失関数と精度指標を選択して、データを解決策にマッピングするように構成します。この詳細については後ほど説明します。

機械学習の最終ステップはモデルの評価です。これには、収集した過去のデータに対して実際の予測を実行することが含まれます。これにより、モデルがトレーニングデータからどれだけ学習したかをテストし、新しいデータに対してどれだけ一般化できるかを確認できます。

特徴抽出​

特徴抽出は、機械学習プロセスにおいて重要なステップです。これは、対象のタスクに対して最も予測力の高い特徴のサブセットを特定するために使用されます。このサブセットを使用して、すべての利用可能な特徴を使用して作成されたモデルよりも予測精度の高い分類モデルや回帰モデルを作成します。

特徴抽出に使用できるさまざまなアルゴリズムがあります。一般的なアルゴリズムには以下が含まれます：

  • 主成分分析 (PCA)
  • 線形判別分析 (LDA)
  • サポートベクターマシン (SVM)
  • ランダムフォレスト

これらのアルゴリズムにはそれぞれ長所と短所があります。特定のタスクに最適なアルゴリズムは、データの種類や解決すべき問題に依存します。

特徴のサブセットが特定された後、それを選択する必要があります。最終モデルを作成するために使用される特徴のサブセットは、どのアルゴリズムが最も高い予測精度を生み出すかに影響されるべきではありません。アルゴリズムは常に、対象のタスクを予測する上で各特徴がどれほど重要であるかを示す異なるマップを生成します。このため、どのアルゴリズムをモデリングに使用するかを事前に知らずに、最適と考えられる特徴のサブセットを選択するのは難しい場合があります。

アルゴリズムが選択された後、特徴のサブセットを選択するための一般的な手法の1つは、正則化による選択と呼ばれるものです。ランダムな効用ベースの最適化関数が、より多くの属性（特徴）を含む大きなサブグループから計算されたパフォーマンス測定値を使用して構築されます。このプロセスは、各サブグループにタスクをモデル化するのに十分な属性が残るまで続きます。

特徴のサブセットが特定された後、それを使用して、すべての利用可能な特徴を使用して作成されたモデルよりも予測精度の高いモデルを作成する必要があります。これは必ずしも簡単ではありません。なぜなら、予測モデルを作成するためのアルゴリズムが多数存在し、それぞれが利用可能な特徴の異なるサブセットを使用して予測を行うからです。異なる機械学習アルゴリズム間で結果を比較する最良の方法は、複数の異なる種類のモデルに対して計算可能な評価指標を使用することです。一般的なパフォーマンス指標には、トレーニングエラー、テストエラー、曲線下面積 (AUC)、リフトチャートの高さ、リフトチャートの曲線下面積 (AUAC)、対数損失スコア、マシューズ相関係数 (MCC)、およびROC曲線下面積 (ROC AUC) などがあります。

特徴抽出はシンプルな概念ですが、必ずしも明確な実装手順があるわけではありません。特徴抽出にはさまざまなアルゴリズムがあり、それぞれに長所と短所があります。さらに、使用する最適な特徴は、分類や回帰に使用するアルゴリズムに依存することがよくあります。良い特徴を選択するためには、まず適切な機械学習タスクと評価指標を選択することが重要です。これらの決定が行われた後、特徴のサブセットを選択するための一般的な手法の1つは、正則化による選択と呼ばれるものです。これら3つのステップが成功裏に完了するまで、特徴エンジニアリングのプロセスを開始することはできません。

特徴エンジニアリングは、機械学習プロセスにおいて重要なステップであり、目標は、対象のタスクに対して最も予測力の高い特徴のサブセットを特定し、選択することです。

モデルのトレーニング​

機械学習モデルをトレーニングする最初のステップは、適切なデータセットを選択することです。このデータセットは通常、モデルへの入力として使用され、前の章で触れたデータ収集、前処理、特徴抽出の段階に基づいています。機械学習モデルをトレーニングする第二のステップは、内部パラメータとネットワークアーキテクチャを設計することです。

トレーニングデータセットの選択​

機械学習モデルのトレーニング用データセットを選択する際には、いくつかの要因を考慮する必要があります。

  1. モデルの目的

最初に自問すべき質問は、機械学習モデルの目的が何であるかです。何を予測または識別しようとしているのか？これが明確になれば、研究対象の母集団を代表するデータセットを探し始めることができます。

  1. データセットのサイズと複雑さ

データセットのサイズと複雑さも重要な考慮事項です。データセットは、さまざまな項目を含むのに十分な大きさであり、各項目がモデリングに使用できる複数の変数を含んでいる必要があります。データセットが複雑であればあるほど、機械学習モデルのトレーニングにはより多くの時間とリソースが必要になります。

  1. データの利用可能性

データが利用可能かどうかも考慮する必要があります。独自データを使用する場合は、所有者から使用許可を得る必要がある場合があります。公開されているデータセットは、オンラインで見つけるか、データを収集した組織に問い合わせることで入手できます。

  1. データのラベル付け

トレーニングデータの最も重要な側面の1つは、ラベル付けされている必要があることです。ラベル付けされたデータとは、各項目の入力変数に数値またはカテゴリ値が割り当てられていることを意味します。これにより、機械学習モデルはパターンを識別し、トレーニング中に学習した内容に基づいて予測を行うことができます。トレーニングセット内の項目が多ければ多いほど、新しいデータに対するリアルタイム予測時のモデルの性能が向上します。

  1. 線形関係と非線形関係

もう1つ考慮すべき点は、線形関係が存在するかどうか、またそれが存在する場合、トレーニングセット内の各項目に対して独立変数と従属変数がいくつあるかです。例えば、人を研究している場合、体重は身長（年齢を示す可能性もある）を示す指標となる可能性があります。この場合、従属変数は1つ（身長）で、独立変数も1つ（体重）です。しかし、車を研究している場合、体重と速度は線形関係を持つ2つの独立変数となる可能性があります。つまり、体重が増加すると速度も増加する可能性が高いということです。

  1. アルゴリズムの種類

選択する機械学習アルゴリズムの種類も、使用するトレーニングデータセットに影響を与えます。一部のアルゴリズムはカテゴリデータの処理に適しており、他のアルゴリズムは数値データの処理に優れています。使用するデータの種類に適合するアルゴリズムを選択する必要があります。

  1. リソースの利用可能性

最後に考慮すべき点は、機械学習モデルをトレーニングするために必要な時間とリソースの量です。データが多ければ多いほど、モデルの性能は向上します。ただし、モデルをトレーニングするのに十分なデータがない場合は、合成データで補うこともできます。合成データとは、実世界のデータセットに似せて人工的に作成されたデータのことです。これは、トレーニングに使用できる元のデータが十分にない場合に役立ちます。

まとめると、機械学習用のデータセットを選択する際には以下を確認することが重要です：

  • データが収集元の母集団を代表していること。
  • 同じグループ内に存在する可能性のある複数のクラスから均等に代表が含まれていること。これにより、機械学習モデルがあるクラスを別のクラスよりも優先して予測する際のバイアスが防止されます。
  • データセットのサイズと複雑さが使用する機械学習アルゴリズムの種類に適していること。
  • データがラベル付けされており、機械学習モデルがパターンを識別できること。
  • データが使用するアルゴリズムに適合する形式であること。
  • モデルをトレーニングするための十分なリソースが利用可能であること。
  • データセットがさまざまな項目を含むのに十分な大きさであり、各項目が複数の変数を含んでいること。
  • 2つ以上の独立変数間に線形関係がないこと。線形関係がある場合、それらは単純であるべきです（つまり、独立変数が少ない）。
  • 何を予測または識別しようとしているかを把握し、それに適したデータセットを見つけること。

適切なデータセットを見つける最善の方法は、何を達成しようとしているかを知ることです。一般的なアイデアが得られたら、公開されているデータセットを検索し、機械学習に適したものを探すことができます。また、適切なデータセットを見つけるのに役立つオンラインリソースも多数あります。例えば、UCI Machine Learning Repositoryは、機械学習に使用できる公開データセットの大規模なコレクションを含むウェブサイトです。すべてのデータセットがすべての種類の機械学習アルゴリズムに適しているわけではないことに注意してください。そのため、使用するデータセットに適合するアルゴリズムを選択する必要があります。

近年、データの利用可能性が増加したことにより、機械学習モデルの使用が急増しました。しかし、機械学習業界の真の勝者はデータそのものです。予測を行うだけでなく、データは世界の仕組みをより深く理解し、その情報に基づいてより良い意思決定を行うための重要なツールとなっています。

データが多ければ多いほど、モデルのパフォーマンスは向上します。しかし、機械学習モデルをトレーニングするための十分なデータがない場合、実世界のデータ（ほぼ不可能な場合が多い）の代わりに、合成データを提供することができます。別のアプローチとしては、ラベル付きトレーニングデータの小さなセットを使用し、それをいくつかの教師なし学習技術と組み合わせる方法があります。これにより、最終モデルの作成に使用する変数を選択しながら、非構造化データを活用することができます。

機械学習モデルをトレーニングする際には、十分なデータを持つことが重要です。しかし、利用可能な元データが十分でない場合もあります。このような場合には、合成データを利用することができます。合成データとは、実世界のデータセットに似せて人工的に作成されたデータのことです。これは、トレーニングに十分な元データがない場合や、予測の精度を向上させたい場合に役立ちます。このトピックはかなり高度な内容であり、別の機会、あるいは別の書籍で取り上げることにします。

ニューラルネットワークのアーキテクチャ​

ディープラーニングで一般的に使用されるニューラルネットワークのアーキテクチャはいくつかあります。畳み込みニューラルネットワーク（CNN）、長短期記憶（LSTM）セル、リカレントニューラルネットワーク（RNN）、および畳み込み制限ボルツマンマシン（CBRM）などがその例です。これらの異なるタイプのニューラルネットワークは、それぞれ独自の強みと弱みを持ち、異なる目的に使用されます。このセクションでは、最も広く使用されているニューラルネットワークのアーキテクチャについて触れ、それらを始めるための基礎を提供します。

多層パーセプトロン（MLP）​

多層パーセプトロン（MLP）ニューラルネットワークは、ディープラーニングで使用されるニューラルネットワークの一種です。シンプルでありながら強力なニューラルネットワークであり、複雑なモデルをトレーニングするために使用できます。MLPネットワークは複数の層で構成されており、それぞれの層には複数のニューロンが含まれています。最初の層のニューロンは次の層のニューロンと接続されており、このようにして層が連結されています。多層パーセプトロンは、ディープラーニングで最も一般的に使用されるニューラルネットワークのタイプです。多層パーセプトロンは、回帰や分類を含む幅広いタスクを解決するために使用できます。多層パーセプトロンネットワークは、多くの隠れ層と各層に多くのニューロンを持つ場合に高い予測精度を達成します。ただし、トレーニング例の数が増加するにつれてスケールしにくく、ハイパーパラメータの調整が必要なため、トレーニングが難しくなります。多層パーセプトロンは、1960年代にスタンフォード大学の研究者によって最初に導入され、1986年にDavid Rumelhart、Geoffrey Hinton、Ronald Williamsによって普及しました[1]。

多層パーセプトロンのアーキテクチャ​

多層パーセプトロンは、入力層、1つ以上の隠れ層（「隠れユニット」または「特徴抽出層」とも呼ばれる）、および出力層の3つの層グループに編成されています。各層は次の層に完全に接続されています。

多層パーセプトロンは、各トレーニング例に対してx1, x2, ....xnという複数の入力、1つ以上の隠れユニットh1, h2...hn（隠れ層の数に依存）、および出力（またはクラスラベルを表す1つの出力）を持ちます。このアーキテクチャの最適な重みW1, W2 ...Wmを、勾配降下法を使用して誤差関数を最小化することで学習します。

多層パーセプトロンは、十分な隠れユニットが与えられれば、任意の関数を近似できる普遍的な関数近似器であることに注意してください。多層パーセプトロンは、医療診断[2]、手書き文字認識[3][4]、機械翻訳[5]など、多くのアプリケーションで使用されています。また、ロボティクスでも人気があります。多層パーセプトロンは当初、教師あり学習のみに使用されていましたが、現在では深層信念ネットワーク（DBN）や深層ボルツマンマシン（DBM）などの教師なし学習にも主に使用されています。

多層パーセプトロンネットワークのトレーニング​

多層パーセプトロンのトレーニングアルゴリズムは設計上シンプルです。ランダムなネットワーク重みW1, W2...Wmから開始し、トレーニングセット（入力-出力ペア(x1, y1), (x2, y2),....(xn, yn)）に基づいて定義された誤差関数Eを減少させるように、それらを反復的に更新します。これは、ネットワークが正しいクラスラベルyを予測するようにトレーニングされる教師あり学習アプローチです。

多層パーセプトロンのトレーニングアルゴリズムには、以下の2つのフェーズがあります：

  • フォワードフェーズ：最初の隠れ層の各ニューロンの出力は、符号規則（例：f = sgn(w1inputs+b1)+sgn(w2hiddens+b2)+...+sgn(wm+bm)）を使用して計算され、その後シグモイドなどの活性化関数を適用します。これにより、ニューロン間の接続のシナプス活動レベルが得られ、次の層のニューロンが活性化されます。
  • バックワードフェーズ：このフェーズでは、実際のクラスラベルyを考慮し、正しく分類された例に対してより高い重み更新を行います。隠れ層の各ニューロンに対して、これらの値の差に基づいて誤差関数Eを計算し、それをすべてのニューロンに逆伝播させます。その後、勾配降下法（例：Wm+1 = Wm -(学習率)*∂E/∂wm [6]）を使用してWm+1を学習します。

多層パーセプトロンアルゴリズムには組み込みの停止基準はありません。ただし、多くの実験では、さらなるトレーニングがネットワークのパフォーマンスや安定性に最小限の影響しか与えないと観察された場合、つまり平均二乗誤差が減少したときに停止します。この場合、過学習が発生しています。

ディープラーニングにおける多層パーセプトロン​

多層パーセプトロン（Multilayer perceptrons）は、その接続グラフにサイクルがないため、フィードフォワードニューラルネットワークとも呼ばれます。ただし、1つ以上の隠れ層を持つ多層パーセプトロンは、しばしばディープラーニング多層パーセプトロン（MLP）と呼ばれます。これにより、多層パーセプトロンアルゴリズムを多くの層と数百万のパラメータを持つネットワークに一般化することが可能になります。ディープフィードフォワードネットワークは、複数の層を積み重ねることで構成され、非常に広いが浅いネットワークアーキテクチャを形成します。ディープラーニング多層パーセプトロンは、勾配降下法、共役勾配法、または準ニュートン法など、さまざまな最適化アルゴリズムを使用して訓練することができます。

畳み込みニューラルネットワーク​

畳み込みニューラルネットワーク（Convolutional Neural Networks, CNNs）は、コンピュータビジョン、画像認識、物体検出のアプリケーションで使用されるニューラルネットワークの一種です。これらは、プログラムが学習した他の画像と比較することで、画像の小さな特徴を識別するために使用されます。畳み込みニューラルネットワークは、一般的に以下の3つの主要な層で構成されています：

  • 畳み込み層（Convolutional layer）
  • プーリング層（Pooling layer）
  • 全結合層（Fully connected layer）

畳み込み層では、プログラムがデータベース内の他の画像と比較することで画像内のパターンを認識します。現在の画像の特徴とプログラムが学習した内容との間に大きな違いがある場合、畳み込み層の次のセクションに進みます。畳み込みニューラルネットワークはコンピュータビジョンの進歩に大きく貢献していますが、ディープ畳み込みニューラルネットワーク（Deep Convolutional Neural Networks, DCNNs）や畳み込み制限ボルツマンマシン（Convolutional Restricted Boltzmann Machine, CBRMs）など、さまざまな種類の畳み込みニューラルネットワークによってさらに改善が続けられています。

畳み込みニューラルネットワークは経験から学習します。これらは複数の層で構成されており、各層にはフィルタと呼ばれる異なる数のニューロンがあります。ネットワークが学習するためには、各層にトレーニングセットを提示し、それを使ってパターンを認識するように訓練します。トレーニングデータが多ければ多いほど、畳み込みニューラルネットワークはそのデータ内のパターンをより正確に検出できるようになります。また、畳み込みニューラルネットワークは、データを多くの層を通じて前方に渡し、その予測がデータに関連付けられたラベルにどれだけ近いかを測定するフィードフォワードメカニズムを使用します。

畳み込みニューラルネットワークで望ましい精度レベルに到達するためには、定義されたデータセットに従ってトレーニングセットを作成する必要があります。その後、畳み込みニューラルネットワークはこのデータからパターンを正確に検出する方法を学習します。これは、データに関連付けられたラベルと予測値の間の誤差を最小化するように、畳み込みニューラルネットワーク内のフィルタの値を調整することで行われます。また、バックプロパゲーションを使用して畳み込みニューラルネットワークを訓練することもできます。バックプロパゲーションは、各層でのパフォーマンスに関する情報を前の層にフィードバックすることで、畳み込みニューラルネットワークがより速く学習できるようにします。これにより、各層がフィルタを適切に調整し、畳み込みニューラルネットワークが誤りから学び、精度を向上させることができます。

リカレントニューラルネットワーク​

リカレントニューラルネットワーク（Recurrent Neural Networks, RNNs）は、シーケンス内の以前の部分の状態情報を使用して、次にどこを見るべきかに関する将来の予測に影響を与えることで、画像やテキスト内のパターンを識別するネットワークの一種です。RNNsは、Googleの翻訳サービスや音声認識技術などのアプリケーションで使用されています。畳み込み制限ボルツマンマシン（CBRMs）、ディープ畳み込みニューラルネットワーク（DCNNs）などは、リカレントニューラルネットワークをコアとして使用する畳み込みニューラルネットの一部です。

長短期記憶（Long Short Term Memory, LSTM）セルは、シーケンスデータ内のパターンやトレンドを識別するために使用されるリカレントニューラルネットワークの一種です。LSTMセルは、新しいパターンを以前に学習したものと比較し、将来の予測を行う際に以前の状態情報を考慮に入れることでこれを実現します。リカレントニューラルネットワークは長年存在していますが、LSTMセルはリカレントニューラルネットワークをより強力にする上で大きな役割を果たしています。

トランスフォーマー​

トランスフォーマーニューラルネットワークは、トランスフォーマーと呼ばれるディープラーニングアルゴリズムを使用して、新しいデータセットに対する推論を学習するニューラルネットワークです。トランスフォーマーは、エンコーダとデコーダの2つの主要な部分で構成されています。エンコーダは入力データを数値のベクトルに変換します。このベクトルはデコーダを通過し、入力データを再構築します。

トランスフォーマーニューラルネットワークアーキテクチャは、2017年にGoogleによって初めて提案され、ディープニューラルネットワークやリカレントニューラルネットワークのような他のニューラルネットワークアーキテクチャよりも効果的であることが示されています。トランスフォーマーニューラルネットワークは、自然言語処理（NLP）において非常に効果的であることが証明されています。NLPは、英語のような人間の言語を処理し学習できる機械を作成することを目指す人工知能の一分野です。トランスフォーマーニューラルネットワークのようなニューラルネットワークは、情報を取り込み、それを分析のために別の形式に変換するという点で、脳の働きを近似したものと言えます。

バックプロパゲーション​

ニューラルネットワークアーキテクチャを選択したら、それを訓練する必要があります。バックプロパゲーションは、ニューラルネットワークを訓練するために使用できるシンプルで効果的なアルゴリズムです。バックプロパゲーションは、勾配降下法に基づくアルゴリズムであり、ランダムな方向に進むのではなく、最適なニューラルネットワークの重みへ迅速に収束することを可能にします。

各層の誤差項がネットワークを逆方向に伝播することで、勾配を計算できるため、非常に効果的です。この誤差項は、特定のノードでその両側にあるノードへの接続の重みを調整し、将来の誤差を減少させるようにします。

バックプロパゲーション（Back-props）は、ディープラーニングのニューラルネットワークでよく使用される強力なツールであり、大規模なデータベースを用いてトレーニングを行う必要があります。バックプロパゲーションは、さまざまな種類のニューラルネットワークモデルに適用可能で、実際に前述したすべてのニューラルネットワークアーキテクチャがバックプロパゲーションの恩恵を受けています。バックプロパゲーションは、最適化、パターン認識、関数近似など、多くの分野で成功裏に適用されています。

バックプロパゲーションアルゴリズムは、バックプロップ（Back-prop）またはバックプロップス（Back-props）とも呼ばれます。

各層の誤差項がネットワークを逆方向に伝播することで、勾配を計算できるため、非常に効果的です。この誤差項は、特定のノードでその両側にあるノードへの接続の重みを調整し、将来の誤差を減少させるようにします。バックプロパゲーションアルゴリズムは、バックプロップ（Back-prop）またはバックプロップス（Back-props）とも呼ばれます。

バックプロパゲーションは、勾配降下法に基づいて動作し、ランダムな方向に進むのではなく、最適な重みに迅速に収束することを可能にします。バックプロパゲーションは、さまざまな種類のニューラルネットワークモデルで構成されることがあります。バックプロップは、分類器間の依存関係を減少または解消するための優れたツールです。バックプロップスは、ディープラーニングニューラルネットワークでよく使用される強力なツールであり、大規模なデータベースを用いてトレーニングを行う必要があります。

収束​

収束とは、モデルがより多くのデータをトレーニングする際に、どれだけ速く学習するかを指します。たとえば、機械学習モデルを使用して将来の予測を行う場合、モデルが良好な収束を持つことを確認することで、予測が正確になるようにしたいと考えるでしょう。別の例として、製品の改善など、何かを向上させるために機械学習モデルを使用する場合、良好な収束を持つモデルを使用することで、実際に開始時点よりも良い結果を得ることができます。

機械学習における収束が遅いことは問題となる場合があります。これは、モデルが可能な限り速く学習していないことを意味し、不正確な予測や最適でない解決策につながる可能性があります。さらに、収束が遅いと、時間やリソースの面でコストがかかる場合があります。

収束が遅いことの利点はあるのか？​

収束が遅いモデルを選択する主な利点は、より正確になる可能性があることです。収束速度が遅いと、より正確な予測や解決策につながることがあります。また、このタイプのモデルは、正確性が最も重要な要素であるケースに適している場合があります。

しかし、収束が遅いモデルを選択する際には、それが使用される文脈を考慮することが重要です。ある場合には正確性が最も重要な要素である一方で、他の場合には速度がより重要であるかもしれません。さらに、この方法を使用してモデルをトレーニングするために十分なデータがあることを確認する必要があります。十分なデータがない場合、モデルは適切に学習できず、正確な結果を生成しない可能性があります。

要するに、機械学習モデルを選択する際には、収束速度を考慮することが重要です。良好な収束を持つモデルは、収束が遅いモデルよりも正確で効率的です。また、モデルが使用される文脈を考慮し、その使用ケースに適した良好な収束を持つモデルを選択することを忘れないでください。

過学習と未学習​

機械学習における問題の1つは、過学習と未学習です。過学習とは、アルゴリズムが特定のタスクを非常にうまく学習する一方で、それ以外のことができなくなることを意味します。これは、私たちが望むことを学びすぎた結果です。一方、未学習とは、アルゴリズムが十分にトレーニングされていないため、私たちが望むことを学習できないことを意味します。トレーニングデータに多くの誤りが含まれる場合、これは過学習または未学習が原因である可能性があります。

たとえば、機械学習アルゴリズムが画像内のオブジェクトを非常にうまく識別できるように学習したとします。しかし、私たちが望むことを学びすぎたため、他の画像内の異なるオブジェクトを識別したり、異なる文脈でオブジェクトを認識したりすることが苦手になります。

別の例として、機械学習アルゴリズムがデータから非常に基本的なことしか学習できない場合があります。これは、アルゴリズムが十分にトレーニングされておらず、私たちが望むことを学習できない場合に発生します。トレーニングデータに多くの誤りが含まれる場合、これは過学習または未学習が原因である可能性があります。

過学習を防ぐ1つの方法は、より複雑なアルゴリズムを使用することです。これにより、アルゴリズムがデータについてより多くを学習しつつ、私たちが望むことを学びすぎることを防ぐことができます。過学習を防ぐ別の方法は、トレーニングデータの量を減らすことです。これにより、アルゴリズムが私たちが望むことを学びすぎることを防ぐことができます。一方、未学習を防ぐ方法としては、より単純なアルゴリズムを使用することが挙げられます。これにより、アルゴリズムがデータからより多くを学習できるようになります。また、トレーニングデータの量を増やすことで、世界の仕組みのより多くの部分がデータに含まれるようにすることもできます。

過学習と未学習は、機械学習において発生する可能性のある2つの問題です。過学習は、アルゴリズムが私たちが望むことを学びすぎた場合に発生します。未学習は、アルゴリズムが十分にトレーニングされていない場合に発生します。より複雑なアルゴリズムやトレーニングデータの量を増やすことで、これらの問題を防ぐことができます。

ハイパーパラメータ​

これらの問題に対処し調整するために、さまざまなパラメータを調整することができます。ここでは、最も一般的に使用されるものについて触れます。

エポック (Epochs)​

ニューラルネットワークをバックプロパゲーションで訓練する際、通常は数千から数百万もの接続を調整する必要があります。これらすべての更新を同時に行うと、指数関数的に計算時間が増加し、ほとんどのアプリケーションでは非現実的です。このため、バックプロパゲーションでは重みを1つずつ、反復的に更新します。この方法では、各訓練データインスタンスごとにすべての入力接続の重みを再計算する必要がなくなり、時間がかかりすぎることを防ぎます。代わりに、バックプロパゲーションは重みを1つずつ更新し、すべての変更を追跡して、現在の反復が完了した後に他の重みを更新します。

エポック（Epoch）は、機械学習においてすべての訓練データが処理された回数を示す単位です。データ項目の数が非常に多い場合に使用されることが一般的です。また、ニューラルネットワークの重みを初期値にリセットする必要がある場合にも役立ちます。

エポックが初期化されると、バックプロパゲーションアルゴリズムはデータセットの先頭から開始し、最後まで進みます。その後、データセットの先頭に戻り、再び処理を開始します。このプロセスは、データセット内のすべてのデータ項目を処理するまで続きます。

実行すべきエポックの数は、ニューラルネットワークが訓練データに対してどれだけうまく機能しているかによって決まります。ネットワークがデータから学習していない場合は、より多くのエポックを実行する必要があります。逆に、ネットワークが過学習している、またはデータ内のノイズから過剰に学習している場合は、エポック数を減らすべきです。

エポックは、訓練プロセス中の時間を節約するためにも使用できます。バックプロパゲーションが訓練データを処理する際、データセットの最後に到達すると先頭に戻る必要があります。この状況でエポックが使用されない場合、バックプロパゲーションは毎回データセット全体を処理しなければならず、非常に時間がかかる可能性があります。しかし、バックプロパゲーションがデータセットの先頭に戻ることで、特定の数の項目だけをバックアップする必要があり、各エポックに必要な時間が大幅に短縮されます。

学習率（Learning Rate）​

学習率は、モデルがどれだけ速く訓練（またはデータをキャプチャ）するかを決定します。学習率を低く設定しすぎると、モデルがまったく訓練されない可能性があります。一方で、学習率を高く設定しすぎると、エラー修正の時間がなくなるため、訓練が非効率になる可能性があります。適切な値を設定する目標は、以下の2つの要因に依存します： 1) モデルを訓練するために利用可能なデータの量 2) 訓練に利用可能な時間

学習率はモデルにどのように影響するのでしょうか？ニューラルネットワークを訓練する場合、学習率が高いほど、各値が0または1に近づきます（0は効果がないことを意味し、1は元の効果が100%であることを意味します）。学習率が低い場合、ネットワークの収束は遅くなりますが、より正確になります。これは、学習率が低いと、ネットワークが重みを調整してデータにより適合する機会が増えるためです。

適切な学習率を見つけるにはどうすればよいでしょうか？いくつかの方法があります： 1) 試行錯誤 - すべてのモデルは同じ精度レベルに達するまでに必要な訓練時間が異なるため、どの学習率を使用すべきかを知るのは難しいです。 2) この記事のようなものを読む - 一般的なガイドラインを提供します。ただし、さらに具体的な方法もあります： 1) グリッドサーチを実行する - これは、さまざまな学習率の組み合わせをテストして、ケースに最適なものを見つける方法です。 2) 検証曲線を使用する - これは、モデルの精度を訓練時間に対してプロットする方法で、モデルがどれだけ速くまたは遅く学習しているかを示します。特定の時間枠内で最も正確な結果を得たい場合に最適なオプションです。

ケースに適した学習率を決定する要因は何でしょうか？最初の要因は、モデルを訓練するために利用可能なデータの量です。大量のデータを扱う場合は、より高い値を使用するのが理にかなっています（これは、モデルが学習する例が増えるため、より速く学習できることを意味します）。一方、利用可能なデータが少ない場合は、低い値を設定します。

2つ目の要因は、モデルを訓練するために利用可能な時間です。前述のように、試行錯誤や記事を読むだけでは、特定のケースに最適な学習率を明らかにすることはできません。これは、ある人にとって最適なオプションが、別の人にとっては最適でない可能性があるためです。ただし、モデルをできるだけ早く訓練したい場合は、非常に高い値を使用しないでください。一方、時間に余裕がある場合は、より高い学習率を使用して（そして最適な値を見つけて）も問題ありません。

このように、適切な学習率を決定する要因は複数ありますが、幸いにも、最適な値を見つける方法もたくさんあります！

学習率が低すぎるか高すぎるか？​

モデルがまったく訓練されていない場合、これは学習率が低すぎることを示しており、値を増やす必要があります（ただし、高すぎないように注意してください）。モデルが正しく設定されているかどうかを確認するもう1つの方法は、データセットで検証曲線を使用することです。学習率が正しく設定されている場合、曲線は1に近い点を通る直線のように見えます。そうでない場合は、学習率を変更し、別の検証曲線を実行することを検討してください。

モデルを高速化するにはどうすればよいでしょうか？​

もし学習率を高く設定すると、モデルはより迅速に学習しますが、精度が低くなる可能性があります。逆に、学習率を低く設定すると、モデルの学習速度は遅くなりますが、精度が向上します。これは理にかなっています。なぜなら、学習率が低い場合、ネットワークがデータにより適合するように重みを調整する機会が増えるからです。一方で、非常に高い学習率を使用すると、モデルがデータセット内のノイズに基づいて予測を迅速に学習してしまい、実際のデータに基づいた学習ができなくなる可能性があります。この場合、モデルは予測を批判的に見たり、誤りの原因を理解したりすることがなく、同じような誤りを繰り返してしまいます。

学習率をあまりにも低く設定すると、モデルのトレーニングに非常に長い時間がかかる可能性もあります。これは、重みの更新が非常に遅いため、新しいデータが入力された際に迅速に適応できなくなるからです。

最適な学習率の選択​

ご覧の通り、モデルの学習率を決定する要因は複数あり、最適な選択肢は人によって異なります。時間に余裕があり、迅速にトレーニングしたい場合は、学習率を低めに設定してください。しかし、正確なモデルを迅速にトレーニングしたい場合は、学習率を高めに設定してください。

転移学習​

転移学習とは？​

転移学習とは、あるモデルで学習した知識を別のモデルに転用するプロセスです。これにより、他のモデルの知識ベースに存在するギャップを埋めることができます。転移学習の利用は特に機械学習の分野で非常に成功を収めています。その素晴らしい例の1つが、深層ニューラルネットワークを活用して携帯電話の音声認識を向上させることです。

転移学習が重要な理由​

転移学習が重要である主な理由は、異なるモデル間に存在するギャップを埋めるのに役立つからです。このギャップを埋めることで、転移学習は、2つのモデルを組み合わせなければ利用できなかった情報を活用することが可能になります。また、転移学習が重要なもう1つの理由は、学習プロセスを高速化できることです。これは、転移学習が別のモデルで既に学習された知識を再利用できるためです。最後に、転移学習はモデルの精度を向上させることができます。異なるモデル間のギャップを埋めることで、より多くの情報を活用し、モデルの精度を向上させることが可能になります。

転移学習は近年、機械学習（ML）システムにとって強力なツールとなっています。その人気の理由は、転移学習が必要なトレーニングデータ量を削減し、性能を向上させることができる点にあります。さらに、転移学習は従来の機械学習アルゴリズムよりも実装やデバッグが容易です。

転移学習の主な応用例​

転移学習は、コンピュータビジョン、自然言語処理、機械学習などの分野で多くの重要な応用例を見つけています。最も注目すべき応用例には以下が含まれます：

  • 転移学習を使用して携帯電話の音声認識を向上させる
  • 転移学習を使用して物体認識を向上させる
  • 転移学習を使用して顔認識を向上させる
  • 転移学習を使用して機械学習を向上させる
  • 転移学習を使用してテキスト分類を向上させる

まとめると、転移学習は必要なトレーニングデータ量を最小化し、性能を向上させる能力により、機械学習システムで人気のツールとなっています。転移学習は音声認識、機械翻訳、コンピュータビジョンの応用で広く使用されており、異なるタスク間でソースコードを共有する研究者や開発者にとって貴重なツールとなっています。

オプティマイザー​

まとめ​

畳み込みニューラルネットワーク、Long Short Term Memory（LSTM）セル、リカレントニューラルネットワーク、畳み込み制限付きボルツマンマシン（CBRM）は、現在深層学習の分野で使用されているさまざまな種類のニューラルネットワークです。これらの異なる種類のニューラルネットワークは、今日の多くの成功したアプリケーションを支えています。畳み込みニューラルネットワークはもともとコンピュータビジョンのタスク向けに設計されましたが、音声認識や自然言語処理などの他のタスクにも適応され、大きな成功を収めています。リカレントニューラルネットワークとLSTMセルは、リカレントニューラルネットワークをこれまで以上に強力にする役割を果たしています。畳み込みニューラルネットとリカレントニューラルネットの継続的な進歩により、これらの種類のニューラルネットワークはますます強力になることが期待されています。

モデル最適化​

機械学習において、モデルのサイズはその複雑さの度合いを示す指標です。機械学習モデルが大きくなるほど、最適化アルゴリズム中に収束しないリスクが高まり、過学習の度合いも高くなる可能性があります。

これらの欠点を克服するために、機械学習の最適化技術を活用して、予測能力を維持しながらモデルのサイズを縮小することができます。本セクションでは、量子化、プルーニング、知識蒸留などの技術について説明します。これらの技術は、さまざまなタスクにおいて計算効率を向上させることで、機械学習アルゴリズムの性能を改善することを目的としています。

機械学習の最適化技術は、大きく以下の2つの側面に取り組みます：

  1. モデルサイズの縮小
  2. 計算効率の向上

これらは、ソフトウェアの最適化を行うか、ハードウェアのサポートを活用することで達成できます。

ソフトウェア最適化​

圧縮​

モデル圧縮は、機械学習モデルのサイズを縮小するためにモデルアンサンブルを使用する最適化技術です。モデル圧縮は、異なるデータセットのサブセットに基づいて複数の機械学習モデルをトレーニングし、それらを投票や平均化によって単一のモデルに統合することで機能します。各モデルは元のモデルよりも小さいため、計算および保存するパラメータが少なくなります。

また、データ自体を圧縮して扱いやすくすることも可能です。これには、非可逆圧縮アルゴリズムを使用したり、データをサブサンプリングしたりする方法があります。非可逆圧縮アルゴリズムはデータの一部を削除してサイズを縮小し、サブサンプリングはトレーニングに使用するデータ例の数を減らします。

量子化​

量子化は、モデルパラメータを整数値に置き換えることでモデルサイズを縮小する最適化技術です。これは、モデルパラメータを最も近い整数値に丸めることで実現されます。量子化の利点は、非量子化モデルと比較して計算効率が高いモデルを生成することが多い点です。

重みのプルーニング​

重みのプルーニングは、モデルパラメータの一部を削除することでサイズを縮小する最適化技術です。これは、モデルの予測に影響を与えないと判断された重みや活性化をゼロに設定することで行われます。重みを削除することで、モデルを小型化し、トレーニングに必要な時間や保存に必要なメモリ容量を削減できます。

知識蒸留​

知識蒸留は、モデルの性能を向上させるための最適化技術です。これは2段階のプロセスで構成されます。まず、大規模なデータセットでより複雑なモデルをトレーニングします。次に、そのモデルをより単純なモデルに蒸留し、小規模なデータセットで予測を行えるようにします。知識蒸留の利点は、大規模データセットで蒸留されたモデルを再トレーニングなしで小規模データセットに適用できる点です。特に、蒸留前の複雑なモデルよりも正確な予測を行うモデルが得られることが多いです。

ハードウェアアクセラレーション​

機械学習は、機械に人間のような振る舞いを学習させることに焦点を当てた人工知能の分野です。ハードウェアアクセラレーションとは、特定のハードウェアデバイスを使用してコンピュータシステムの性能を向上させることを指します。機械学習において、ハードウェアアクセラレーションはシステムの性能と効率を向上させる上で非常に重要な役割を果たします。

以下では、機械学習におけるハードウェアアクセラレーションと、それを活用する方法について説明します。最初にハードウェアアクセラレーションの概要を提供し、その歴史やハードウェアアクセラレータの定義を詳しく説明した後、機械学習における具体的な利点について述べます。この内容は、ハードウェアアクセラレーションを中心とした機械学習の一側面に関する入門ガイドとして役立つでしょう。

この文脈でのハードウェアアクセラレータとは、特定のタスクを汎用CPUよりも効率的に実行するよう設計された集積回路を指します。ハードウェアアクセラレータは、必要な計算を迅速かつ効率的に実行するようカスタム設計されています。機械学習におけるハードウェアアクセラレーションでは、これらのデバイスがシステムの性能と効率を向上させることができます。

グラフィックス処理ユニット (GPU)​

GPU（グラフィックス処理ユニット）は、コンピュータグラフィックスに関連する計算を実行するために特化して設計されたハードウェアアクセラレータです。これらのデバイスは、機械学習において従来のCPUと比較して大幅な性能向上を提供します。これは、機械学習アルゴリズムで一般的な行列操作に関連する浮動小数点演算に最適化されているためです。このため、GPUはトレーニングや推論などのタスクで機械学習に頻繁に使用されます。

テンソル処理ユニット (TPU)​

最近では、Googleが機械学習計算を加速するために特別に設計したTPU（テンソル処理ユニット）というハードウェアアクセラレータが登場しました。これらのデバイスは、機械学習の特有の要件を理解した上で設計されており、CPUやGPUと比較して大幅な性能向上を提供します。

ニューラルプロセッシングユニット​

全体として、ハードウェアアクセラレーションは、機械学習システムの性能と効率を向上させるために使用できる重要なツールです。特にGPUに関しては、この種のシステムに対して非常に効果的なハードウェアアクセラレータであることが示されています。しかし、機械学習の分野が進化するにつれて、この技術のニーズを満たすために特別に設計された他のハードウェアデバイスが生産される可能性があります。この目的のために、機械学習のトレーニングと推論に対応するニューラルプロセッシングユニット（NPU）として特化されたさまざまなデバイスが登場しています。いずれにせよ、ハードウェアアクセラレーションは、機械学習アルゴリズムを扱うすべての人にとって重要なツールと見なされるべきです。

機械学習モデルのデプロイ​

機械学習モデルの精度と遅延に影響を与える要因は多数あります。これらの要因の一部は機械学習アルゴリズムに固有のものであり、他の要因は特定の実装や環境に依存します。しかし、一般的には、機械学習アルゴリズムの性能に影響を与える主な要因は以下の3つです：

  • データセットのサイズと複雑さ
  • アルゴリズムの複雑さ
  • レイヤーの数、レイヤーの種類、活性化関数などのハイパーパラメータ

結論​

機械学習は人工知能（AI）の未来において不可欠な要素であり、自動運転車、バーチャルアシスタント、スマート家電など、多くの新興技術において重要な役割を果たします。これらの技術がその可能性を最大限に発揮できるようにするためには、機械学習アルゴリズムを開発する機械学習エンジニアが必要です。そのため、このコースで学んだ内容が、機械学習についてさらに学びたいという深い興味を喚起することを願っています。

付録​

組み込みシステム​

組み込みシステムにおいて、マイクロコントローラは単一の集積回路上に組み込まれた小型コンピュータであり、組み込みデバイスを制御するために必要なすべての回路を含んでいます。これらの組み込みデバイスは通常、家電製品や車両などの他の製品に組み込まれており、単純な論理ゲートから入出力ポートを備えたマイクロコンピュータまでさまざまな形態を取ります。たとえば、PICmicroは、コンピュータとプリンタ、スキャナ、キーボード、マウス、デジタルカメラなどの周辺ハードウェアとの間をインターフェースする組み込みコントローラシステムの一例です。この種のデバイスは、環境条件を監視したり、産業プロセスを制御したりするために使用できます。最初のプログラム可能なコントローラは、1960年代にゼネラル・エレクトリックによって設計され、洗濯機や乾燥機の内部で使用されました。これらは、衣類が十分に洗浄されたことを感知し、機械を停止させるものでした。

今日では、組み込みシステムはさまざまな製品や家電製品に見られ、組み込みコンピュータは電子レンジ、洗濯機、食器洗い機、さらにはコーヒーメーカーなど、ほとんどの現代の家庭用デバイスの主要なコンピューティングユニットとして使用されています。これらの組み込みコンピュータは、デジタルディスプレイやLEDなどのさまざまな形式の出力を通じてユーザーに情報を伝えます。また、デバイスの外部にあるボタンやスイッチなどから入力を受け取り、時間設定や温度などの機能をユーザーが制御できるようにします。車内には、方向指示器、ホーン、スピードメーターなど、車両のすべての制御を実行するための組み込みコンピュータが搭載されており、エンジン部品に直接インターフェースすることなく車を完全に制御することができます。

組み込みシステムはまた、環境条件に基づいて監視および制御を行うために、複雑な計算やデータ操作を実行することもできます。デジタル信号プロセッサ（DSP）を中心とした組み込みシステムは、研究のために気候データを収集したり、風速や湿度などの要因の変化を検出したりするために使用されます。これにより、環境に関する予測を行うことができます。たとえば、車両内の組み込みコンピュータは、部品が故障しそうであることや過熱していることを感知するためにこの種の技術を使用しています。これらの組み込みシステムは、今日の世界の効率的な機能にとって不可欠ですが、歴史的にはそのサイズや必要な機能レベルのために開発が制限されてきました。

しかし、組み込みコンピューティングは急速に進化しています！最近のマイクロエレクトロニクスの進歩により、組み込みシステムはこれまで以上に小型化されながら多くのことができるようになりました。システムオンチップ（SoC）技術により、組み込みシステムがRF、アナログ、デジタル回路と統合され、単一のチップにまとめられ、それが他の製品に組み込まれるようになりました。これにより、製品開発が容易かつ迅速になり、生産コストも削減されました。私たちの生活のあらゆる側面で組み込みシステムの需要が高まり続けていることを考えると、組み込みシステムが私たちの周りの世界の機能にとって重要であることは間違いありません！

組み込みシステムの歴史​

組み込みシステムは、電子デバイスが存在する限りほぼ同じくらい長い歴史を持っています。初期の例の1つは、第二次世界大戦中の爆撃機（B-17 フライングフォートレス）で使用された真空管コントローラで、ナビゲーションや爆撃目標の設定を支援しました。これらの組み込みシステムは、より大きなシステムに組み込まれた小型コンピュータであり、追加の機能を提供していました。

1960年代初頭、ゼネラル・エレクトリックは、洗濯機や乾燥機で使用するための最初の組み込みコントローラを開発しました。これらのコントローラは、衣類が十分に洗浄されたことを感知し、機械を停止させるものでした。これは当時としては画期的な開発であり、組み込みシステムが周辺ハードウェアを制御し、相互作用する可能性を示しました。

1960年代後半には、あらゆる製品で組み込みシステムが急速に普及しました。最初の人類を月に送り込んだアポロ11号ミッションでは、誘導および制御システムに組み込みシステムが広範に使用されました。実際、組み込みシステムはミッションの成功にとって非常に重要であり、もし1つでも故障していたら、ミッションは中止されていた可能性が高いと言われています。

組み込みシステムが普及し続ける中で、これらのシステムが周囲とどのように相互作用するかについての標準化の必要性も高まりました。1981年、エンジニアのグループが集まり、Embedded Systems Conventional (ESC) を設立しました。この組織は、組み込みシステム開発のための標準を策定し、推進することを目的としていました。彼らの最も注目すべき成果の1つは、組み込みシステム同士が容易に通信できるようにする共通組み込みバスの開発でした。

組み込みシステムはその初期から大きく進化し、今日でも私たちの世界で重要な役割を果たし続けています。技術の進歩により、組み込みシステムはこれまで以上に小型化され、強力になり、製品開発に欠かせない存在となっています。組み込みシステムが私たちの日常生活にさらに深く浸透するにつれて、組み込みシステム開発は急速に進化し続けると予想されています！

組み込みシステムの具体的な従来の例としては、以下のものがあります：

  • デジタル時計/クロック
  • 電子レンジ
  • 自動車
  • ルーター
  • LED看板や空港に見られるような組み込み型照明制御システム
  • 音声アシスタントやネットワーク対応ドアロックなどのスマートホーム家電
  • 自動車の組立ラインに見られるような組み込み型産業用オートメーションコントローラー

このリストはまだまだ続きます！組み込み技術を使用している限り、それは組み込みシステムと見なされます。必要に応じて参考にできる良い組み込み技術の記事を「さらに読む」セクションに記載しています。ただし、これらの例に限定する必要はありません！興味深いことを行う他の組み込みシステムについて知っている場合は、それらもぜひ追加してください :)

新しい技術が組み込みシステムを新しい分野に押し進めていることについても言及できます。たとえば、組み込みシステムは現在、自動運転車の開発に使用されています。組み込みシステムがますます普及するにつれて、その重要性はさらに高まることでしょう！

さらに読む​

このコースシリーズは引き続き更新/修正されます。すべての権利は Seeed Studio および Prof. Vijay Janapa Reddi に帰属します。

Loading Comments...