TensorFlow Extended (TFX) は、運用環境での機械学習 (ML) モデルの開発と展開を容易にするように設計された強力なオープンソース プラットフォームです。 エンドツーエンドの ML パイプラインの構築を可能にする包括的なツールとライブラリのセットを提供します。 これらのパイプラインはいくつかの異なるフェーズで構成されており、それぞれが特定の目的を果たし、ML ワークフロー全体の成功に貢献します。 この回答では、TFX の ML パイプラインのさまざまなフェーズについて説明します。
1. データの取り込み:
ML パイプラインの最初のフェーズには、さまざまなソースからデータを取り込み、ML タスクに適した形式に変換することが含まれます。 TFX は、CSV ファイルやデータベースなどのさまざまなソースからデータを読み取り、TensorFlow のサンプル形式に変換する ExampleGen などのコンポーネントを提供します。 このフェーズでは、後続のステージに必要なデータの抽出、検証、および前処理が可能になります。
2. データの検証:
データが取り込まれたら、次のフェーズではデータ検証を行い、その品質と一貫性を確保します。 TFX は、データの概要統計を計算する StatisticsGen コンポーネントと、統計に基づいてスキーマを推論する SchemaGen コンポーネントを提供します。 これらのコンポーネントは、データ内の異常、欠損値、不一致の特定に役立ち、データ エンジニアや ML 実務者が適切なアクションを実行できるようになります。
3. データ変換:
データ検証後、ML パイプラインはデータ変換フェーズに進みます。 TFX は、正規化、ワンホット エンコーディング、特徴交差などの特徴エンジニアリング手法をデータに適用する Transform コンポーネントを提供します。 このフェーズは、モデルのパフォーマンスと一般化機能の向上に役立つため、モデルのトレーニング用のデータを準備する際に重要な役割を果たします。
4. モデルのトレーニング:
モデルのトレーニング フェーズには、変換されたデータを使用した ML モデルのトレーニングが含まれます。 TFX は、TensorFlow の強力なトレーニング機能を活用して、分散システムまたは GPU 上でモデルをトレーニングする Trainer コンポーネントを提供します。 このコンポーネントにより、トレーニング パラメーター、モデル アーキテクチャ、最適化アルゴリズムのカスタマイズが可能になり、ML 実践者がモデルを効果的に実験および反復できるようになります。
5.モデル評価:
モデルがトレーニングされると、次のフェーズはモデルの評価です。 TFX は、精度、適合率、再現率、F1 スコアなどの評価指標を使用して、トレーニングされたモデルのパフォーマンスを評価する Evaluator コンポーネントを提供します。 このフェーズは、モデルの潜在的な問題を特定するのに役立ち、目に見えないデータでのモデルの動作についての洞察を提供します。
6. モデルの検証:
モデルの評価後、ML パイプラインはモデルの検証に進みます。 TFX は、以前に推論されたスキーマに対してトレーニングされたモデルを検証する ModelValidator コンポーネントを提供します。 このフェーズでは、モデルがデータの予期された形式に準拠していることを確認し、データ ドリフトやスキーマの進化などの問題の検出に役立ちます。
7. モデルの展開:
ML パイプラインの最終フェーズには、トレーニングされたモデルを運用環境にデプロイすることが含まれます。 TFX は、トレーニングされたモデルと関連するアーティファクトを TensorFlow Serving や TensorFlow Lite などのサービング システムにエクスポートする Pusher コンポーネントを提供します。 このフェーズでは、ML モデルをアプリケーションに統合し、新しいデータの予測を行えるようにします。
TFX の ML パイプラインは、データの取り込み、データ検証、データ変換、モデルのトレーニング、モデルの評価、モデルの検証、モデルのデプロイなどのいくつかのフェーズで構成されます。 各フェーズは、データ品質の確保、特徴量エンジニアリングの有効化、正確なモデルのトレーニング、パフォーマンスの評価、本番環境へのデプロイによって、ML ワークフローの全体的な成功に貢献します。
その他の最近の質問と回答 EITC/AI/TFF TensorFlow Fundamentals:
- 埋め込みレイヤーを使用して、単語をベクトルとして表現するプロットに適切な軸を自動的に割り当てるにはどうすればよいでしょうか?
- CNN での最大プーリングの目的は何ですか?
- 畳み込みニューラル ネットワーク (CNN) の特徴抽出プロセスは画像認識にどのように適用されますか?
- TensorFlow.js で実行される機械学習モデルには非同期学習関数を使用する必要がありますか?
- TensorFlow Keras Tokenizer API の最大単語数パラメーターとは何ですか?
- TensorFlow Keras Tokenizer API を使用して、最も頻繁に使用される単語を検索できますか?
- トコって何?
- 機械学習モデルのエポック数とモデルの実行による予測精度の間にはどのような関係があるのでしょうか?
- TensorFlow の Neural Structured Learning のパックネイバー API は、自然なグラフ データに基づいて拡張されたトレーニング データセットを生成しますか?
- TensorFlow の Neural Structured Learning のパックネイバー API とは何ですか?
EITC/AI/TFF TensorFlow Fundamentals でその他の質問と回答を表示する
その他の質問と回答:
- フィールド: Artificial Intelligence
- プログラム: EITC/AI/TFF TensorFlow Fundamentals (認定プログラムに進む)
- レッスン: TensorFlow Extended(TFX) (関連するレッスンに行く)
- トピック: TFXとは正確には何ですか (関連トピックに移動)
- 試験の復習