あなたのTensorFlowコードが遅い場合は試してみてください。

コンテンツ概要 概要 セットアップ グラフの恩恵 tf.function を使用する スピードアップを見る tf.function tracingとは? 次のステップ 概要 このガイドは、TensorFlowとKerasの表面に沿って行き、TensorFlowがどのように機能するかを示します。 . Keras Guidesのコレクション このガイドでは、TensorFlow がコードに簡単な変更を行い、グラフを取得する方法、グラフがどのように保存され、表示されるか、そしてモデルを加速させるためにそれらを使用する方法を学びます。 注: TensorFlow 1.x に精通している人にとって、このガイドはグラフの非常に異なる見方を示しています。 注: TensorFlow 1.x に精通している人にとって、このガイドはグラフの非常に異なる見方を示しています。 熱心な実行からグラフ実行に切り替えることができます。 , go to the ガイド This is a big-picture overview that covers how tf.function tf.function より良いパフォーマンス with tf.function グラフとは? 前の3つのガイドでは、TensorFlowを実行しました。 これは、TensorFlow 操作が Python によって実行され、操作により実行され、結果を Python に返します。 eagerly 熱心な実行にはいくつかのユニークな利点がありますが、グラフ実行はPython以外のポータビリティを可能にし、より良いパフォーマンスを提供する傾向があります。 つまり、Tensor calculations are executed as a たまにAと呼ばれる。 あるいは単に「グラフ」です。 Graph execution TensorFlow グラフ tf.Graph コンピューティングユニットを表すオブジェクト、および オブジェクトは、操作間で流れるデータの単位を表します。 これらのグラフはデータ構造であるため、元のPythonコードなしで保存、実行、および復元することができます。 Graphs are data structures that contain a set of tf.Operation tf.Tensor tf.Graph TensorBoard で視覚化された場合に 2 つの層のニューラル ネットワークを表す TensorFlow グラフは次のようになります。 グラフの利点 グラフを使用すると、膨大な柔軟性があります。TensorFlowグラフは、モバイルアプリケーション、埋め込まれたデバイス、バックエンドサーバーなどのPythonの通訳がない環境で使用できます。 Python から輸出する場合 保存モデル グラフも簡単に最適化され、コンパイラが以下のような変換を実行できるようにします。 Statically infer the value of tensors by folding constant nodes in your computation ("constant folding") (コンスタントの折りたたみ) コンピューティングの独立した部分を分離し、それらをトレードまたはデバイス間で分割します。 一般的なサブ表現を除去することによって数値操作を簡素化します。 全体的な最適化システムが存在し、 これやその他のスピードアップを実行するために グラップラー 要するに、グラフは非常に有用であり、あなたのTensorFlowを実行させます。 走る 効率的に走る . fast in parallel on multiple devices ただし、Pythonで機械学習モデル(またはその他の計算)を定義し、必要に応じてグラフを自動的に構築する必要があります。 セットアップ 必要な図書館をいくつか入手する: import tensorflow as tf import timeit from datetime import datetime 2024-08-15 01:23:58.511668: E external/local_xla/xla/stream_executor/cuda/cuda_fft.cc:485] Unable to register cuFFT factory: Attempting to register factory for plugin cuFFT when one has already been registered 2024-08-15 01:23:58.532403: E external/local_xla/xla/stream_executor/cuda/cuda_dnn.cc:8454] Unable to register cuDNN factory: Attempting to register factory for plugin cuDNN when one has already been registered 2024-08-15 01:23:58.538519: E external/local_xla/xla/stream_executor/cuda/cuda_blas.cc:1452] Unable to register cuBLAS factory: Attempting to register factory for plugin cuBLAS when one has already been registered グラフの恩恵 TensorFlow でグラフを作成して実行する 直接の呼び出しとして、あるいはデコレーターとして。 通常の関数を入力として取って、Aを返します。 で。 is a Python callable that builds TensorFlow graphs from the Python function. あなたは Python 関数から TensorFlow グラフを作成します。 Pythonと同様に、 tf.function tf.function tf.types.experimental.PolymorphicFunction A PolymorphicFunction tf.function # Define a Python function. def a_regular_function(x, y, b): x = tf.matmul(x, y) x = x + b return x # The Python type of `a_function_that_uses_a_graph` will now be a # `PolymorphicFunction`. a_function_that_uses_a_graph = tf.function(a_regular_function) # Make some tensors. x1 = tf.constant([[1.0, 2.0]]) y1 = tf.constant([[2.0], [3.0]]) b1 = tf.constant(4.0) orig_value = a_regular_function(x1, y1, b1).numpy() # Call a `tf.function` like a Python function. tf_function_value = a_function_that_uses_a_graph(x1, y1, b1).numpy() assert(orig_value == tf_function_value) WARNING: All log messages before absl::InitializeLog() is called are written to STDERR I0000 00:00:1723685041.078349 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685041.081709 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685041.084876 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685041.088691 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685041.100124 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685041.103158 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685041.106072 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685041.109491 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685041.112991 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685041.115870 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685041.118785 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685041.122189 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.369900 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.372045 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.374040 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.376123 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.378174 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.380184 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.382098 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.384064 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.386002 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.387981 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.389902 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.391922 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.431010 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.433093 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.435050 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.437074 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.439053 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.441049 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.442965 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.444941 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.446890 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.450623 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.453482 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 I0000 00:00:1723685042.455908 10585 cuda_executor.cc:1015] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero. See more at https://github.com/torvalds/linux/blob/v6.0/Documentation/ABI/testing/sysfs-bus-pci#L344-L355 外側、A TensorFlow 操作を使用して書く通常の関数のように見えます。 しかし、それは ■ ベースの s behind one API (learn more in the セクション: This is how a グラフ実行の利点、例えば速度と展開性(参照)を提供することができます。 (上) tf.function 底下 非常に異なる PolymorphicFunction encapsulates several tf.Graph ポリモリズム tf.function グラフの利点 機能に適用する : tf.function その他のすべての機能が呼ばれる def inner_function(x, y, b): x = tf.matmul(x, y) x = x + b return x # Using the `tf.function` decorator makes `outer_function` into a # `PolymorphicFunction`. @tf.function def outer_function(x): y = tf.constant([[2.0], [3.0]]) b = tf.constant(4.0) return inner_function(x, y, b) # Note that the callable will create a graph that # includes `inner_function` as well as `outer_function`. outer_function(tf.constant([[1.0, 2.0]])).numpy() array([[12.]], dtype=float32) あなたが TensorFlow 1.x を使用した場合、あなたは決して設定する必要がないことに気付くでしょう。 または . Placeholder tf.Session Python 関数をグラフに変換する方法 TensorFlow で書くすべての関数には、組み込まれた TF 操作と Python 論理の組み合わせが含まれます。 ループ、ループ、 で、 で、 TensorFlowの操作が簡単にキャプチャされる一方で、 Python 特有の論理は、グラフの一部になるために追加のステップを踏み出さなければなりません。 オートグラフと呼ばれる図書館を使用します( Python コードをグラフ生成コードに変換する if-then break return continue tf.Graph tf.function tf.autograph def simple_relu(x): if tf.greater(x, 0): return x else: return 0 # Using `tf.function` makes `tf_simple_relu` a `PolymorphicFunction` that wraps # `simple_relu`. tf_simple_relu = tf.function(simple_relu) print("First branch, with graph:", tf_simple_relu(tf.constant(1)).numpy()) print("Second branch, with graph:", tf_simple_relu(tf.constant(-1)).numpy()) First branch, with graph: 1 Second branch, with graph: 0 あなたがグラフを直接見る必要があることは不可能ですが、あなたは正確な結果をチェックするために出力をチェックすることができます これらは読みやすいではありませんので、あまり注意して見る必要はありません! # This is the graph-generating output of AutoGraph. print(tf.autograph.to_code(simple_relu)) def tf__simple_relu(x): with ag__.FunctionScope('simple_relu', 'fscope', ag__.ConversionOptions(recursive=True, user_requested=True, optional_features=(), internal_convert_user_code=True)) as fscope: do_return = False retval_ = ag__.UndefinedReturnValue() def get_state(): return (do_return, retval_) def set_state(vars_): nonlocal do_return, retval_ (do_return, retval_) = vars_ def if_body(): nonlocal do_return, retval_ try: do_return = True retval_ = ag__.ld(x) except: do_return = False raise def else_body(): nonlocal do_return, retval_ try: do_return = True retval_ = 0 except: do_return = False raise ag__.if_stmt(ag__.converted_call(ag__.ld(tf).greater, (ag__.ld(x), 0), None, fscope), if_body, else_body, get_state, set_state, ('do_return', 'retval_'), 2) return fscope.ret(retval_, do_return) # This is the graph itself. print(tf_simple_relu.get_concrete_function(tf.constant(1)).graph.as_graph_def()) node { name: "x" op: "Placeholder" attr { key: "_user_specified_name" value { s: "x" } } attr { key: "dtype" value { type: DT_INT32 } } attr { key: "shape" value { shape { } } } } node { name: "Greater/y" op: "Const" attr { key: "dtype" value { type: DT_INT32 } } attr { key: "value" value { tensor { dtype: DT_INT32 tensor_shape { } int_val: 0 } } } } node { name: "Greater" op: "Greater" input: "x" input: "Greater/y" attr { key: "T" value { type: DT_INT32 } } } node { name: "cond" op: "StatelessIf" input: "Greater" input: "x" attr { key: "Tcond" value { type: DT_BOOL } } attr { key: "Tin" value { list { type: DT_INT32 } } } attr { key: "Tout" value { list { type: DT_BOOL type: DT_INT32 } } } attr { key: "_lower_using_switch_merge" value { b: true } } attr { key: "_read_only_resource_inputs" value { list { } } } attr { key: "else_branch" value { func { name: "cond_false_31" } } } attr { key: "output_shapes" value { list { shape { } shape { } } } } attr { key: "then_branch" value { func { name: "cond_true_30" } } } } node { name: "cond/Identity" op: "Identity" input: "cond" attr { key: "T" value { type: DT_BOOL } } } node { name: "cond/Identity_1" op: "Identity" input: "cond:1" attr { key: "T" value { type: DT_INT32 } } } node { name: "Identity" op: "Identity" input: "cond/Identity_1" attr { key: "T" value { type: DT_INT32 } } } library { function { signature { name: "cond_false_31" input_arg { name: "cond_placeholder" type: DT_INT32 } output_arg { name: "cond_identity" type: DT_BOOL } output_arg { name: "cond_identity_1" type: DT_INT32 } } node_def { name: "cond/Const" op: "Const" attr { key: "dtype" value { type: DT_BOOL } } attr { key: "value" value { tensor { dtype: DT_BOOL tensor_shape { } bool_val: true } } } } node_def { name: "cond/Const_1" op: "Const" attr { key: "dtype" value { type: DT_BOOL } } attr { key: "value" value { tensor { dtype: DT_BOOL tensor_shape { } bool_val: true } } } } node_def { name: "cond/Const_2" op: "Const" attr { key: "dtype" value { type: DT_INT32 } } attr { key: "value" value { tensor { dtype: DT_INT32 tensor_shape { } int_val: 0 } } } } node_def { name: "cond/Const_3" op: "Const" attr { key: "dtype" value { type: DT_BOOL } } attr { key: "value" value { tensor { dtype: DT_BOOL tensor_shape { } bool_val: true } } } } node_def { name: "cond/Identity" op: "Identity" input: "cond/Const_3:output:0" attr { key: "T" value { type: DT_BOOL } } } node_def { name: "cond/Const_4" op: "Const" attr { key: "dtype" value { type: DT_INT32 } } attr { key: "value" value { tensor { dtype: DT_INT32 tensor_shape { } int_val: 0 } } } } node_def { name: "cond/Identity_1" op: "Identity" input: "cond/Const_4:output:0" attr { key: "T" value { type: DT_INT32 } } } ret { key: "cond_identity" value: "cond/Identity:output:0" } ret { key: "cond_identity_1" value: "cond/Identity_1:output:0" } attr { key: "_construction_context" value { s: "kEagerRuntime" } } arg_attr { key: 0 value { attr { key: "_output_shapes" value { list { shape { } } } } } } } function { signature { name: "cond_true_30" input_arg { name: "cond_identity_1_x" type: DT_INT32 } output_arg { name: "cond_identity" type: DT_BOOL } output_arg { name: "cond_identity_1" type: DT_INT32 } } node_def { name: "cond/Const" op: "Const" attr { key: "dtype" value { type: DT_BOOL } } attr { key: "value" value { tensor { dtype: DT_BOOL tensor_shape { } bool_val: true } } } } node_def { name: "cond/Identity" op: "Identity" input: "cond/Const:output:0" attr { key: "T" value { type: DT_BOOL } } } node_def { name: "cond/Identity_1" op: "Identity" input: "cond_identity_1_x" attr { key: "T" value { type: DT_INT32 } } } ret { key: "cond_identity" value: "cond/Identity:output:0" } ret { key: "cond_identity_1" value: "cond/Identity_1:output:0" } attr { key: "_construction_context" value { s: "kEagerRuntime" } } arg_attr { key: 0 value { attr { key: "_output_shapes" value { list { shape { } } } } attr { key: "_user_specified_name" value { s: "x" } } } } } } versions { producer: 1882 min_consumer: 12 } ほとんどの時間、 特別な考慮なしで機能しますが、いくつかの警告があります。 ガイドはここで役立つことができ、そして、 . tf.function tf.function AutoGraph Reference Polymorphism: 1 たくさんのグラフ tf.function A 特定のタイプの入力(例えば、特定のタイプのテンサー)に特化しています。 あるいは同じ物体を ( ) tf.Graph dtype id() Aを呼ぶたびに 既存のグラフのいずれにも処理できない数値のセット(新しい数値の数値など) あるいは互換性のない形態)は、新しい形を作り出します。 新たな特性の特性は、Aの特性の特性 INPUTS が代表される。 , also referred to as the 新しい時についての詳細情報 生成され、どのようにコントロールされるか、そしてどのように 役に立つかもしれないので、こちらへ Section of the ガイド tf.function dtypes tf.Graph tf.Graph tf.types.experimental.FunctionType signature tf.Graph FunctionType トラッキングのルール より良いパフォーマンス with tf.function THE STORY THE この署名に該当するA で。 A を囲むワイヤレスとして考えられる . tf.function tf.Graph ConcreteFunction A ConcreteFunction tf.Graph @tf.function def my_relu(x): return tf.maximum(0., x) # `my_relu` creates new graphs as it observes different input types. print(my_relu(tf.constant(5.5))) print(my_relu([1, -1])) print(my_relu(tf.constant([3., -3.]))) tf.Tensor(5.5, shape=(), dtype=float32) tf.Tensor([1. 0.], shape=(2,), dtype=float32) tf.Tensor([3. 0.], shape=(2,), dtype=float32) If the 既に同じ入力タイプで呼ばれていますが、新しい入力を作成しません。 . tf.function tf.Graph # These two calls do *not* create new graphs. print(my_relu(tf.constant(-2.5))) # Input type matches `tf.constant(5.5)`. print(my_relu(tf.constant([-1., 1.]))) # Input type matches `tf.constant([3., -3.])`. tf.Tensor(0.0, shape=(), dtype=float32) tf.Tensor([0. 1.], shape=(2,), dtype=float32) 複数のグラフによってサポートされているため、a is (as the name "PolymorphicFunction" suggests) これにより、単一の入力タイプよりも多くの入力タイプをサポートできます。 それぞれを表現し、最適化できる。 より良いパフォーマンスのために tf.function polymorphic tf.Graph tf.Graph # There are three `ConcreteFunction`s (one for each graph) in `my_relu`. # The `ConcreteFunction` also knows the return type and shape! print(my_relu.pretty_printed_concrete_signatures()) Input Parameters: x (POSITIONAL_OR_KEYWORD): TensorSpec(shape=(), dtype=tf.float32, name=None) Output Type: TensorSpec(shape=(), dtype=tf.float32, name=None) Captures: None Input Parameters: x (POSITIONAL_OR_KEYWORD): List[Literal[1], Literal[-1]] Output Type: TensorSpec(shape=(2,), dtype=tf.float32, name=None) Captures: None Input Parameters: x (POSITIONAL_OR_KEYWORD): TensorSpec(shape=(2,), dtype=tf.float32, name=None) Output Type: TensorSpec(shape=(2,), dtype=tf.float32, name=None) Captures: None 利用 tf.function TF機能 これまで、あなたは単にPython関数をグラフに変換する方法を学びました デコレーションやラッパーとして、しかし実践では、 正しく動作することは困難かもしれません! 次のセクションでは、あなたはあなたのコードが期待通りに動作する方法を学びます。 . tf.function tf.function tf.function Graph execution vs. eager execution(グラフ執行) コード A デフォルトでは、熱心に、グラフとして両方実行できます。 コードをグラフとして実行する: tf.function tf.function @tf.function def get_MSE(y_true, y_pred): sq_diff = tf.pow(y_true - y_pred, 2) return tf.reduce_mean(sq_diff) y_true = tf.random.uniform([5], maxval=10, dtype=tf.int32) y_pred = tf.random.uniform([5], maxval=10, dtype=tf.int32) print(y_true) print(y_pred) tf.Tensor([2 0 7 2 3], shape=(5,), dtype=int32) tf.Tensor([9 9 1 1 5], shape=(5,), dtype=int32) get_MSE(y_true, y_pred) あなたのことを確認するために グラフは、同等のPython関数と同じ計算を行っているので、それを熱心に実行させることができます。 これは、その変換である。 通常のコードを実行する代わりに、グラフを作成して実行する能力。 tf.function tf.config.run_functions_eagerly(True) turns off tf.function tf.config.run_functions_eagerly(True) get_MSE(y_true, y_pred) # Don't forget to set it back when you are done. tf.config.run_functions_eagerly(False) しかし、 グラフと熱心な実行の下で異なる振る舞いができる(Python) 機能は、これらの2つのモードがどのように異なっているかを示す一例です。 あなたの役割を表明し、繰り返し呼びかけます。 tf.function print print @tf.function def get_MSE(y_true, y_pred): print("Calculating MSE!") sq_diff = tf.pow(y_true - y_pred, 2) return tf.reduce_mean(sq_diff) 印刷されているものをご覧ください: error = get_MSE(y_true, y_pred) error = get_MSE(y_true, y_pred) error = get_MSE(y_true, y_pred) Calculating MSE! 出力はびっくりですか? たとえ一度だけ印刷されたとしても、 タイムス get_MSE 3位 説明するには、The 宣言が執行されたとき オリジナルコードを実行して、トレッキングと呼ばれるプロセスでグラフを作成します(トレッキング) Section of the ガイド グラフに収録されていないので、そのグラフは3つの呼び出しすべてで実行されます。 . print tf.function 追跡 tf.function Tracing captures the TensorFlow operations into a graph, and print without ever running the Python code again Sanity チェックとして、グラフの実行をオフにし、比較してみましょう: # Now, globally set everything to run eagerly to force eager execution. tf.config.run_functions_eagerly(True) # Observe what is printed below. error = get_MSE(y_true, y_pred) error = get_MSE(y_true, y_pred) error = get_MSE(y_true, y_pred) Calculating MSE! Calculating MSE! Calculating MSE! tf.config.run_functions_eagerly(False) A は , and there are other differences that you should be aware of when converting a function into a . Learn more in the Section of the ガイド print Python サイド効果 tf.function 制限 より良いパフォーマンス with tf.function 注: eager と graph の両方で値を印刷したい場合は、代わりに tf.print を使用します。 注: eager と graph の両方で値を印刷したい場合は、代わりに tf.print を使用します。 非厳格な執行 Graph execution only executes the operations necessary to produce the observable effects, which include: Graph execution only executes the operations necessary to produce the observable effects. Graph execution only executes the operations necessary to produce the observable effects, which include: 関数の返す値 Documented well-known side-effects such as: Input/output operations, like tf.print Debugging operations, such as the assert functions in tf.debugging Mutations of tf.Variable この行動は一般に「非厳格な実行」と呼ばれ、プログラムのすべての操作を通過する熱心な実行とは異なります。 特に、ランタイムエラーのチェックは観察可能な効果として数えられません. If an operation is skipped because it is unnecessary, it cannot raise any runtime errors. 次の例では、「不必要な」操作 グラフ実行中に省略されるので、ランタイムエラー グラフを実行する際に発生するエラーに依存しないでください。 tf.gather InvalidArgumentError def unused_return_eager(x): # Get index 1 will fail when `len(x) == 1` tf.gather(x, [1]) # unused return x try: print(unused_return_eager(tf.constant([0.0]))) except tf.errors.InvalidArgumentError as e: # All operations are run during eager execution so an error is raised. print(f'{type(e).__name__}: {e}') tf.Tensor([0.], shape=(1,), dtype=float32) @tf.function def unused_return_graph(x): tf.gather(x, [1]) # unused return x # Only needed operations are run during graph execution. The error is not raised. print(unused_return_graph(tf.constant([0.0]))) tf.Tensor([0.], shape=(1,), dtype=float32) ベストプラクティス tf.function 行動に慣れるのに時間がかかるかもしれません。 早く始めるには、初めてのユーザーは、おもちゃの装飾機能で遊ぶべきです。 熱心からグラフ実行へと向かう経験を得るために。 tf.function @tf.function グラフ対応のTensorFlowプログラムを書くのに最善の賭けかもしれません。 デザイン for tf.function tf.config.run_functions_eagerly を使用して eager と graph 実行の間を早めに頻繁に切り替えて、2 つのモードが異なる場合を特定します。 tf.keras.layers、tf.keras.Models、tf.keras.optimizers などの tf.variable を使用するオブジェクトにも同じことが適用されます。 tf.Variables および Keras オブジェクトを除く外部 Python 変数に依存する書き込み関数を避ける。 入力として tensor や他の TensorFlow タイプを用いる関数を書くことを好む. 他のオブジェクトタイプに転送できますが、注意してください! 詳細は tf.function ガイドの Python オブジェクトによって異なります。 例えば、トレーニングステップ全体またはトレーニングループ全体を装飾する。 スピードアップを見る 通常、あなたのコードのパフォーマンスを改善しますが、スピードアップの量は、あなたが実行している計算の種類に依存します。 tf.function x = tf.random.uniform(shape=[10, 10], minval=-1, maxval=2, dtype=tf.dtypes.int32) def power(x, y): result = tf.eye(10, dtype=tf.dtypes.int32) for _ in range(y): result = tf.matmul(x, result) return result print("Eager execution:", timeit.timeit(lambda: power(x, 100), number=1000), "seconds") Eager execution: 4.1027931490000356 seconds power_as_graph = tf.function(power) print("Graph execution:", timeit.timeit(lambda: power_as_graph(x, 100), number=1000), "seconds") Graph execution: 0.7951284349999241 seconds トレーニングループを加速するために一般的に使用され、あなたはトレーニングループでそれについてもっと知ることができます。 Section of the キャラガイドで tf.function あなたのトレーニングステップを加速 tf.function トレーニング ループ from scratch 注: tf.function(jit_compile=True) を試すこともできますが、特にコードが TensorFlow コントロール フローで重く、多くの小さなテネサーを使用している場合は、より大きなパフォーマンスを上げることができます。 あなたも試すことができます♪ 特にあなたのコードが TensorFlow コントロール フローに重く、多くの小さなテンサーを使用している場合は、より大きなパフォーマンスの向上のために。 Section of the . Note: tf.function(jit_compile=True) tf.function(jitcompile=True) XLA 概要 XLA 概要 パフォーマンスとトランプ グラフはあなたのコードを加速することができますが、それらを作成するプロセスにはいくつかのオバヘッドがあります. For some functions, the creation of the graph takes more time than the execution of the graph. グラフの作成にはグラフの実行よりも時間がかかります。 This investment is usually quickly paid back with the performance boost of subsequent executions, but it's important to be aware that the first few steps of any large model training can be slower due to tracing. モデルがどれだけ大きいかにかかわらず、頻繁に追跡を避けたいと思います。 セクション、The ガイドは、入力仕様を設定する方法と、トレッキングを避けるためにトレッキングアルゴリズムを使用する方法について説明します. If you find you are getting unusually poor performance, it is a good idea to check if you are retracing accidentally. 追跡コントロール tf.function いつA トラッキング? TF機能 TF機能 あなたのことを知るために、あなたの トレッキング 追加 A 原則として、指のルールとして、 will execute the 追跡するたびに発言する。 tf.function print tf.function print @tf.function def a_function_with_python_side_effect(x): print("Tracing!") # An eager-only side effect. return x * x + tf.constant(2) # This is traced the first time. print(a_function_with_python_side_effect(tf.constant(2))) # The second time through, you won't see the side effect. print(a_function_with_python_side_effect(tf.constant(3))) Tracing! tf.Tensor(6, shape=(), dtype=int32) tf.Tensor(11, shape=(), dtype=int32) # This retraces each time the Python argument changes, # as a Python argument could be an epoch count or other # hyperparameter. print(a_function_with_python_side_effect(2)) print(a_function_with_python_side_effect(3)) Tracing! tf.Tensor(6, shape=(), dtype=int32) Tracing! tf.Tensor(11, shape=(), dtype=int32) 新しいPythonの論点は常に新しいグラフの作成を引き起こし、したがって追加のトラッキングを引き起こします。 次のステップ You can learn more about API 参照ページの上で、およびそれに従って、 ガイド tf.function より良いパフォーマンス with tf.function 最初はTensorFlowのウェブサイトに掲載され、この記事はここに新しいタイトルの下に表示され、CC BY 4.0でライセンスを受けています。 最初はTensorFlowのウェブサイトに掲載され、この記事はここに新しいタイトルの下に表示され、CC BY 4.0でライセンスを受けています。 TensorFlowについて TensorFlowについて