老铁们，大家好，相信还有很多朋友对于阿里云网站源码和Tensorflow源码解析3 — TensorFlow核心对象 – Graph的相关问题不太懂，没关系，今天就由我来为大家分享分享阿里云网站源码以及Tensorflow源码解析3 — TensorFlow核心对象 – Graph的问题，文章篇幅可能偏长，希望可以帮助到大家，下面一起来看看吧！
1Graph概述
计算图Graph是TensorFlow的核心对象，TensorFlow的运行流程基本都是围绕它进行的。包括图的构建、传递、剪枝、按worker分裂、按设备二次分裂、执行、注销等。因此理解计算图Graph对掌握TensorFlow运行尤为关键。
2默认Graph
默认图替换
之前讲解Session的时候就说过，一个Session只能run一个Graph，但一个Graph可以运行在多个Session中。常见情况是，session会运行全局唯一的隐式的默认的Graph，operation也是注册到这个Graph中。
也可以显示创建Graph，并调用as_default()使他替换默认Graph。在该上下文管理器中创建的op都会注册到这个graph中。退出上下文管理器后，则恢复原来的默认graph。一般情况下，我们不用显式创建Graph，使用系统创建的那个默认Graph即可。
printtf.get_default_graph()\nwithtf.Graph().as_default()asg:\nprinttf.get_default_graph()isg\nprinttf.get_default_graph()\nprinttf.get_default_graph()\n
输出如下
<tensorflow.python.framework.ops.Graphobjectat0x106329fd0>\nTrue\n<tensorflow.python.framework.ops.Graphobjectat0x18205cc0d0>\n<tensorflow.python.framework.ops.Graphobjectat0x10d025fd0>\n
由此可见，在上下文管理器中，当前线程的默认图被替换了，而退出上下文管理后，则恢复为了原来的默认图。
默认图管理
默认graph和默认session一样，也是线程作用域的。当前线程中，永远都有且仅有一个graph为默认图。TensorFlow同样通过栈来管理线程的默认graph。
@tf_export(“Graph”)\nclassGraph(object):\n栈式管理，pushpop\n@tf_contextlib.contextmanager\ndefget_controller(self,default):\ntry:\ncontext.context_stack.push(default.building_function,default.as_default)\nfinally:\ncontext.context_stack.pop()\n
替换默认图采用了堆栈的管理方式，通过pushpop操作进行管理。获取默认图的操作如下，通过默认graph栈_default_graph_stack来获取。
@tf_export(“get_default_graph”)\ndefget_default_graph():\nreturn_default_graph_stack.get_default()\n
下面来看_default_graph_stack的创建
_default_graph_stack=_DefaultGraphStack()\nclass_DefaultGraphStack(_DefaultStack):\ndef__init__(self):\n和默认session栈一样，本质上也是一个list\nself.stack=[]\n
_default_graph_stack的创建如上所示，最终和默认session栈一样，本质上也是一个list。
3前端Graph数据结构
Graph数据结构
理解一个对象，先从它的数据结构开始。我们先来看Python前端中，Graph的数据结构。Graph主要的成员变量是Operation和Tensor。Operation是Graph的节点，它代表了运算算子。Tensor是Graph的边，它代表了运算数据。
@tf_export(“Graph”)\nclassGraph(object):\ndef__init__(self):\nop相关数据。\nGUARDED_BY(self._lock)\nself._next_id_counter=0同时也可以通过name来快速索引op，故创建了_nodes_by_name字典\nself._nodes_by_name=dict()GUARDED_BY(self._lock)\n\n处理tensor的placeholder\nself._handle_feeders={}\n处理tensor的move操作\nself._handle_movers={}\ngraph被设置为final后，就是只读的了，不能添加op了。\nself._check_not_finalized()\n\n将op以id和name分别构建字典，添加到_nodes_by_id和_nodes_by_name字典中，方便后续快速索引\nself._nodes_by_id[op._id]=op\nself._nodes_by_name[op.name]=op\nself._version=max(self._version,op._id)\n
GraphKeys图分组
每个Operation节点都有一个特定的标签，从而实现节点的分类。相同标签的节点归为一类，放到同一个Collection中。标签是一个唯一的GraphKey，GraphKey被定义在类GraphKeys中，如下
@tf_export(“GraphKeys”)\nclassGraphKeys(object):\nGLOBAL_VARIABLES=”variables”\nQUEUE_RUNNERS=”queue_runners”\nSAVERS=”savers”\nWEIGHTS=”weights”\nBIASES=”biases”\nACTIVATIONS=”activations”\nUPDATE_OPS=”update_ops”\nLOSSES=”losses”\nTRAIN_OP=”train_op”\ngraph节点命名空间\ng=tf.get_default_graph()\nwithg.name_scope(“scope1”):\nc=tf.constant(“hello,world”,name=”c”)\nprintc.op.name\nwithg.name_scope(“scope2”):\nc=tf.constant(“hello,world”,name=”c”)\nprintc.op.name\n
输出如下
scope1/c\nscope1/scope2/c#内层的scope会继承外层的，类似于栈，形成层次化管理\n
4后端Graph数据结构
Graph
先来看graph.h文件中的Graph类的定义，只看关键代码
classGraph{\nprivate:\n//所有已知的op计算函数的注册表\nFunctionLibraryDefinitionops_;\n//GraphDef版本号\nconststd::unique_ptr<VersionDef>versions_;\n//节点node列表，通过id来访问\nstd::vector<Node*>nodes_;\n//node个数\nint64num_nodes_=0;\n//边edge列表，通过id来访问\nstd::vector<Edge*>edges_;\n//graph中非空edge的数目\nintnum_edges_=0;\n//已分配了内存，但还没使用的node和edge\nstd::vector<Node*>free_nodes_;\nstd::vector<Edge*>free_edges_;\n}\n
后端中的Graph主要成员也是节点node和边edge。节点node为计算算子Operation，边为算子所需要的数据，或者代表节点间的依赖关系。这一点和Python中的定义相似。边Edge的持有它的源节点和目标节点的指针，从而将两个节点连接起来。下面看Edge类的定义。
Edge
classEdge{\nprivate:\nEdge(){}\nfriendclassEdgeSetTest;\nfriendclassGraph;\n//源节点,边的数据就来源于源节点的计算。源节点是边的生产者\nNode*src_;\n//目标节点，边的数据提供给目标节点进行计算。目标节点是边的消费者\nNode*dst_;\n//边id，也就是边的标识符\nintid_;\n//表示当前边为源节点的第src_output_条边。源节点可能会有多条输出边\nintsrc_output_;\n//表示当前边为目标节点的第dst_input_条边。目标节点可能会有多条输入边。\nintdst_input_;\n};\n
Edge既可以承载tensor数据，提供给节点Operation进行运算，也可以用来表示节点之间有依赖关系。对于表示节点依赖的边，其src_output_,dst_input_均为-1，此时边不承载任何数据。
下面来看Node类的定义。
Node
classNode{\npublic:\n//NodeDef,节点算子Operation的信息，比如op分配到哪个设备上了，op的名字等，运行时有可能变化。\nconstNodeDef&def()const;\n\n//OpDef,节点算子Operation的元数据，不会变的。比如Operation的入参列表，出参列表等\nconstOpDef&op_def()const;\nprivate:\n//输入边，传递数据给节点。可能有多条\nEdgeSetin_edges_;\n//输出边，节点计算后得到的数据。可能有多条\nEdgeSetout_edges_;\n}\n
节点Node中包含的主要数据有输入边和输出边的集合，从而能够由Node找到跟他关联的所有边。Node中还包含NodeDef和OpDef两个成员。NodeDef表示节点算子的信息，运行时可能会变，创建Node时会new一个NodeDef对象。OpDef表示节点算子的元信息，运行时不会变，创建Node时不需要newOpDef，只需要从OpDef仓库中取出即可。因为元信息是确定的，比如Operation的入参个数等。
由Node和Edge，即可以组成图Graph，通过任何节点和任何边，都可以遍历完整图。Graph执行计算时，按照拓扑结构，依次执行每个Node的op计算，最终即可得到输出结果。入度为0的节点，也就是依赖数据已经准备好的节点，可以并发执行，从而提高运行效率。
系统中存在默认的Graph，初始化Graph时，会添加一个Source节点和Sink节点。Source表示Graph的起始节点，Sink为终止节点。Source的id为0，Sink的id为1，其他节点id均大于1.
5Graph运行时生命周期
Graph是TensorFlow的核心对象，TensorFlow的运行均是围绕Graph进行的。运行时Graph大致经过了以下阶段
图构建：client端用户将创建的节点注册到Graph中，一般不需要显示创建Graph，使用系统创建的默认的即可。图发送：client通过session.run()执行运行时，将构建好的整图序列化为GraphDef后，传递给master图剪枝：master先反序列化拿到Graph，然后根据session.run()传递的fetches和feeds列表，反向遍历全图fullgraph，实施剪枝，得到最小依赖子图。图分裂：master将最小子图分裂为多个GraphPartition，并注册到多个worker上。一个worker对应一个GraphPartition。图二次分裂：worker根据当前可用硬件资源，如CPUGPU，将GraphPartition按照op算子设备约束规范（例如tf.device(’/cpu:0’)，二次分裂到不同设备上。每个计算设备对应一个GraphPartition。图运行：对于每一个计算设备，worker依照op在kernel中的实现，完成op的运算。设备间数据通信可以使用send/recv节点，而worker间通信，则使用GRPC或RDMA协议。
这些阶段根据TensorFlow运行时的不同，会进行不同的处理。运行时有两种，本地运行时和分布式运行时。故Graph生命周期到后面分析本地运行时和分布式运行时的时候，再详细讲解。
作者：杨易
关于阿里云网站源码，Tensorflow源码解析3 — TensorFlow核心对象 – Graph的介绍到此结束，希望对大家有所帮助。