data

Author: zlzhang0122

.idea/workspace.xml

@@ -13,6 +13,13 @@
  #. 下游节点向上游请求数据;
  #. 通过Channel在各个TaskManager之间传递数据.
 
+数据在节点之间传递的具体流程如下图:
+
+ .. image:: image/shuffle-data.png
+
+ * 数据在operator处理完成后,先交给RecordWriter,每条记录都要选择一个下游节点,所以要经过ChannelSelector;
+ * 在每个channel都有一个serializer,把这条Record序列化为ByteBuffer;
+
 Lists can be unnumbered like:
 
  * Item Foo

docs/_build/doctrees/dataDeliver.doctree

@@ -168,6 +168,14 @@ <h2>数据传递流程<a class="headerlink" href="#id2" title="Permalink to this
 <li><p>通过Channel在各个TaskManager之间传递数据.</p></li>
 </ol>
 </div></blockquote>
+<p>数据在节点之间传递的具体流程如下图:</p>
+<blockquote>
+<div><img alt="_images/shuffle-data.png" src="_images/shuffle-data.png" />
+<ul class="simple">
+<li><p>数据在operator处理完成后,先交给RecordWriter,每条记录都要选择一个下游节点,所以要经过ChannelSelector;</p></li>
+<li><p>在每个channel都有一个serializer,把这条Record序列化为ByteBuffer;</p></li>
+</ul>
+</div></blockquote>
 <p>Lists can be unnumbered like:</p>
 <blockquote>
 <div><ul class="simple">

docs/_build/doctrees/environment.pickle

@@ -13,6 +13,13 @@
  #. 下游节点向上游请求数据;
  #. 通过Channel在各个TaskManager之间传递数据.
 
+数据在节点之间传递的具体流程如下图:
+
+ .. image:: image/shuffle-data.png
+
+ * 数据在operator处理完成后,先交给RecordWriter,每条记录都要选择一个下游节点,所以要经过ChannelSelector;
+ * 在每个channel都有一个serializer,把这条Record序列化为ByteBuffer;
+
 Lists can be unnumbered like:
 
  * Item Foo