apply v1.11, pytorch/tutorials@6e21cf2 (#445)

Author: 9bow

.github/ISSUE_TEMPLATE/1_TRANSLATE_REQUEST.md

@@ -15,4 +15,4 @@ _(반드시 지키셔야 하는 일정이 아닙니다 - 일정이 너무 늦어
 ## 관련 이슈
 _현재 번역 요청 / 진행 내역을 보기 위해 각 버전의 메인 이슈를 참조합니다._ <br />
 _(특별한 일이 없다면 변경하지 않으셔도 됩니다.)_
-* 관련 이슈: #387 (v1.10)
+* 관련 이슈: #445 (v1.11)

README.md

@@ -4,7 +4,7 @@
 
 PyTorch에서 제공하는 튜토리얼의 한국어 번역을 위한 저장소입니다.\
 번역의 결과물은 [https://tutorials.pytorch.kr](https://tutorials.pytorch.kr)에서 확인하실 수 있습니다. (번역을 진행하며 **불규칙적으로** 업데이트합니다.)\
-현재 버전의 번역 / 변경 관련 이슈는 [#387 이슈](https://github.com/PyTorchKorea/tutorials-kr/issues/387)를 참고해주세요.
+현재 버전의 번역 / 변경 관련 이슈는 [#445 이슈](https://github.com/PyTorchKorea/tutorials-kr/issues/445)를 참고해주세요.
 
 ## 기여하기
 
@@ -22,20 +22,12 @@ PyTorch에서 제공하는 튜토리얼의 한국어 번역을 위한 저장소
 
 ## 원문
 
-현재 PyTorch v1.10.1 튜토리얼([pytorch/tutorials@444fbd1](https://github.com/pytorch/tutorials/commit/444fbd16f2ddf9967baf8b06e83867a141b071c2) 기준) 번역이 진행 중입니다.
+현재 PyTorch v1.11 튜토리얼([pytorch/tutorials@6e21cf2](https://github.com/pytorch/tutorials/commit/6e21cf2e81beb8b4dddc9713be0c8746087fd59e) 기준) 번역이 진행 중입니다.
 
 최신 버전의 튜토리얼(공식, 영어)은 [PyTorch tutorials 사이트](https://pytorch.org/tutorials) 및 [PyTorch tutorials 저장소](https://github.com/pytorch/tutorials)를 참고해주세요.
 
 ## 과거 버전
 
-### PyTorch v1.0 이상의 튜토리얼 보기
-
-v1.0 이후 번역은 별도 저장소로 관리하지 않습니다. [이 저장소의 Release 메뉴](https://github.com/PyTorchKorea/tutorials-kr/releases)를 확인해주세요. \
-`버전-base`(예. `1.9-base`)는 해당 버전을 시작할 때의 릴리즈이고, `버전-latest`(예. `1.9-latest`)는 해당 버전의 마지막 릴리즈입니다.
-
-해당 릴리즈의 문서를 내려받으신 후 빌드하시면 해당 버전의 문서를 확인하실 수 있습니다. \
-빌드 방법은 [기여하기 문서의 `2-5. (내 컴퓨터에서) 결과 확인하기`](https://github.com/PyTorchKorea/tutorials-kr/blob/master/CONTRIBUTING.md#2-5-내-컴퓨터에서-결과-확인하기) 부분을 참고해주세요.
-
 ### PyTorch v1.0 이전(v0.3 & v0.4)의 튜토리얼 보기
 
 아래 링크에서 과거 버전의 튜토리얼 번역을 확인하실 수 있습니다. 현재는 번역이 이뤄지고 있지 않습니다.
@@ -45,6 +37,14 @@ v1.0 이후 번역은 별도 저장소로 관리하지 않습니다. [이 저장
   | 0.4.1  | [PyTorch-tutorials-kr-0.4](https://9bow.github.io/PyTorch-tutorials-kr-0.4) | [GitHub 저장소](https://github.com/PyTorchKorea/tutorials-kr-0.4) |
   | 0.3.1  | [PyTorch-tutorials-kr-0.3.1](https://9bow.github.io/PyTorch-tutorials-kr-0.3.1) | [GitHub 저장소](https://github.com/PyTorchKorea/tutorials-kr-0.3.1) |
 
+### PyTorch v1.0 이상의 튜토리얼 보기
+
+v1.0 이후 번역은 별도 저장소로 관리하지 않습니다. [이 저장소의 Release 메뉴](https://github.com/PyTorchKorea/tutorials-kr/releases)를 확인해주세요. \
+`버전-base`(예. `1.9-base`)는 해당 버전을 시작할 때의 릴리즈이고, `버전-latest`(예. `1.9-latest`)는 해당 버전의 마지막 릴리즈입니다.
+
+해당 릴리즈의 문서를 내려받으신 후 빌드하시면 해당 버전의 문서를 확인하실 수 있습니다. \
+빌드 방법은 [기여하기 문서의 `2-5. (내 컴퓨터에서) 결과 확인하기`](https://github.com/PyTorchKorea/tutorials-kr/blob/master/CONTRIBUTING.md#2-5-내-컴퓨터에서-결과-확인하기) 부분을 참고해주세요.
+
 ---
-This is a project to translate [pytorch/tutorials@444fbd1](https://github.com/pytorch/tutorials/commit/444fbd16f2ddf9967baf8b06e83867a141b071c2) into Korean.
+This is a project to translate [pytorch/tutorials@6e21cf2](https://github.com/pytorch/tutorials/commit/6e21cf2e81beb8b4dddc9713be0c8746087fd59e) into Korean.
 For the latest version, please visit to the [official PyTorch tutorials repo](https://github.com/pytorch/tutorials).

_static/img/distributed/DDP_memory.gif

@@ -206,6 +206,27 @@ into C++. Our primary datatype for all computations will be
 also that we can include ``<iostream>`` or *any other C or C++ header* -- we have
 the full power of C++11 at our disposal.
 
+Note that CUDA-11.5 nvcc will hit internal compiler error while parsing torch/extension.h on Windows.
+To workaround the issue, move python binding logic to pure C++ file.
+Example use:
+
+.. code-block:: cpp
+
+  #include <ATen/ATen.h>
+  at::Tensor SigmoidAlphaBlendForwardCuda(....)
+
+Instead of:
+
+.. code-block:: cpp
+
+  #include <torch/extension.h>
+  torch::Tensor SigmoidAlphaBlendForwardCuda(...)
+
+Currently open issue for nvcc bug `here
+<https://github.com/pytorch/pytorch/issues/69460>`_.
+Complete workaround code example `here
+<https://github.com/facebookresearch/pytorch3d/commit/cb170ac024a949f1f9614ffe6af1c38d972f7d48>`_. 
+
 Forward Pass
 ************
 
@@ -497,7 +518,7 @@ duration::
       (new_h.sum() + new_C.sum()).backward()
       backward += time.time() - start
 
-  print('Forward: {:.3f} us | Backward {:.3f} us'.format(forward * 1e6/1e5, backward * 1e6/1e5))
+  print('Forward: {:.3f} s | Backward {:.3f} s'.format(forward, backward))
 
 If we run this code with the original LLTM we wrote in pure Python at the start
 of this post, we get the following numbers (on my machine)::
@@ -667,7 +688,7 @@ We'll start with the C++ file, which we'll call ``lltm_cuda.cpp``, for example:
 
   // C++ interface
 
-  #define CHECK_CUDA(x) TORCH_CHECK(x.type().is_cuda(), #x " must be a CUDA tensor")
+  #define CHECK_CUDA(x) TORCH_CHECK(x.device().is_cuda(), #x " must be a CUDA tensor")
   #define CHECK_CONTIGUOUS(x) TORCH_CHECK(x.is_contiguous(), #x " must be contiguous")
   #define CHECK_INPUT(x) CHECK_CUDA(x); CHECK_CONTIGUOUS(x)
 

_static/img/distributed/FSDP_autowrap.gif

@@ -4,7 +4,7 @@
 
 **Author**: `Pritam Damania <https://github.com/pritamdamania87>`_
   **번역**: `백선희 <https://github.com/spongebob03>`_
-  
+
 이 튜토리얼은 `분산 데이터 병렬처리(Distributed Data Parallel) <https://pytorch.org/docs/stable/generated/torch.nn.parallel.DistributedDataParallel.html>`__ 와
 `병렬 처리 파이프라인 <https://pytorch.org/docs/stable/pipeline.html>`__
 를 사용하여 여러 GPU에 걸친 거대한 트랜스포머(Transformer) 모델을 어떻게 학습시키는지 보여줍니다.
@@ -26,7 +26,7 @@
 #
 
 ######################################################################
-# ``PositionalEncoding`` 모듈은 시퀀스에서 토큰의 상대적, 절대적 위치에 대한 
+# ``PositionalEncoding`` 모듈은 시퀀스에서 토큰의 상대적, 절대적 위치에 대한
 # 몇몇 정보를 주입합니다.
 # 위치 인코딩은 임베딩과 같은 차원을 가지므로
 # 둘을 합칠 수 있습니다. 여기서, 주파수가 다른 ``sine`` 과 ``cosine`` 함수를
@@ -61,10 +61,10 @@ def forward(self, x):
 
 
 ######################################################################
-# 이번 튜토리얼에서는, 트랜스포머 모델을 두 개의 GPU에 걸쳐서 나누고  
+# 이번 튜토리얼에서는, 트랜스포머 모델을 두 개의 GPU에 걸쳐서 나누고
 # 병렬 처리 파이프라인으로 학습시켜 보겠습니다. 추가로,
 # `분산 데이터 병렬 처리 <https://pytorch.org/docs/stable/generated/torch.nn.parallel.DistributedDataParallel.html>`__
-# 를 사용하여 이 파이프라인의 두 복제를 훈련시킵니다. 한 프로세스는 
+# 를 사용하여 이 파이프라인의 두 복제를 훈련시킵니다. 한 프로세스는
 # GPUs 0, 1에 거쳐 파이프를 구동하고 다른 프로세스는 GPUs 2, 3에서 파이프를 구동합니다. 그 다음, 이 두
 # 프로세스는 분산 데이터 병렬처리로 두 복제본(replica)을 학습시킵니다.
 # 모델은 바로 `nn.Transformer 와 TorchText 로 시퀀스-투-시퀀스(Sequence-to-Sequence) 모델링하기
@@ -138,9 +138,10 @@ def run_worker(rank, world_size):
 # ---------------------------
 #
 
-
 ######################################################################
 # 학습 프로세스는 ``torchtext`` 의 Wikitext-2 데이터셋을 사용합니다.
+# torchtext 데이터셋에 접근하기 전에, https://github.com/pytorch/data 을 참고하여 torchdata를
+# 설치하시기 바랍니다.
 # 단어 오브젝트는 훈련 데이터셋으로 만들어지고, 토큰을 텐서(tensor)로 수치화하는데 사용됩니다.
 # 시퀀스 데이터로부터 시작하여, ``batchify()`` 함수는 데이터셋을 열(column)들로 정리하고,
 # ``batch_size`` 사이즈의 배치들로 나눈 후에 남은 모든 토큰을 버립니다.
@@ -223,7 +224,7 @@ def batchify(data, bsz, rank, world_size, is_train=False):
 #
 # .. image:: ../_static/img/transformer_input_target.png
 #
-# 청크가 차원 0에 속하며 
+# 청크가 차원 0에 속하며
 # 트랜스포머 모델의 ``S`` 차원과 일치한다는 것을 유의해야 합니다.
 # 배치 차원 ``N`` 은 1 차원에 해당합니다.
 #
@@ -246,7 +247,7 @@ def get_batch(source, i):
 ######################################################################
 # 병렬 처리 파이프라인을 활용한 대형 트랜스포머 모델 학습을 보이기 위해,
 # 트랜스포머 계층 규모를 적절히 확장시킵니다.
-# 4096차원의 임베딩 벡터, 4096의 은닉 사이즈, 16개의 어텐션 헤드(attention head)와 총 8 개의 
+# 4096차원의 임베딩 벡터, 4096의 은닉 사이즈, 16개의 어텐션 헤드(attention head)와 총 8 개의
 # 트랜스포머 계층 (``nn.TransformerEncoderLayer``)를 사용합니다. 이는 최대
 # **~1 억** 개의 파라미터를 갖는 모델을 생성합니다.
 #

_static/img/distributed/FSDP_memory.gif

@@ -265,7 +265,7 @@ def plot_kaldi_pitch(waveform, sample_rate, pitch, nfcc):
 # Mel Filter Bank
 # ---------------
 #
-# ``torchaudio.functional.create_fb_matrix`` generates the filter bank
+# ``torchaudio.functional.melscale_fbanks`` generates the filter bank
 # for converting frequency bins to mel-scale bins.
 #
 # Since this function does not require input audio/features, there is no
@@ -277,7 +277,7 @@ def plot_kaldi_pitch(waveform, sample_rate, pitch, nfcc):
 n_mels = 64
 sample_rate = 6000
 
-mel_filters = F.create_fb_matrix(
+mel_filters = F.melscale_fbanks(
     int(n_fft // 2 + 1),
     n_mels=n_mels,
     f_min=0.,

_static/img/distributed/fsdp_workflow.png

@@ -59,8 +59,8 @@
 # 에서 찾아볼 수 있습니다.
 #
 
-print('Gradient function for z =', z.grad_fn)
-print('Gradient function for loss =', loss.grad_fn)
+print(f"Gradient function for z = {z.grad_fn}")
+print(f"Gradient function for loss = {loss.grad_fn}")
 
 ######################################################################
 # 변화도(Gradient) 계산하기
@@ -185,12 +185,12 @@
 inp = torch.eye(5, requires_grad=True)
 out = (inp+1).pow(2)
 out.backward(torch.ones_like(inp), retain_graph=True)
-print("First call\n", inp.grad)
+print(f"First call\n{inp.grad}")
 out.backward(torch.ones_like(inp), retain_graph=True)
-print("\nSecond call\n", inp.grad)
+print(f"\nSecond call\n{inp.grad}")
 inp.grad.zero_()
 out.backward(torch.ones_like(inp), retain_graph=True)
-print("\nCall after zeroing gradients\n", inp.grad)
+print(f"\nCall after zeroing gradients\n{inp.grad}")
 
 
 ######################################################################

_static/img/thumbnails/cropped/Customize-Process-Group-Backends-Using-Cpp-Extensions.png

@@ -36,8 +36,8 @@
 # `torch.cuda <https://pytorch.org/docs/stable/notes/cuda.html>`_ 를 사용할 수 있는지
 # 확인하고 그렇지 않으면 CPU를 계속 사용합니다.
 
-device = 'cuda' if torch.cuda.is_available() else 'cpu'
-print(f'Using {device} device')
+device = "cuda" if torch.cuda.is_available() else "cpu"
+print(f"Using {device} device")
 
 ##############################################
 # 클래스 정의하기
@@ -176,7 +176,7 @@ def forward(self, x):
 #
 
 
-print("Model structure: ", model, "\n\n")
+print(f"Model structure: {model}\n\n")
 
 for name, param in model.named_parameters():
     print(f"Layer: {name} | Size: {param.size()} | Values : {param[:2]} \n")

_static/img/thumbnails/cropped/Getting-Started-with-FSDP.png

@@ -161,7 +161,7 @@ def __getitem__(self, idx):
 
 
 def __init__(self, annotations_file, img_dir, transform=None, target_transform=None):
-    self.img_labels = pd.read_csv(annotations_file, names=['file_name', 'label'])
+    self.img_labels = pd.read_csv(annotations_file)
     self.img_dir = img_dir
     self.transform = transform
     self.target_transform = target_transform

_static/img/thumbnails/cropped/realtime_rpi.png

@@ -25,8 +25,7 @@
 from torch import nn
 from torch.utils.data import DataLoader
 from torchvision import datasets
-from torchvision.transforms import ToTensor, Lambda, Compose
-import matplotlib.pyplot as plt
+from torchvision.transforms import ToTensor
 
 ######################################################################
 # PyTorch는 `TorchText <https://pytorch.org/text/stable/index.html>`_, `TorchVision <https://pytorch.org/vision/stable/index.html>`_ 및
@@ -66,8 +65,8 @@
 test_dataloader = DataLoader(test_data, batch_size=batch_size)
 
 for X, y in test_dataloader:
-    print("Shape of X [N, C, H, W]: ", X.shape)
-    print("Shape of y: ", y.shape, y.dtype)
+    print(f"Shape of X [N, C, H, W]: {X.shape}")
+    print(f"Shape of y: {y.shape} {y.dtype}")
     break
 
 ######################################################################

_static/img/thumbnails/torchrec.png

@@ -112,7 +112,7 @@
 
 # GPU가 존재하면 텐서를 이동합니다
 if torch.cuda.is_available():
-    tensor = tensor.to('cuda')
+    tensor = tensor.to("cuda")
 
 
 ######################################################################
@@ -124,9 +124,9 @@
 # **NumPy식의 표준 인덱싱과 슬라이싱:**
 
 tensor = torch.ones(4, 4)
-print('First row: ', tensor[0])
-print('First column: ', tensor[:, 0])
-print('Last column:', tensor[..., -1])
+print(f"First row: {tensor[0]}")
+print(f"First column: {tensor[:, 0]}")
+print(f"Last column: {tensor[..., -1]}")
 tensor[:,1] = 0
 print(tensor)
 
@@ -171,7 +171,7 @@
 # 연산 결과를 피연산자(operand)에 저장하는 연산을 바꿔치기 연산이라고 부르며, ``_`` 접미사를 갖습니다.
 # 예를 들어: ``x.copy_(y)`` 나 ``x.t_()`` 는 ``x`` 를 변경합니다.
 
-print(tensor, "\n")
+print(f"{tensor} \n")
 tensor.add_(5)
 print(tensor)
 

advanced_source/cpp_extension.rst

@@ -18,30 +18,35 @@
 #
 # torchtext 라이브러리는 가공되지 않은 텍스트 문장들을 만드는(yield) 몇 가지 기초 데이터셋 반복자(raw dataset iterator)를 제공합니다.
 # 예를 들어, ``AG_NEWS`` 데이터셋 반복자는 레이블(label)과 문장의 튜플(tuple) 형태로 가공되지 않은 데이터를 만듭니다.
+#
+# torchtext 데이터셋에 접근하기 전에, https://github.com/pytorch/data 을 참고하여 torchdata를
+# 설치하시기 바랍니다.
+#
 
 import torch
 from torchtext.datasets import AG_NEWS
-train_iter = AG_NEWS(split='train')
+train_iter = iter(AG_NEWS(split='train'))
 
 ######################################################################
 # ::
 #
 #     next(train_iter)
-#     >>> (3, "Wall St. Bears Claw Back Into the Black (Reuters) Reuters -
-#     Short-sellers, Wall Street's dwindling\\band of ultra-cynics, are seeing green
-#     again.")
+#     >>> (3, "Fears for T N pension after talks Unions representing workers at Turner
+#     Newall say they are 'disappointed' after talks with stricken parent firm Federal
+#     Mogul.")
 #
 #     next(train_iter)
-#     >>> (3, 'Carlyle Looks Toward Commercial Aerospace (Reuters) Reuters - Private
-#     investment firm Carlyle Group,\\which has a reputation for making well-timed
-#     and occasionally\\controversial plays in the defense industry, has quietly
-#     placed\\its bets on another part of the market.')
+#     >>> (4, "The Race is On: Second Private Team Sets Launch Date for Human
+#     Spaceflight (SPACE.com) SPACE.com - TORONTO, Canada -- A second\\team of
+#     rocketeers competing for the  #36;10 million Ansari X Prize, a contest
+#     for\\privately funded suborbital space flight, has officially announced
+#     the first\\launch date for its manned rocket.")
 #
 #     next(train_iter)
-#     >>> (3, "Oil and Economy Cloud Stocks' Outlook (Reuters) Reuters - Soaring
-#     crude prices plus worries\\about the economy and the outlook for earnings are
-#     expected to\\hang over the stock market next week during the depth of
-#     the\\summer doldrums.")
+#     >>> (4, 'Ky. Company Wins Grant to Study Peptides (AP) AP - A company founded
+#     by a chemistry researcher at the University of Louisville won a grant to develop
+#     a method of producing better peptides, which are short chains of amino acids, the
+#     building blocks of proteins.')
 #
 
 ######################################################################
@@ -75,7 +80,7 @@ def yield_tokens(data_iter):
 # ::
 #
 #     vocab(['here', 'is', 'an', 'example'])
-#     >>> [475, 21, 30, 5286]
+#     >>> [475, 21, 30, 5297]
 #
 # 토크나이저와 어휘집을 갖춘 텍스트 처리 파이프라인을 준비합니다.
 # 텍스트 파이프라인과 레이블(label) 파이프라인은 데이터셋 반복자로부터 얻어온 가공되지 않은 문장 데이터를 처리하기 위해 사용됩니다.
@@ -91,7 +96,7 @@ def yield_tokens(data_iter):
 # ::
 #
 #     text_pipeline('here is the an example')
-#     >>> [475, 21, 2, 30, 5286]
+#     >>> [475, 21, 2, 30, 5297]
 #     label_pipeline('10')
 #     >>> 9
 #