Text_Summarizing_in_persian_Language.ipynb

{
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/masoudshahrian/NLP-Code/blob/main/Text_Summarizing_in_persian_Language.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "tnvzTcpu5JrN",
        "outputId": "782e9214-9705-4caa-b978-8eedf755d24c"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Collecting googletrans\n",
            "  Downloading googletrans-3.0.0.tar.gz (17 kB)\n",
            "  Preparing metadata (setup.py) ... \u001b[?25l\u001b[?25hdone\n",
            "Collecting httpx==0.13.3 (from googletrans)\n",
            "  Downloading httpx-0.13.3-py3-none-any.whl.metadata (25 kB)\n",
            "Requirement already satisfied: certifi in /usr/local/lib/python3.10/dist-packages (from httpx==0.13.3->googletrans) (2024.7.4)\n",
            "Collecting hstspreload (from httpx==0.13.3->googletrans)\n",
            "  Downloading hstspreload-2024.8.1-py3-none-any.whl.metadata (2.1 kB)\n",
            "Requirement already satisfied: sniffio in /usr/local/lib/python3.10/dist-packages (from httpx==0.13.3->googletrans) (1.3.1)\n",
            "Collecting chardet==3.* (from httpx==0.13.3->googletrans)\n",
            "  Downloading chardet-3.0.4-py2.py3-none-any.whl.metadata (3.2 kB)\n",
            "Collecting idna==2.* (from httpx==0.13.3->googletrans)\n",
            "  Downloading idna-2.10-py2.py3-none-any.whl.metadata (9.1 kB)\n",
            "Collecting rfc3986<2,>=1.3 (from httpx==0.13.3->googletrans)\n",
            "  Downloading rfc3986-1.5.0-py2.py3-none-any.whl.metadata (6.5 kB)\n",
            "Collecting httpcore==0.9.* (from httpx==0.13.3->googletrans)\n",
            "  Downloading httpcore-0.9.1-py3-none-any.whl.metadata (4.6 kB)\n",
            "Collecting h11<0.10,>=0.8 (from httpcore==0.9.*->httpx==0.13.3->googletrans)\n",
            "  Downloading h11-0.9.0-py2.py3-none-any.whl.metadata (8.1 kB)\n",
            "Collecting h2==3.* (from httpcore==0.9.*->httpx==0.13.3->googletrans)\n",
            "  Downloading h2-3.2.0-py2.py3-none-any.whl.metadata (32 kB)\n",
            "Collecting hyperframe<6,>=5.2.0 (from h2==3.*->httpcore==0.9.*->httpx==0.13.3->googletrans)\n",
            "  Downloading hyperframe-5.2.0-py2.py3-none-any.whl.metadata (7.2 kB)\n",
            "Collecting hpack<4,>=3.0 (from h2==3.*->httpcore==0.9.*->httpx==0.13.3->googletrans)\n",
            "  Downloading hpack-3.0.0-py2.py3-none-any.whl.metadata (7.0 kB)\n",
            "Downloading httpx-0.13.3-py3-none-any.whl (55 kB)\n",
            "\u001b[2K   \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m55.1/55.1 kB\u001b[0m \u001b[31m2.0 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[?25hDownloading chardet-3.0.4-py2.py3-none-any.whl (133 kB)\n",
            "\u001b[2K   \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m133.4/133.4 kB\u001b[0m \u001b[31m2.4 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[?25hDownloading httpcore-0.9.1-py3-none-any.whl (42 kB)\n",
            "\u001b[2K   \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m42.6/42.6 kB\u001b[0m \u001b[31m2.4 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[?25hDownloading idna-2.10-py2.py3-none-any.whl (58 kB)\n",
            "\u001b[2K   \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m58.8/58.8 kB\u001b[0m \u001b[31m3.8 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[?25hDownloading h2-3.2.0-py2.py3-none-any.whl (65 kB)\n",
            "\u001b[2K   \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m65.0/65.0 kB\u001b[0m \u001b[31m4.4 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[?25hDownloading rfc3986-1.5.0-py2.py3-none-any.whl (31 kB)\n",
            "Downloading hstspreload-2024.8.1-py3-none-any.whl (1.2 MB)\n",
            "\u001b[2K   \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m1.2/1.2 MB\u001b[0m \u001b[31m11.4 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[?25hDownloading h11-0.9.0-py2.py3-none-any.whl (53 kB)\n",
            "\u001b[2K   \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m53.6/53.6 kB\u001b[0m \u001b[31m2.9 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[?25hDownloading hpack-3.0.0-py2.py3-none-any.whl (38 kB)\n",
            "Downloading hyperframe-5.2.0-py2.py3-none-any.whl (12 kB)\n",
            "Building wheels for collected packages: googletrans\n",
            "  Building wheel for googletrans (setup.py) ... \u001b[?25l\u001b[?25hdone\n",
            "  Created wheel for googletrans: filename=googletrans-3.0.0-py3-none-any.whl size=15718 sha256=b885ab7e57f20a279b440bf7c3b30efea59c7a673f502570340c0cdd21cf0b6f\n",
            "  Stored in directory: /root/.cache/pip/wheels/b3/81/ea/8b030407f8ebfc2f857814e086bb22ca2d4fea1a7be63652ab\n",
            "Successfully built googletrans\n",
            "Installing collected packages: rfc3986, hyperframe, hpack, h11, chardet, idna, hstspreload, h2, httpcore, httpx, googletrans\n",
            "  Attempting uninstall: chardet\n",
            "    Found existing installation: chardet 5.2.0\n",
            "    Uninstalling chardet-5.2.0:\n",
            "      Successfully uninstalled chardet-5.2.0\n",
            "  Attempting uninstall: idna\n",
            "    Found existing installation: idna 3.7\n",
            "    Uninstalling idna-3.7:\n",
            "      Successfully uninstalled idna-3.7\n",
            "Successfully installed chardet-3.0.4 googletrans-3.0.0 h11-0.9.0 h2-3.2.0 hpack-3.0.0 hstspreload-2024.8.1 httpcore-0.9.1 httpx-0.13.3 hyperframe-5.2.0 idna-2.10 rfc3986-1.5.0\n",
            "Requirement already satisfied: googletrans in /usr/local/lib/python3.10/dist-packages (3.0.0)\n",
            "Requirement already satisfied: httpx==0.13.3 in /usr/local/lib/python3.10/dist-packages (from googletrans) (0.13.3)\n",
            "Requirement already satisfied: certifi in /usr/local/lib/python3.10/dist-packages (from httpx==0.13.3->googletrans) (2024.7.4)\n",
            "Requirement already satisfied: hstspreload in /usr/local/lib/python3.10/dist-packages (from httpx==0.13.3->googletrans) (2024.8.1)\n",
            "Requirement already satisfied: sniffio in /usr/local/lib/python3.10/dist-packages (from httpx==0.13.3->googletrans) (1.3.1)\n",
            "Requirement already satisfied: chardet==3.* in /usr/local/lib/python3.10/dist-packages (from httpx==0.13.3->googletrans) (3.0.4)\n",
            "Requirement already satisfied: idna==2.* in /usr/local/lib/python3.10/dist-packages (from httpx==0.13.3->googletrans) (2.10)\n",
            "Requirement already satisfied: rfc3986<2,>=1.3 in /usr/local/lib/python3.10/dist-packages (from httpx==0.13.3->googletrans) (1.5.0)\n",
            "Requirement already satisfied: httpcore==0.9.* in /usr/local/lib/python3.10/dist-packages (from httpx==0.13.3->googletrans) (0.9.1)\n",
            "Requirement already satisfied: h11<0.10,>=0.8 in /usr/local/lib/python3.10/dist-packages (from httpcore==0.9.*->httpx==0.13.3->googletrans) (0.9.0)\n",
            "Requirement already satisfied: h2==3.* in /usr/local/lib/python3.10/dist-packages (from httpcore==0.9.*->httpx==0.13.3->googletrans) (3.2.0)\n",
            "Requirement already satisfied: hyperframe<6,>=5.2.0 in /usr/local/lib/python3.10/dist-packages (from h2==3.*->httpcore==0.9.*->httpx==0.13.3->googletrans) (5.2.0)\n",
            "Requirement already satisfied: hpack<4,>=3.0 in /usr/local/lib/python3.10/dist-packages (from h2==3.*->httpcore==0.9.*->httpx==0.13.3->googletrans) (3.0.0)\n",
            "Collecting googletrans==4.0.0-rc1\n",
            "  Downloading googletrans-4.0.0rc1.tar.gz (20 kB)\n",
            "  Preparing metadata (setup.py) ... \u001b[?25l\u001b[?25hdone\n",
            "Requirement already satisfied: httpx==0.13.3 in /usr/local/lib/python3.10/dist-packages (from googletrans==4.0.0-rc1) (0.13.3)\n",
            "Requirement already satisfied: certifi in /usr/local/lib/python3.10/dist-packages (from httpx==0.13.3->googletrans==4.0.0-rc1) (2024.7.4)\n",
            "Requirement already satisfied: hstspreload in /usr/local/lib/python3.10/dist-packages (from httpx==0.13.3->googletrans==4.0.0-rc1) (2024.8.1)\n",
            "Requirement already satisfied: sniffio in /usr/local/lib/python3.10/dist-packages (from httpx==0.13.3->googletrans==4.0.0-rc1) (1.3.1)\n",
            "Requirement already satisfied: chardet==3.* in /usr/local/lib/python3.10/dist-packages (from httpx==0.13.3->googletrans==4.0.0-rc1) (3.0.4)\n",
            "Requirement already satisfied: idna==2.* in /usr/local/lib/python3.10/dist-packages (from httpx==0.13.3->googletrans==4.0.0-rc1) (2.10)\n",
            "Requirement already satisfied: rfc3986<2,>=1.3 in /usr/local/lib/python3.10/dist-packages (from httpx==0.13.3->googletrans==4.0.0-rc1) (1.5.0)\n",
            "Requirement already satisfied: httpcore==0.9.* in /usr/local/lib/python3.10/dist-packages (from httpx==0.13.3->googletrans==4.0.0-rc1) (0.9.1)\n",
            "Requirement already satisfied: h11<0.10,>=0.8 in /usr/local/lib/python3.10/dist-packages (from httpcore==0.9.*->httpx==0.13.3->googletrans==4.0.0-rc1) (0.9.0)\n",
            "Requirement already satisfied: h2==3.* in /usr/local/lib/python3.10/dist-packages (from httpcore==0.9.*->httpx==0.13.3->googletrans==4.0.0-rc1) (3.2.0)\n",
            "Requirement already satisfied: hyperframe<6,>=5.2.0 in /usr/local/lib/python3.10/dist-packages (from h2==3.*->httpcore==0.9.*->httpx==0.13.3->googletrans==4.0.0-rc1) (5.2.0)\n",
            "Requirement already satisfied: hpack<4,>=3.0 in /usr/local/lib/python3.10/dist-packages (from h2==3.*->httpcore==0.9.*->httpx==0.13.3->googletrans==4.0.0-rc1) (3.0.0)\n",
            "Building wheels for collected packages: googletrans\n",
            "  Building wheel for googletrans (setup.py) ... \u001b[?25l\u001b[?25hdone\n",
            "  Created wheel for googletrans: filename=googletrans-4.0.0rc1-py3-none-any.whl size=17397 sha256=d0155242da0a6ea43344b05d5a6d05911cee362ae7da988eb096d6df32f277e7\n",
            "  Stored in directory: /root/.cache/pip/wheels/c0/59/9f/7372f0cf70160fe61b528532e1a7c8498c4becd6bcffb022de\n",
            "Successfully built googletrans\n",
            "Installing collected packages: googletrans\n",
            "  Attempting uninstall: googletrans\n",
            "    Found existing installation: googletrans 3.0.0\n",
            "    Uninstalling googletrans-3.0.0:\n",
            "      Successfully uninstalled googletrans-3.0.0\n",
            "Successfully installed googletrans-4.0.0rc1\n",
            "Requirement already satisfied: transformers in /usr/local/lib/python3.10/dist-packages (4.42.4)\n",
            "Requirement already satisfied: filelock in /usr/local/lib/python3.10/dist-packages (from transformers) (3.15.4)\n",
            "Requirement already satisfied: huggingface-hub<1.0,>=0.23.2 in /usr/local/lib/python3.10/dist-packages (from transformers) (0.23.5)\n",
            "Requirement already satisfied: numpy<2.0,>=1.17 in /usr/local/lib/python3.10/dist-packages (from transformers) (1.26.4)\n",
            "Requirement already satisfied: packaging>=20.0 in /usr/local/lib/python3.10/dist-packages (from transformers) (24.1)\n",
            "Requirement already satisfied: pyyaml>=5.1 in /usr/local/lib/python3.10/dist-packages (from transformers) (6.0.2)\n",
            "Requirement already satisfied: regex!=2019.12.17 in /usr/local/lib/python3.10/dist-packages (from transformers) (2024.5.15)\n",
            "Requirement already satisfied: requests in /usr/local/lib/python3.10/dist-packages (from transformers) (2.32.3)\n",
            "Requirement already satisfied: safetensors>=0.4.1 in /usr/local/lib/python3.10/dist-packages (from transformers) (0.4.4)\n",
            "Requirement already satisfied: tokenizers<0.20,>=0.19 in /usr/local/lib/python3.10/dist-packages (from transformers) (0.19.1)\n",
            "Requirement already satisfied: tqdm>=4.27 in /usr/local/lib/python3.10/dist-packages (from transformers) (4.66.5)\n",
            "Requirement already satisfied: fsspec>=2023.5.0 in /usr/local/lib/python3.10/dist-packages (from huggingface-hub<1.0,>=0.23.2->transformers) (2024.6.1)\n",
            "Requirement already satisfied: typing-extensions>=3.7.4.3 in /usr/local/lib/python3.10/dist-packages (from huggingface-hub<1.0,>=0.23.2->transformers) (4.12.2)\n",
            "Requirement already satisfied: charset-normalizer<4,>=2 in /usr/local/lib/python3.10/dist-packages (from requests->transformers) (3.3.2)\n",
            "Requirement already satisfied: idna<4,>=2.5 in /usr/local/lib/python3.10/dist-packages (from requests->transformers) (2.10)\n",
            "Requirement already satisfied: urllib3<3,>=1.21.1 in /usr/local/lib/python3.10/dist-packages (from requests->transformers) (2.0.7)\n",
            "Requirement already satisfied: certifi>=2017.4.17 in /usr/local/lib/python3.10/dist-packages (from requests->transformers) (2024.7.4)\n",
            "Requirement already satisfied: torch in /usr/local/lib/python3.10/dist-packages (2.3.1+cu121)\n",
            "Requirement already satisfied: filelock in /usr/local/lib/python3.10/dist-packages (from torch) (3.15.4)\n",
            "Requirement already satisfied: typing-extensions>=4.8.0 in /usr/local/lib/python3.10/dist-packages (from torch) (4.12.2)\n",
            "Requirement already satisfied: sympy in /usr/local/lib/python3.10/dist-packages (from torch) (1.13.1)\n",
            "Requirement already satisfied: networkx in /usr/local/lib/python3.10/dist-packages (from torch) (3.3)\n",
            "Requirement already satisfied: jinja2 in /usr/local/lib/python3.10/dist-packages (from torch) (3.1.4)\n",
            "Requirement already satisfied: fsspec in /usr/local/lib/python3.10/dist-packages (from torch) (2024.6.1)\n",
            "Collecting nvidia-cuda-nvrtc-cu12==12.1.105 (from torch)\n",
            "  Using cached nvidia_cuda_nvrtc_cu12-12.1.105-py3-none-manylinux1_x86_64.whl.metadata (1.5 kB)\n",
            "Collecting nvidia-cuda-runtime-cu12==12.1.105 (from torch)\n",
            "  Using cached nvidia_cuda_runtime_cu12-12.1.105-py3-none-manylinux1_x86_64.whl.metadata (1.5 kB)\n",
            "Collecting nvidia-cuda-cupti-cu12==12.1.105 (from torch)\n",
            "  Using cached nvidia_cuda_cupti_cu12-12.1.105-py3-none-manylinux1_x86_64.whl.metadata (1.6 kB)\n",
            "Collecting nvidia-cudnn-cu12==8.9.2.26 (from torch)\n",
            "  Using cached nvidia_cudnn_cu12-8.9.2.26-py3-none-manylinux1_x86_64.whl.metadata (1.6 kB)\n",
            "Collecting nvidia-cublas-cu12==12.1.3.1 (from torch)\n",
            "  Using cached nvidia_cublas_cu12-12.1.3.1-py3-none-manylinux1_x86_64.whl.metadata (1.5 kB)\n",
            "Collecting nvidia-cufft-cu12==11.0.2.54 (from torch)\n",
            "  Using cached nvidia_cufft_cu12-11.0.2.54-py3-none-manylinux1_x86_64.whl.metadata (1.5 kB)\n",
            "Collecting nvidia-curand-cu12==10.3.2.106 (from torch)\n",
            "  Using cached nvidia_curand_cu12-10.3.2.106-py3-none-manylinux1_x86_64.whl.metadata (1.5 kB)\n",
            "Collecting nvidia-cusolver-cu12==11.4.5.107 (from torch)\n",
            "  Using cached nvidia_cusolver_cu12-11.4.5.107-py3-none-manylinux1_x86_64.whl.metadata (1.6 kB)\n",
            "Collecting nvidia-cusparse-cu12==12.1.0.106 (from torch)\n",
            "  Using cached nvidia_cusparse_cu12-12.1.0.106-py3-none-manylinux1_x86_64.whl.metadata (1.6 kB)\n",
            "Collecting nvidia-nccl-cu12==2.20.5 (from torch)\n",
            "  Using cached nvidia_nccl_cu12-2.20.5-py3-none-manylinux2014_x86_64.whl.metadata (1.8 kB)\n",
            "Collecting nvidia-nvtx-cu12==12.1.105 (from torch)\n",
            "  Using cached nvidia_nvtx_cu12-12.1.105-py3-none-manylinux1_x86_64.whl.metadata (1.7 kB)\n",
            "Requirement already satisfied: triton==2.3.1 in /usr/local/lib/python3.10/dist-packages (from torch) (2.3.1)\n",
            "Collecting nvidia-nvjitlink-cu12 (from nvidia-cusolver-cu12==11.4.5.107->torch)\n",
            "  Using cached nvidia_nvjitlink_cu12-12.6.20-py3-none-manylinux2014_x86_64.whl.metadata (1.5 kB)\n",
            "Requirement already satisfied: MarkupSafe>=2.0 in /usr/local/lib/python3.10/dist-packages (from jinja2->torch) (2.1.5)\n",
            "Requirement already satisfied: mpmath<1.4,>=1.1.0 in /usr/local/lib/python3.10/dist-packages (from sympy->torch) (1.3.0)\n",
            "Using cached nvidia_cublas_cu12-12.1.3.1-py3-none-manylinux1_x86_64.whl (410.6 MB)\n",
            "Using cached nvidia_cuda_cupti_cu12-12.1.105-py3-none-manylinux1_x86_64.whl (14.1 MB)\n",
            "Using cached nvidia_cuda_nvrtc_cu12-12.1.105-py3-none-manylinux1_x86_64.whl (23.7 MB)\n",
            "Using cached nvidia_cuda_runtime_cu12-12.1.105-py3-none-manylinux1_x86_64.whl (823 kB)\n",
            "Using cached nvidia_cudnn_cu12-8.9.2.26-py3-none-manylinux1_x86_64.whl (731.7 MB)\n",
            "Using cached nvidia_cufft_cu12-11.0.2.54-py3-none-manylinux1_x86_64.whl (121.6 MB)\n",
            "Using cached nvidia_curand_cu12-10.3.2.106-py3-none-manylinux1_x86_64.whl (56.5 MB)\n",
            "Using cached nvidia_cusolver_cu12-11.4.5.107-py3-none-manylinux1_x86_64.whl (124.2 MB)\n",
            "Using cached nvidia_cusparse_cu12-12.1.0.106-py3-none-manylinux1_x86_64.whl (196.0 MB)\n",
            "Using cached nvidia_nccl_cu12-2.20.5-py3-none-manylinux2014_x86_64.whl (176.2 MB)\n",
            "Using cached nvidia_nvtx_cu12-12.1.105-py3-none-manylinux1_x86_64.whl (99 kB)\n",
            "Using cached nvidia_nvjitlink_cu12-12.6.20-py3-none-manylinux2014_x86_64.whl (19.7 MB)\n",
            "Installing collected packages: nvidia-nvtx-cu12, nvidia-nvjitlink-cu12, nvidia-nccl-cu12, nvidia-curand-cu12, nvidia-cufft-cu12, nvidia-cuda-runtime-cu12, nvidia-cuda-nvrtc-cu12, nvidia-cuda-cupti-cu12, nvidia-cublas-cu12, nvidia-cusparse-cu12, nvidia-cudnn-cu12, nvidia-cusolver-cu12\n",
            "Successfully installed nvidia-cublas-cu12-12.1.3.1 nvidia-cuda-cupti-cu12-12.1.105 nvidia-cuda-nvrtc-cu12-12.1.105 nvidia-cuda-runtime-cu12-12.1.105 nvidia-cudnn-cu12-8.9.2.26 nvidia-cufft-cu12-11.0.2.54 nvidia-curand-cu12-10.3.2.106 nvidia-cusolver-cu12-11.4.5.107 nvidia-cusparse-cu12-12.1.0.106 nvidia-nccl-cu12-2.20.5 nvidia-nvjitlink-cu12-12.6.20 nvidia-nvtx-cu12-12.1.105\n",
            "Requirement already satisfied: sentencepiece in /usr/local/lib/python3.10/dist-packages (0.1.99)\n"
          ]
        }
      ],
      "source": [
        "!pip install googletrans\n",
        "!pip install --upgrade googletrans\n",
        "!pip install googletrans==4.0.0-rc1\n",
        "!pip install transformers\n",
        "!pip install torch\n",
        "!pip install sentencepiece"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "wSQveHWAtXhf",
        "outputId": "b02b9872-3cec-4824-b299-d583e7c08d00"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Requirement already satisfied: googletrans==4.0.0-rc1 in /usr/local/lib/python3.10/dist-packages (4.0.0rc1)\n",
            "Requirement already satisfied: httpx==0.13.3 in /usr/local/lib/python3.10/dist-packages (from googletrans==4.0.0-rc1) (0.13.3)\n",
            "Requirement already satisfied: certifi in /usr/local/lib/python3.10/dist-packages (from httpx==0.13.3->googletrans==4.0.0-rc1) (2024.7.4)\n",
            "Requirement already satisfied: hstspreload in /usr/local/lib/python3.10/dist-packages (from httpx==0.13.3->googletrans==4.0.0-rc1) (2024.8.1)\n",
            "Requirement already satisfied: sniffio in /usr/local/lib/python3.10/dist-packages (from httpx==0.13.3->googletrans==4.0.0-rc1) (1.3.1)\n",
            "Requirement already satisfied: chardet==3.* in /usr/local/lib/python3.10/dist-packages (from httpx==0.13.3->googletrans==4.0.0-rc1) (3.0.4)\n",
            "Requirement already satisfied: idna==2.* in /usr/local/lib/python3.10/dist-packages (from httpx==0.13.3->googletrans==4.0.0-rc1) (2.10)\n",
            "Requirement already satisfied: rfc3986<2,>=1.3 in /usr/local/lib/python3.10/dist-packages (from httpx==0.13.3->googletrans==4.0.0-rc1) (1.5.0)\n",
            "Requirement already satisfied: httpcore==0.9.* in /usr/local/lib/python3.10/dist-packages (from httpx==0.13.3->googletrans==4.0.0-rc1) (0.9.1)\n",
            "Requirement already satisfied: h11<0.10,>=0.8 in /usr/local/lib/python3.10/dist-packages (from httpcore==0.9.*->httpx==0.13.3->googletrans==4.0.0-rc1) (0.9.0)\n",
            "Requirement already satisfied: h2==3.* in /usr/local/lib/python3.10/dist-packages (from httpcore==0.9.*->httpx==0.13.3->googletrans==4.0.0-rc1) (3.2.0)\n",
            "Requirement already satisfied: hyperframe<6,>=5.2.0 in /usr/local/lib/python3.10/dist-packages (from h2==3.*->httpcore==0.9.*->httpx==0.13.3->googletrans==4.0.0-rc1) (5.2.0)\n",
            "Requirement already satisfied: hpack<4,>=3.0 in /usr/local/lib/python3.10/dist-packages (from h2==3.*->httpcore==0.9.*->httpx==0.13.3->googletrans==4.0.0-rc1) (3.0.0)\n"
          ]
        }
      ],
      "source": [
        "!pip install googletrans==4.0.0-rc1"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "fRJIkGTy4xU0"
      },
      "outputs": [],
      "source": [
        "import googletrans\n",
        "from googletrans import Translator\n",
        "from transformers import pipeline\n",
        "# from transformers import pipeline"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "abQs4XbL6nBp"
      },
      "outputs": [],
      "source": [
        "# نمونه متن فارسی\n",
        "input_text = \"\"\"\n",
        "در روز جمعه ۱۹ مرداد، نخستین روز برگزاری نمایشگاه صنعت مالی در محل دائمی نمایشگاه‌ها برگزار شد. متأسفانه، مدیران سازمان بورس، وزیر محترم و دیگر افراد مهم به این مراسم حضور نداشتند. در مراسم افتتاحیه، به گونه‌ای بی‌کسی حاکم بود که من به عنوان سخنران اصلی انتخاب شدم. با ورود آقای دکتر شمس‌الدین حسینی به مراسم، وضعیت کمی بهتر شد.\n",
        "در جریان مراسم، گروهی از افراد برای اعتراض به مدیریت سازمان بنرهای مختلفی تهیه کرده بودند. وقتی از سالن افتتاحیه خارج شدم، چند نفر به دلیل اعتراضاتی که داشتند، دستگیر شدند و از من کمک خواستند. پس از مراجعه به پلیس، مشخص شد که قصد دستگیری نبوده و تنها می‌خواستند با افراد اعتراض‌کننده صحبت کنند تا جلسه را به هم نریزند.\n",
        "پس از بازگشت به سالن نمایشگاه، گروهی از افراد در اطراف ساعت ۱۰ و نیم جمع شده بودند و از مدیریت بازار شکایت داشتند، خصوصاً از عدم توجه رئیس جمهور به امور بورس. جلسه تا ساعت ۱۲:۴۰ ادامه یافت و توانستم برخی از افراد را قانع کنم که تا تشکیل دولت صبر کنند و سعی کردم مشکلات دیگر را نیز بررسی کنم.\n",
        "ساعت ۱۳ نشستی با حضور کارشناسان برگزار شد تا جایگزین افراد غایب شوند. جلسه با حضور حدود ۲۰۰ نفری که حضور داشتند، به خوبی پیش رفت و شکایت‌های آن‌ها مورد بررسی قرار گرفت. اما شکایت‌های اصلی دوباره به مدیریت بورس متمرکز شد. در حدود ساعت ۱۴، چند نفر از معترضان با سر و صدای زیاد وارد سالن افتتاحیه شدند و به مدیریت بورس شعار می‌دادند. این اقدام باعث اختلال در نظم جلسه شد و در نهایت برخی از آن‌ها با اعتراضات خود یک نفر را به اتهام حمایت از مدیریت بی‌حرمتی کردند.\n",
        "با توجه به این وضع، برای حفظ نظم و پاسخ به توهین، فریاد زدم که احتمالاً فیلم این واقعه را در اینستاگرام دیده‌اید. پس از این اتفاق، جلسه با نظمی نسبی ادامه یافت و تا ساعت ۱۵:۱۵ به پایان رسید.\n",
        "\"\"\""
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "KHBC11wS-3qY"
      },
      "outputs": [],
      "source": [
        "# نمونه متن فارسی\n",
        "input_text = \"\"\"\n",
        "\n",
        "در هفته گذشته، بازار سرمایه‌گذاری با رشد قابل توجهی روبرو بوده و شاهد افزایش قیمت سهام بسیاری از شرکت‌ها بودیم. این رشد ناشی از اعلام اطلاعات مثبت از سوی بسیاری از شرکت‌ها، بهبود وضعیت اقتصادی کلان‌شهرها، و افزایش اعتماد سرمایه‌گذاران به بازار بوده است.\n",
        "یکی از عوامل اصلی این رشد، اعلام برخی از شرکت‌ها از سودآوری بالا و عملکرد قوی خود بوده است. شرکت‌های فناوری، ارتباطات، و بانکی به‌طور ویژه از این رشد بهره‌مند شده‌اند. اعلام افزایش سود و ارزش سهام توسط این شرکت‌ها، باعث افزایش اعتماد سرمایه‌گذاران به آینده این شرکت‌ها و بازار مالی شده است.\n",
        "علاوه بر این، بهبود وضعیت اقتصادی کلان‌شهرها و کشور به طور کلی نیز تأثیر قابل توجهی در روند رشد بازار سرمایه‌گذاری داشته است. افزایش تولید، کاهش نرخ تورم، و اعمال سیاست‌های مالی و اقتصادی موثر، از دیگر عواملی بوده که بازار را به سمت رشد و پایداری هدایت کرده‌اند.\n",
        "با افزایش اعتماد سرمایه‌گذاران به بازار، نرخ سود سرمایه‌گذاری نیز به طور قابل توجهی کاهش یافته است. این امر باعث جذب سرمایه‌گذاری بیشتر به بازار شده و به تحقق پروژه‌های مختلف اقتصادی کمک می‌کند.\n",
        "با این حال، تحلیلگران هشدار می‌دهند که این رشد باید با دقت و توجه به عوامل داخلی و خارجی بازار همراه باشد. نوسانات قیمت سهام، تغییرات در سیاست‌های مالی و اقتصادی، و شرایط جهانی می‌توانند تأثیرات مختلفی بر بازار داشته باشند.\n",
        "در نهایت، بازار سرمایه‌گذاری در حال حاضر در وضعیت مثبتی قرار دارد و امیدواریم که این روند رشد و پایداری در آینده ادامه یابد و به توسعه اقتصادی کشور کمک کند.\n",
        "\n",
        "\"\"\"\n",
        "\n"
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "import googletrans\n",
        "from googletrans import Translator\n",
        "from transformers import pipeline"
      ],
      "metadata": {
        "id": "ajk8F3Am28TP"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "BspZ6sIQJHJW",
        "outputId": "eed2cd74-5910-40e3-eaa6-80ad5b3eb67a"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "On Friday, August 6, the first day of the Financial Industry Exhibition was held at the permanent exhibition site.Unfortunately, the executives of the stock exchange, the respected minister and other important people were not present at the ceremony.At the opening ceremony, it was in a way that I was selected as the main speaker.With Dr. Shamsuddin Hosseini's arrival at the ceremony, the situation was a bit better.\n",
            "During the ceremony, a group of people had prepared various banners to protest the management of the organization.When I got out of the opening hall, some people were arrested for their protests and asked me for help.Upon arriving at the police, it was found that they were not arrested and only wanted to talk to the protesters so that they would not disrupt the meeting.\n",
            "Upon returning to the exhibition hall, a group of people gathered around at 9:30 pm and complained about market management, especially the president's lack of attention to the stock market.The meeting continued until 9:30 am and I was able to convince some people to wait until the government was formed and I tried to address other problems.\n",
            "A meeting was held at 9pm to replace absentees.The meeting was well -versed in the presence of the about 5 people attending and their complaints were reviewed.But the main complaints were re -focused on stock market management.At around 9am, several protesters entered the opening hall with a lot of noise and chanted slogans.The move disrupted the order of the meeting, and eventually some of them protested one person to support the management.\n",
            "Given this, I shouted to keep the film on Instagram to maintain order and respond to insult.After this, the meeting continued with a relative order and ended until 9:30.\n"
          ]
        }
      ],
      "source": [
        "# from googletrans import Translator\n",
        "def translate_text(text):\n",
        "    translator = Translator()\n",
        "    translation = translator.translate(text, dest='en')\n",
        "    return translation.text\n",
        "\n",
        "# # متن یا مقاله‌ای که می‌خواهید ترجمه کنید\n",
        "# input_text = \"متن یا مقاله‌ای در اینجا قرار بدهید.\"\n",
        "\n",
        "translation = translate_text(input_text)\n",
        "print(translation)"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "BKCN3PIY4xOU",
        "outputId": "1895189d-ac8a-4197-f4c5-57bddf63ef8f"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "On Friday, August 6, the first day of the Financial Industry Exhibition was held at the permanent exhibition site.Unfortunately, the executives of the stock exchange, the respected minister and other important people were not present at the ceremony.At the opening ceremony, it was in a way that I was selected as the main speaker.With Dr. Shamsuddin Hosseini's arrival at the ceremony, the situation was a bit better.\n",
            "During the ceremony, a group of people had prepared various banners to protest the management of the organization.When I got out of the opening hall, some people were arrested for their protests and asked me for help.Upon arriving at the police, it was found that they were not arrested and only wanted to talk to the protesters so that they would not disrupt the meeting.\n",
            "Upon returning to the exhibition hall, a group of people gathered around at 9:30 pm and complained about market management, especially the president's lack of attention to the stock market.The meeting continued until 9:30 am and I was able to convince some people to wait until the government was formed and I tried to address other problems.\n",
            "A meeting was held at 9pm to replace absentees.The meeting was well -versed in the presence of the about 5 people attending and their complaints were reviewed.But the main complaints were re -focused on stock market management.At around 9am, several protesters entered the opening hall with a lot of noise and chanted slogans.The move disrupted the order of the meeting, and eventually some of them protested one person to support the management.\n",
            "Given this, I shouted to keep the film on Instagram to maintain order and respond to insult.After this, the meeting continued with a relative order and ended until 9:30.\n"
          ]
        }
      ],
      "source": [
        "# from googletrans import Translator\n",
        "def translate_text(text):\n",
        "    translator = Translator()\n",
        "    translation = translator.translate(text, dest='en')\n",
        "    return translation.text\n",
        "\n",
        "# # متن یا مقاله‌ای که می‌خواهید ترجمه کنید\n",
        "# input_text = \"متن یا مقاله‌ای در اینجا قرار بدهید.\"\n",
        "\n",
        "translation = translate_text(input_text)\n",
        "print(translation)\n"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 338,
          "referenced_widgets": [
            "10e486d2b4934222863edc80c7372dd7",
            "1f807e05d7e84a399c87e84e2afa69cb",
            "c58a28131e054340aca1f806349aca63",
            "7fda6587fb25450aa7b381cf6cb6da18",
            "293e3e8d2a0e4f8c8efc1c8140e9ac44",
            "5ffe6343c18f46288f0fcee4a6f60939",
            "0174ccd37f7d46338f6cb30d88082b78",
            "f33c625d2e5a4ed2898558037430e1d5",
            "131869d4af284e728e00568f880caf7d",
            "b1e1ca80d717431e9b4543101305db02",
            "5a36223e37274e4397414d9f0c91f11d",
            "0e2e743310384b6ba9a551c40be75f93",
            "db07b787915f4553b87485b23f2aec88",
            "5640daba822f49578de8f07e85cf2e3a",
            "aa733a158ca54299883f6fa487d77411",
            "0527abce7de54a76aeb07716976928f3",
            "ea22a34c0f99498cadcaa9e9d1281ed2",
            "837054d4396f416ebde4664a5c0fecd3",
            "b23b02a8691a4e0189ed1ae5b049bb95",
            "4da65045451c49cba511e7419555a22a",
            "3dae533718724392a9d5390fb9ebae4a",
            "889e401620c749b3bbe25c44bdff85ff",
            "841933903f4646e1bae82ca09496bead",
            "c3e91f2706264d1b8f329a285b085771",
            "bbc700d2deba456884d3db3e6cd23038",
            "8aada97941534e5b86cefe597ae70ef8",
            "0ba7404fb5374ca2a2152f265829f597",
            "6fbc9b5e78834463a1b433097bdea28f",
            "96348ad4d1b44a53aba50e13aeedf257",
            "9b745dbd4e61437495fc9cf7fe2b309b",
            "970c338507d345148a4d5f575b89490e",
            "a60a6caa64f049eba49b069fb66c70ab",
            "9c1e9899db1a43f690022a8c233e6f8d",
            "0e16828ffdf7402cb218cc0e665600f3",
            "793aea3431b748488f9ca3b685781669",
            "c5ada5856fc84bdeb25ec6f24151471b",
            "2694494e1ac7440ea4dad5e612fce346",
            "8b25a3c71c844a749f17e1a2b2a7e160",
            "e822598514184e56a5d8acb21f100fb9",
            "1e9d70123d1f4e12ba24e314cdc98bc2",
            "ee29acd66b64476ca732f7f5993ac447",
            "8041e773ac9e427786146af1169d74ac",
            "b7a2dd2198bd421e80036c26faa419ac",
            "e6423d80e0e24f25b1da52ba70d3344f",
            "ba92f5cc4dbe475e9a6e1496a5d6cb79",
            "4cdc611cf8cd4020be3cc0052b822ba6",
            "dca66bb5df89434a8822c058817a9de0",
            "0e43a42da0a34d388faa8129c1584856",
            "948a55fd9c89425a9277242b038547b1",
            "347eeb63ccd843ffabb52de52f5173e2",
            "cea953d6a4b14a70ac5b28b233fe6140",
            "2ecf2516d6a245e48ad5dfff33455810",
            "cf275e6f0a1f41549a4f8bf7ae3c24cc",
            "f7319284d003477c92387ab08557ae77",
            "e239aa1c1a584ee0977a2bb25cd99fd9",
            "aaebbec3802b49bea2da4e716ad4f1c7",
            "fe60d62b6c9e47e38780a5c3b3ca5d12",
            "f7f26656d4e34924ad18812ee670d834",
            "730d72b780e24c3abc301623b93cb28b",
            "07fdbca9a8ad412fb8877cf09174eb34",
            "1cebbf2c715f4444af9bc7199a120670",
            "a572d50e27fc4e3da1b56658cc47eb58",
            "ca3b8e206b9741e99800b602699a1673",
            "6b964ed0f3fb496b94ea259bdd2c3ddd",
            "10b500c4a3e444dc91e4d82aa27afc12",
            "43342fa65ae542b586b453506965ab38"
          ]
        },
        "id": "lX5FrsMx4xHq",
        "outputId": "81288d1f-8435-4114-ede7-c18231f1f2ef"
      },
      "outputs": [
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "/usr/local/lib/python3.10/dist-packages/huggingface_hub/utils/_token.py:89: UserWarning: \n",
            "The secret `HF_TOKEN` does not exist in your Colab secrets.\n",
            "To authenticate with the Hugging Face Hub, create a token in your settings tab (https://huggingface.co/settings/tokens), set it as secret in your Google Colab and restart your session.\n",
            "You will be able to reuse this secret in all of your notebooks.\n",
            "Please note that authentication is recommended but still optional to access public models or datasets.\n",
            "  warnings.warn(\n"
          ]
        },
        {
          "data": {
            "application/vnd.jupyter.widget-view+json": {
              "model_id": "10e486d2b4934222863edc80c7372dd7",
              "version_major": 2,
              "version_minor": 0
            },
            "text/plain": [
              "config.json:   0%|          | 0.00/1.58k [00:00<?, ?B/s]"
            ]
          },
          "metadata": {},
          "output_type": "display_data"
        },
        {
          "data": {
            "application/vnd.jupyter.widget-view+json": {
              "model_id": "0e2e743310384b6ba9a551c40be75f93",
              "version_major": 2,
              "version_minor": 0
            },
            "text/plain": [
              "model.safetensors:   0%|          | 0.00/1.63G [00:00<?, ?B/s]"
            ]
          },
          "metadata": {},
          "output_type": "display_data"
        },
        {
          "data": {
            "application/vnd.jupyter.widget-view+json": {
              "model_id": "841933903f4646e1bae82ca09496bead",
              "version_major": 2,
              "version_minor": 0
            },
            "text/plain": [
              "generation_config.json:   0%|          | 0.00/363 [00:00<?, ?B/s]"
            ]
          },
          "metadata": {},
          "output_type": "display_data"
        },
        {
          "data": {
            "application/vnd.jupyter.widget-view+json": {
              "model_id": "0e16828ffdf7402cb218cc0e665600f3",
              "version_major": 2,
              "version_minor": 0
            },
            "text/plain": [
              "vocab.json:   0%|          | 0.00/899k [00:00<?, ?B/s]"
            ]
          },
          "metadata": {},
          "output_type": "display_data"
        },
        {
          "data": {
            "application/vnd.jupyter.widget-view+json": {
              "model_id": "ba92f5cc4dbe475e9a6e1496a5d6cb79",
              "version_major": 2,
              "version_minor": 0
            },
            "text/plain": [
              "merges.txt:   0%|          | 0.00/456k [00:00<?, ?B/s]"
            ]
          },
          "metadata": {},
          "output_type": "display_data"
        },
        {
          "data": {
            "application/vnd.jupyter.widget-view+json": {
              "model_id": "aaebbec3802b49bea2da4e716ad4f1c7",
              "version_major": 2,
              "version_minor": 0
            },
            "text/plain": [
              "tokenizer.json:   0%|          | 0.00/1.36M [00:00<?, ?B/s]"
            ]
          },
          "metadata": {},
          "output_type": "display_data"
        }
      ],
      "source": [
        "summarizer = pipeline(\"summarization\", model=\"facebook/bart-large-cnn\")\n",
        "ARTICLE =translation"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "DJuXTRtB2WxU",
        "outputId": "07c8bfb7-87d1-49d7-84bb-87cb34104620"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "[{'summary_text': 'On Friday, August 6, the first day of the Financial Industry Exhibition was held at the permanent exhibition site. During the ceremony, a group of people had prepared various banners to protest the management of the organization. A meeting was held to replace absentees.'}]\n"
          ]
        }
      ],
      "source": [
        "print(summarizer(ARTICLE, max_length=130, min_length=30, do_sample=False))\n",
        "keywords_Extracter=summarizer(ARTICLE, max_length=130, min_length=30, do_sample=False)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "CocPsvLhrppH"
      },
      "source": [
        "Translate English to Farsi"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "hMu54K7zTZvF",
        "outputId": "01f7d713-f98a-4c6b-9906-f1cfc74ca885"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "[{'Summary_Text': 'در روز جمعه ، 6 اوت ، اولین روز نمایشگاه صنعت مالی در سایت نمایشگاه دائمی برگزار شد.در این مراسم ، گروهی از مردم برای اعتراض به مدیریت سازمان ، آگهی های مختلفی را تهیه کرده بودند.جلسه ای برای جایگزینی غایب برگزار شد. '}]\n"
          ]
        }
      ],
      "source": [
        "def translate_text(text):\n",
        "    translator = Translator()\n",
        "    translation = translator.translate(text, dest='fa')\n",
        "    return translation.text\n",
        "\n",
        "# # متن یا مقاله‌ای که می‌خواهید ترجمه کنید\n",
        "input_text=str(keywords_Extracter)\n",
        "\n",
        "\n",
        "# input_text = \"متن یا مقاله‌ای در اینجا قرار بدهید.\"\n",
        "translation = translate_text(input_text)\n",
        "print(translation)"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "oLeiKa7ZidGS"
      },
      "source": [
        "Extract keywords"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "AnHVF1X0dLjM"
      },
      "outputs": [],
      "source": [
        "from transformers import AutoTokenizer, AutoModelForSeq2SeqLM\n",
        "\n",
        "model_name = \"facebook/bart-large-cnn\"  # یا هر مدل دیگری که ترجیح می‌دهید\n",
        "tokenizer = AutoTokenizer.from_pretrained(model_name)\n",
        "model = AutoModelForSeq2SeqLM.from_pretrained(model_name)\n"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "D5sMXv_guRaT"
      },
      "outputs": [],
      "source": [
        "def extract_keywords(text, num_keywords=5):\n",
        "    inputs = tokenizer(text, return_tensors=\"pt\")\n",
        "    outputs = model.generate(**inputs, max_length=70, num_beams=5)\n",
        "    decoded = tokenizer.decode(outputs[0], skip_special_tokens=True)\n",
        "    keywords = decoded.split(\",\")\n",
        "    return keywords[:num_keywords]\n"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "FS1sdhUgvTxL",
        "outputId": "4c74fd04-1d9b-48fd-8ded-d934236a2092"
      },
      "outputs": [
        {
          "data": {
            "text/plain": [
              "[{'summary_text': 'On Friday, August 6, the first day of the Financial Industry Exhibition was held at the permanent exhibition site. During the ceremony, a group of people had prepared various banners to protest the management of the organization. A meeting was held to replace absentees.'}]"
            ]
          },
          "execution_count": 15,
          "metadata": {},
          "output_type": "execute_result"
        }
      ],
      "source": [
        "keywords_Extracter"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 54
        },
        "id": "ApGSI3cf86Eg",
        "outputId": "20d43573-9f98-4542-cc2a-0fdee06edf87"
      },
      "outputs": [
        {
          "data": {
            "application/vnd.google.colaboratory.intrinsic+json": {
              "type": "string"
            },
            "text/plain": [
              "\"[{'Summary_Text': 'در روز جمعه ، 6 اوت ، اولین روز نمایشگاه صنعت مالی در سایت نمایشگاه دائمی برگزار شد.در این مراسم ، گروهی از مردم برای اعتراض به مدیریت سازمان ، آگهی های مختلفی را تهیه کرده بودند.جلسه ای برای جایگزینی غایب برگزار شد. '}]\""
            ]
          },
          "execution_count": 16,
          "metadata": {},
          "output_type": "execute_result"
        }
      ],
      "source": [
        "text=translation\n",
        "text"
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "from transformers import pipeline"
      ],
      "metadata": {
        "id": "1D77wExc3HnJ"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "cE3inR22ATlx",
        "outputId": "7e7dfe1c-3578-4bf9-8c6d-a0f23cd56ae2"
      },
      "outputs": [
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "Some weights of the model checkpoint at dbmdz/bert-large-cased-finetuned-conll03-english were not used when initializing BertForTokenClassification: ['bert.pooler.dense.bias', 'bert.pooler.dense.weight']\n",
            "- This IS expected if you are initializing BertForTokenClassification from the checkpoint of a model trained on another task or with another architecture (e.g. initializing a BertForSequenceClassification model from a BertForPreTraining model).\n",
            "- This IS NOT expected if you are initializing BertForTokenClassification from the checkpoint of a model that you expect to be exactly identical (initializing a BertForSequenceClassification model from a BertForSequenceClassification model).\n"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Word: Financial, Entity: I-MISC\n",
            "Word: Industry, Entity: I-MISC\n",
            "Word: Exhibition, Entity: I-MISC\n"
          ]
        }
      ],
      "source": [
        "# بارگذاری مدل استخراج کلمات کلیدی\n",
        "nlp = pipeline(\"ner\", model=\"dbmdz/bert-large-cased-finetuned-conll03-english\")\n",
        "\n",
        "text = str(keywords_Extracter)\n",
        "\n",
        "# استخراج کلمات کلیدی\n",
        "keywords = nlp(text)\n",
        "\n",
        "# نمایش کلمات کلیدی استخراج‌شده\n",
        "for keyword in keywords:\n",
        "    print(f\"Word: {keyword['word']}, Entity: {keyword['entity']}\")\n"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "sSNG2lnkB00Q",
        "outputId": "4ba39bed-8375-40fd-ebe0-3f7982a6cbde"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Word: Financial, Entity: I-MISC\n",
            "Word: Industry, Entity: I-MISC\n",
            "Word: Exhibition, Entity: I-MISC\n"
          ]
        }
      ],
      "source": [
        "top_keywords = keywords[:5]\n",
        "\n",
        "for keyword in top_keywords:\n",
        "    print(f\"Word: {keyword['word']}, Entity: {keyword['entity']}\")"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "O3MsYwI6B2N9",
        "outputId": "f2cae698-be0c-44bc-b6b2-6d945590c67a"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Word: Financial\n",
            "Word: Industry\n",
            "Word: Exhibition\n"
          ]
        }
      ],
      "source": [
        " for keyword in top_keywords:\n",
        "   print(f\"Word: {keyword['word']}\")"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "XgUHEIANit12"
      },
      "source": [
        "Extract keywords exactly"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "YsoWMg2aCgdR",
        "outputId": "c2b3de33-7877-4ec3-fdc7-da16fca21816"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "['exhibition', 'held', 'various', 'summary_text', 'august']\n"
          ]
        }
      ],
      "source": [
        "from sklearn.feature_extraction.text import TfidfVectorizer\n",
        "\n",
        "def extract_keywords(text, num_keywords=5):\n",
        "    tfidf = TfidfVectorizer(stop_words='english')\n",
        "    tfidf_matrix = tfidf.fit_transform([text])\n",
        "    feature_names = tfidf.get_feature_names_out()\n",
        "    sorted_indices = tfidf_matrix.toarray().argsort()[:, ::-1]\n",
        "    keywords = [feature_names[idx] for idx in sorted_indices[0][:num_keywords]]\n",
        "    return keywords\n",
        "\n",
        "# متن انگلیسی که می‌خواهید کلمات کلیدی آن را استخراج کنید\n",
        "# text = \"Your English text here.\"\n",
        "\n",
        "keywords = extract_keywords(text, num_keywords=5)\n",
        "print(keywords)\n"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "K2Ari_4ZDtJJ",
        "outputId": "8dfcbad8-7cca-4245-d755-f18bbc94a7cf"
      },
      "outputs": [
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "[nltk_data] Downloading package stopwords to /root/nltk_data...\n",
            "[nltk_data]   Unzipping corpora/stopwords.zip.\n",
            "[nltk_data] Downloading package punkt to /root/nltk_data...\n",
            "[nltk_data]   Unzipping tokenizers/punkt.zip.\n",
            "[nltk_data] Downloading package wordnet to /root/nltk_data...\n"
          ]
        },
        {
          "data": {
            "text/plain": [
              "True"
            ]
          },
          "execution_count": 23,
          "metadata": {},
          "output_type": "execute_result"
        }
      ],
      "source": [
        "import nltk\n",
        "nltk.download('stopwords')\n",
        "nltk.download('punkt')\n",
        "nltk.download('wordnet')\n",
        "from sklearn.feature_extraction.text import TfidfVectorizer\n",
        "from nltk.corpus import stopwords\n",
        "from nltk.tokenize import word_tokenize"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "WIC7wR_ODZC5",
        "outputId": "e3149f0f-0236-43ea-a946-8c1387474141"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "['held', 'exhibition', 'various', 'august', 'banners']\n"
          ]
        }
      ],
      "source": [
        "def preprocess_text(text):\n",
        "    # حذف علائم نگارشی و تبدیل به حروف کوچک\n",
        "    text = text.lower()\n",
        "    text = text.replace('.', '')\n",
        "    # حذف علائم نگارشی\n",
        "    text = ''.join(char for char in text if char.isalnum() or char.isspace())\n",
        "    return text\n",
        "\n",
        "def extract_keywords(text, num_keywords=5):\n",
        "    text = preprocess_text(text)\n",
        "    stop_words = set(stopwords.words('english'))\n",
        "    word_tokens = word_tokenize(text)\n",
        "    filtered_text = [word for word in word_tokens if word not in stop_words]\n",
        "\n",
        "    text = ' '.join(filtered_text)\n",
        "\n",
        "    tfidf = TfidfVectorizer()\n",
        "    tfidf_matrix = tfidf.fit_transform([text])\n",
        "    feature_names = tfidf.get_feature_names_out()\n",
        "    sorted_indices = tfidf_matrix.toarray().argsort()[:, ::-1]\n",
        "    keywords = [feature_names[idx] for idx in sorted_indices[0][:num_keywords]]\n",
        "    return keywords\n",
        "\n",
        "# متن انگلیسی که می‌خواهید کلمات کلیدی آن را استخراج کنید\n",
        "# text = \"Your English text here.\"\n",
        "\n",
        "keywords = extract_keywords(text, num_keywords=5)\n",
        "print(keywords)\n"
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "from sklearn.feature_extraction.text import TfidfVectorizer\n",
        "from nltk.corpus import stopwords\n",
        "from nltk.tokenize import word_tokenize\n",
        "from nltk.corpus import wordnet"
      ],
      "metadata": {
        "id": "nIivjvU03XIs"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "89-6hNyNEWOu",
        "outputId": "24d9d45b-6bd0-4da4-d845-fa086e7f914b"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "['various', 'held', 'august', 'banners', 'ceremony', 'day', 'exhibition', 'financial', 'first', 'friday']\n"
          ]
        }
      ],
      "source": [
        "def preprocess_text(text):\n",
        "    # حذف علائم نگارشی و تبدیل به حروف کوچک\n",
        "    text = text.lower()\n",
        "    text = text.replace('.', '')\n",
        "    # حذف علائم نگارشی\n",
        "    text = ''.join(char for char in text if char.isalnum() or char.isspace())\n",
        "    return text\n",
        "\n",
        "def get_synonyms(word):\n",
        "    synonyms = set()\n",
        "    for syn in wordnet.synsets(word):\n",
        "        for lemma in syn.lemmas():\n",
        "            synonyms.add(lemma.name())\n",
        "    return synonyms\n",
        "\n",
        "def extract_keywords(text, num_keywords=5):\n",
        "    text = preprocess_text(text)\n",
        "    stop_words = set(stopwords.words('english'))\n",
        "    word_tokens = word_tokenize(text)\n",
        "    filtered_text = [word for word in word_tokens if word not in stop_words]\n",
        "\n",
        "    filtered_text_keywords = []\n",
        "    for word in filtered_text:\n",
        "        synonyms = get_synonyms(word)\n",
        "        if not any(synonym in filtered_text_keywords for synonym in synonyms):\n",
        "            filtered_text_keywords.append(word)\n",
        "\n",
        "    text = ' '.join(filtered_text_keywords)\n",
        "\n",
        "    tfidf = TfidfVectorizer()\n",
        "    tfidf_matrix = tfidf.fit_transform([text])\n",
        "    feature_names = tfidf.get_feature_names_out()\n",
        "    sorted_indices = tfidf_matrix.toarray().argsort()[:, ::-1]\n",
        "    keywords = [feature_names[idx] for idx in sorted_indices[0][:num_keywords]]\n",
        "    return keywords\n",
        "\n",
        "# متن انگلیسی که می‌خواهید کلمات کلیدی آن را استخراج کنید\n",
        "# text = \"Your English text here.\"\n",
        "\n",
        "keywords = extract_keywords(text, num_keywords=10)\n",
        "print(keywords)\n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "u9Uwi2aWFEki"
      },
      "source": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "s5I32gY7jJo7"
      },
      "source": [
        "Extract *Keywords*"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "huqtfb-njQA7"
      },
      "outputs": [],
      "source": [
        "from sklearn.feature_extraction.text import TfidfVectorizer\n",
        "from nltk.corpus import stopwords\n",
        "from nltk.tokenize import word_tokenize\n",
        "from nltk.corpus import wordnet"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "5X_A1Qd4E-0J",
        "outputId": "22c903f7-6f3f-47ce-f6c7-655118bb18c7"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "['various', 'held', 'august', 'banners', 'ceremony', 'day', 'exhibition', 'financial', 'first', 'friday']\n"
          ]
        }
      ],
      "source": [
        "def preprocess_text(text):\n",
        "    # حذف علائم نگارشی و تبدیل به حروف کوچک\n",
        "    text = text.lower()\n",
        "    text = text.replace('.', '')\n",
        "    # حذف علائم نگارشی\n",
        "    text = ''.join(char for char in text if char.isalnum() or char.isspace())\n",
        "    return text\n",
        "\n",
        "def get_synonyms(word):\n",
        "    synonyms = set()\n",
        "    for syn in wordnet.synsets(word):\n",
        "        for lemma in syn.lemmas():\n",
        "            synonyms.add(lemma.name())\n",
        "    return synonyms\n",
        "\n",
        "def extract_keywords(text, num_keywords=5):\n",
        "    text = preprocess_text(text)\n",
        "    stop_words = set(stopwords.words('english'))\n",
        "    word_tokens = word_tokenize(text)\n",
        "    filtered_text = [word for word in word_tokens if word not in stop_words]\n",
        "\n",
        "    filtered_text_keywords = []\n",
        "    for word in filtered_text:\n",
        "        synonyms = get_synonyms(word)\n",
        "        if not any(synonym in filtered_text_keywords for synonym in synonyms):\n",
        "            filtered_text_keywords.append(word)\n",
        "\n",
        "    text = ' '.join(filtered_text_keywords)\n",
        "\n",
        "    tfidf = TfidfVectorizer()\n",
        "    tfidf_matrix = tfidf.fit_transform([text])\n",
        "    feature_names = tfidf.get_feature_names_out()\n",
        "    sorted_indices = tfidf_matrix.toarray().argsort()[:, ::-1]\n",
        "    keywords = [feature_names[idx] for idx in sorted_indices[0][:num_keywords]]\n",
        "    return keywords\n",
        "\n",
        "# متن انگلیسی که می‌خواهید کلمات کلیدی آن را استخراج کنید\n",
        "# text = \"Your English text here.\"\n",
        "\n",
        "keywords = extract_keywords(text, num_keywords=10)\n",
        "print(keywords)\n"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "x3-QsJHbGAUZ",
        "outputId": "4a8cc6fc-20ee-44e0-de83-085ac8a3c8c6"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Keywords: ['held', 'exhibition', 'various banners', 'exhibition site', 'held permanent', 'group people', 'group', 'friday august', 'friday', 'financial industry']\n"
          ]
        }
      ],
      "source": [
        "from sklearn.feature_extraction.text import TfidfVectorizer\n",
        "\n",
        "def extract_keywords(text, num_keywords=5, ngram_range=(1, 1)):\n",
        "    # ایجاد مدل TF-IDF با امکان تعریف n-grams و استفاده از stop_words\n",
        "    tfidf = TfidfVectorizer(stop_words='english', ngram_range=ngram_range)\n",
        "    tfidf_matrix = tfidf.fit_transform([text])\n",
        "    feature_names = tfidf.get_feature_names_out()\n",
        "\n",
        "    # استخراج نمره‌های TF-IDF و مرتب‌سازی آنها\n",
        "    scores = tfidf_matrix.toarray().flatten()\n",
        "    sorted_indices = scores.argsort()[::-1]\n",
        "\n",
        "    # انتخاب کلمات کلیدی بر اساس نمرات بالا\n",
        "    keywords = [feature_names[idx] for idx in sorted_indices[:num_keywords]]\n",
        "    return keywords\n",
        "\n",
        "\n",
        "\n",
        "# استخراج کلمات کلیدی\n",
        "keywords = extract_keywords(text, num_keywords=10, ngram_range=(1, 2))\n",
        "print(\"Keywords:\", keywords)\n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Xz3bZ-MAqry_"
      },
      "source": [
        "Translate English to Farsi"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "6OIfGZd7UQb0",
        "outputId": "da84c0f1-c5ee-48f4-ed18-abe682b5291a"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "['برگزار شده' ، 'نمایشگاه' ، 'آگهی های مختلف' ، \"سایت نمایشگاه\" ، \"دائمی\" ، \"گروه افراد\" ، \"گروه\" ، \"جمعه آگوست\" ، \"جمعه\" ، \"صنعت مالی\"]\n"
          ]
        }
      ],
      "source": [
        "def translate_text(text):\n",
        "    translator = Translator()\n",
        "    translation = translator.translate(text, dest='fa')\n",
        "    return translation.text\n",
        "\n",
        "# متن یا مقاله‌ای که می‌خواهید ترجمه کنید\n",
        "input_text=str(keywords)\n",
        "\n",
        "\n",
        "translation = translate_text(input_text)\n",
        "print(translation)"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "UcWgley3UQS3"
      },
      "outputs": [],
      "source": [
        "# نصب کتابخانه‌های مورد نیاز\n",
        "!pip install nltk\n",
        "\n",
        "# وارد کردن کتابخانه‌های مورد نیاز\n",
        "import nltk\n",
        "from nltk.corpus import stopwords\n",
        "from nltk.tokenize import word_tokenize, sent_tokenize\n",
        "from collections import Counter\n",
        "\n",
        "# دانلود منابع لازم از NLTK\n",
        "nltk.download('punkt')\n",
        "nltk.download('stopwords')\n",
        "text =input_text\n",
        "# متن مورد نظر\n",
        "# text = \"\"\"\n",
        "# حسین عبده تبریزی ساعاتی بعد با انتشار متنی نسبت به حواشی به وجود آمده توضیح داد و در پیامش نوشت:\n",
        "\n",
        "# «روز جمعه ۱۹ مرداد اولین روز برگزاری نمایشگاه صنعت مالی در محل دائمی نمایشگاه‌ها بود. متاسفانه مدیران سازمان بورس، وزیر محترم و سایرین به مراسم نیامدند. در مراسم افتتاحیه، آن قدر بی‌کسی بود که من سخنران افتتاحیه شدم. البته آقای دکتر شمس‌الدین حسینی نیز بعدا رسیدند. دسته‌ای از افراد علیه مدیریت سازمان بنر‌های مختلف تهیه کرده بودند، و وقتی از سالن افتتاحیه خارج شدم، چند نفری پیش من آمدند که به دلیل بنر‌ها و اعتراض‌هایی که کرده بودند، دو نفر دستگیر شده‌اند، و از من امداد طلبییدند. با مراجعه‌ من به پلیس روشن شد که قصد دستگیری نیست، و با آن‌ها حرف می‌زنند که جلسه را به هم نریزند.\n",
        "\n",
        "# به سالن نمایشگاه رفتم و عده زیادی اطراف ساعت ۱۰ و نیم آنجا گرد آمده بودند و شکایت‌ها داشتند، و به ویژه از مدیریت بازار شکوه داشتند، و این که چرا من به آقای پزشکیان نمی‌گویم وی می‌باید بلافاصله عزل شود. صحبت‌ها تا ۱۲:۴۰ ادامه یافت و توانستم عده‌ خوبی را قانع کنم که تا استقرار دولت صبر کنند و تلاش کردم که بپرسم سایر مشکلات چیست. با خود فکر می‌کردم که کار درستی انجام می‌دهم، چرا که حداقل باید فرق دولت پزشکیان با دولت‌های قبل این باشد که سختی حرف مردم را  تحمل کنند و اجازه دهند مردم حرف دل خود را بزنند و شکایت‌های خود را مطرح کنند. این حداقلی است که دولت پزشکیان را از بقیه جدا می‌کند.\n",
        "\n",
        "# ساعت ۱۳ نشستی از کارشناسان تشکیل شده بود، تا جای نیامدن  افراد قبلی را پر کنند. جلسه بسیار خوب پیش رفت، و حدود ۲۰۰ نفری که جمع شده بودند، درد‌های خود را بازگو کردند. از این که رئیس جمهور هیچ توجهی به بورس ندارند گله‌مند بودند. اما شکایت‌های عمده دوباره روی مدیریت بورس متمرکز شد. حدود ساعت ۱۴ حدود چند نفری از معترضان سالن افتتاحیه با سروصدای فراوان آمدند و دائما علیه مدیریت بورس شعار می‌دانند، و دم گرفته بودند. طبعا نظم جلسه را به هم زدند و در نوبت‌هایی که برای صحبت به ایشان دادم نیز غیر از تغییر مدیریت، حرف دیگری نداشتند. به هر حال، با تجمیع این نفرات با ۲۰۰ نفری که مستمع نشست بودند، استدلال‌های بنده برای شکیبایی تا زمان تشکیل کابینه، فایده نبخشید. حدود ۵ نفر از جمع با اعتراض نظم جلسه را بر هم زدند، و یک نفر آن‌ها با متهم کردن بنده به طرفداری از مدیریت، بی‌حرمتی را به حد اعلا رساند؛ و این لحظه‌ای بود که برای حفظ نظم و پاسخ به توهین وی، ناچار فریاد زدم که احتمالآ بریده‌ی فیلم آن از ایران اینترنشنال را در اینستا دیده‌اید. بعد از آن، جلسه ادامه یافت و تا ساعت ۱۵:۱۵ با نوعی نظم پیش رفتیم، و نشست را به پایان رساندیم.\n",
        "\n",
        "# در کل روز سخت و در عین حال موفقی بود. فکر می‌کنم بیشتر حاضران از صبر و بردباری بنده رضایت داشتند و از این که حرف اهالی بازار سرمایه بعد از سال‌ها شنیده می‌شود. خوشحالم که امروز تحمل کردم عده‌ای سرم داد بزنند و مرا متهم کنند که خبر به آقای رئیس جمهور نداده‌ام و انتقال‌دهنده‌ی امینی نبوده‌ام. در عین حال شرمنده‌ام که به قدر کافی صبور نبوده‌ام. کاش شکیباتر بودم.\n",
        "\n",
        "# از درگاه حق، برای دولت آقای پزشکیان که این همه انتظار از آن می‌رود، (متاسفانه بودند کسانی که اعلام می‌کردند به دلیل کم‌کاری دولت آقای پزشکیان در انجام تغییرات، از رأی خود پشیمان‌اند) آرزوی توفیق و موفقیت دارم.\n",
        "# \"\"\"\n",
        "\n",
        "# توکنایز کردن کلمات\n",
        "words = word_tokenize(text.lower())\n",
        "\n",
        "# حذف توقف‌واژه‌ها (کلمات بی‌معنی مانند \"و\"، \"در\"، \"به\"، و ...)\n",
        "stop_words = set(stopwords.words(words))\n",
        "# stop_words = set(stopwords.words('farsi'))\n",
        "\n",
        "filtered_words = [word for word in words if word.isalnum() and word not in stop_words]\n",
        "\n",
        "# شمارش فراوانی کلمات\n",
        "word_freq = Counter(filtered_words)\n",
        "\n",
        "# نمایش ۵ کلمه پرتکرار (کلمات کلیدی)\n",
        "keywords = word_freq.most_common(5)\n",
        "print(keywords)\n"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "background_save": true,
          "base_uri": "https://localhost:8080/"
        },
        "id": "A9qZxZAjtKT6",
        "outputId": "1d7ec819-ce0d-463b-cce8-454492555114"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Requirement already satisfied: scikit-learn in /usr/local/lib/python3.10/dist-packages (1.3.2)\n",
            "Requirement already satisfied: numpy<2.0,>=1.17.3 in /usr/local/lib/python3.10/dist-packages (from scikit-learn) (1.26.4)\n",
            "Requirement already satisfied: scipy>=1.5.0 in /usr/local/lib/python3.10/dist-packages (from scikit-learn) (1.13.1)\n",
            "Requirement already satisfied: joblib>=1.1.1 in /usr/local/lib/python3.10/dist-packages (from scikit-learn) (1.4.2)\n",
            "Requirement already satisfied: threadpoolctl>=2.0.0 in /usr/local/lib/python3.10/dist-packages (from scikit-learn) (3.5.0)\n",
            "/usr/lib/python3.10/runpy.py:126: RuntimeWarning: 'nltk.downloader' found in sys.modules after import of package 'nltk', but prior to execution of 'nltk.downloader'; this may result in unpredictable behaviour\n",
            "  warn(RuntimeWarning(msg))\n",
            "[nltk_data] Downloading package stopwords to /root/nltk_data...\n",
            "[nltk_data]   Package stopwords is already up-to-date!\n",
            "/usr/lib/python3.10/runpy.py:126: RuntimeWarning: 'nltk.downloader' found in sys.modules after import of package 'nltk', but prior to execution of 'nltk.downloader'; this may result in unpredictable behaviour\n",
            "  warn(RuntimeWarning(msg))\n",
            "[nltk_data] Error loading persian: Package 'persian' not found in\n",
            "[nltk_data]     index\n",
            "Error installing package. Retry? [n/y/e]\n"
          ]
        }
      ],
      "source": [
        "!pip install scikit-learn\n",
        "!python -m nltk.downloader stopwords\n",
        "!python -m nltk.downloader persian\n",
        "# نصب کتابخانه‌های مورد نیاز\n",
        "!pip install nltk\n",
        "# !pip install sklearn"
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "# وارد کردن کتابخانه‌های مورد نیاز\n",
        "import nltk\n",
        "from nltk.tokenize import word_tokenize\n",
        "from nltk.corpus import stopwords\n",
        "from sklearn.feature_extraction.text import TfidfVectorizer\n",
        "import numpy as np\n",
        "# دانلود منابع لازم از NLTK\n",
        "nltk.download('punkt')\n",
        "nltk.download('stopwords')"
      ],
      "metadata": {
        "id": "grRimVEA3j0n"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "8SzaIHK1Gt9c"
      },
      "outputs": [],
      "source": [
        "# # متن مورد نظر\n",
        "# text = \"\"\"\n",
        "# حسین عبده تبریزی ساعاتی بعد با انتشار متنی نسبت به حواشی به وجود آمده توضیح داد و در پیامش نوشت:\n",
        "\n",
        "# «روز جمعه ۱۹ مرداد اولین روز برگزاری نمایشگاه صنعت مالی در محل دائمی نمایشگاه‌ها بود. متاسفانه مدیران سازمان بورس، وزیر محترم و سایرین به مراسم نیامدند. در مراسم افتتاحیه، آن قدر بی‌کسی بود که من سخنران افتتاحیه شدم. البته آقای دکتر شمس‌الدین حسینی نیز بعدا رسیدند. دسته‌ای از افراد علیه مدیریت سازمان بنر‌های مختلف تهیه کرده بودند، و وقتی از سالن افتتاحیه خارج شدم، چند نفری پیش من آمدند که به دلیل بنر‌ها و اعتراض‌هایی که کرده بودند، دو نفر دستگیر شده‌اند، و از من امداد طلبییدند. با مراجعه‌ من به پلیس روشن شد که قصد دستگیری نیست، و با آن‌ها حرف می‌زنند که جلسه را به هم نریزند.\n",
        "\n",
        "# به سالن نمایشگاه رفتم و عده زیادی اطراف ساعت ۱۰ و نیم آنجا گرد آمده بودند و شکایت‌ها داشتند، و به ویژه از مدیریت بازار شکوه داشتند، و این که چرا من به آقای پزشکیان نمی‌گویم وی می‌باید بلافاصله عزل شود. صحبت‌ها تا ۱۲:۴۰ ادامه یافت و توانستم عده‌ خوبی را قانع کنم که تا استقرار دولت صبر کنند و تلاش کردم که بپرسم سایر مشکلات چیست. با خود فکر می‌کردم که کار درستی انجام می‌دهم، چرا که حداقل باید فرق دولت پزشکیان با دولت‌های قبل این باشد که سختی حرف مردم را  تحمل کنند و اجازه دهند مردم حرف دل خود را بزنند و شکایت‌های خود را مطرح کنند. این حداقلی است که دولت پزشکیان را از بقیه جدا می‌کند.\n",
        "\n",
        "# ساعت ۱۳ نشستی از کارشناسان تشکیل شده بود، تا جای نیامدن  افراد قبلی را پر کنند. جلسه بسیار خوب پیش رفت، و حدود ۲۰۰ نفری که جمع شده بودند، درد‌های خود را بازگو کردند. از این که رئیس جمهور هیچ توجهی به بورس ندارند گله‌مند بودند. اما شکایت‌های عمده دوباره روی مدیریت بورس متمرکز شد. حدود ساعت ۱۴ حدود چند نفری از معترضان سالن افتتاحیه با سروصدای فراوان آمدند و دائما علیه مدیریت بورس شعار می‌دانند، و دم گرفته بودند. طبعا نظم جلسه را به هم زدند و در نوبت‌هایی که برای صحبت به ایشان دادم نیز غیر از تغییر مدیریت، حرف دیگری نداشتند. به هر حال، با تجمیع این نفرات با ۲۰۰ نفری که مستمع نشست بودند، استدلال‌های بنده برای شکیبایی تا زمان تشکیل کابینه، فایده نبخشید. حدود ۵ نفر از جمع با اعتراض نظم جلسه را بر هم زدند، و یک نفر آن‌ها با متهم کردن بنده به طرفداری از مدیریت، بی‌حرمتی را به حد اعلا رساند؛ و این لحظه‌ای بود که برای حفظ نظم و پاسخ به توهین وی، ناچار فریاد زدم که احتمالآ بریده‌ی فیلم آن از ایران اینترنشنال را در اینستا دیده‌اید. بعد از آن، جلسه ادامه یافت و تا ساعت ۱۵:۱۵ با نوعی نظم پیش رفتیم، و نشست را به پایان رساندیم.\n",
        "\n",
        "# در کل روز سخت و در عین حال موفقی بود. فکر می‌کنم بیشتر حاضران از صبر و بردباری بنده رضایت داشتند و از این که حرف اهالی بازار سرمایه بعد از سال‌ها شنیده می‌شود. خوشحالم که امروز تحمل کردم عده‌ای سرم داد بزنند و مرا متهم کنند که خبر به آقای رئیس جمهور نداده‌ام و انتقال‌دهنده‌ی امینی نبوده‌ام. در عین حال شرمنده‌ام که به قدر کافی صبور نبوده‌ام. کاش شکیباتر بودم.\n",
        "\n",
        "# از درگاه حق، برای دولت آقای پزشکیان که این همه انتظار از آن می‌رود، (متاسفانه بودند کسانی که اعلام می‌کردند به دلیل کم‌کاری دولت آقای پزشکیان در انجام تغییرات، از رأی خود پشیمان‌اند) آرزوی توفیق و موفقیت دارم.\n",
        "# \"\"\"\n",
        "\n",
        "# لیست توقف‌واژه‌های فارسی\n",
        "farsi_stop_words = stopwords.words('persian')\n",
        "\n",
        "# توکنایز کردن کلمات\n",
        "words = word_tokenize(text.lower())\n",
        "\n",
        "# حذف توقف‌واژه‌ها\n",
        "filtered_words = [word for word in words if word.isalnum() and word not in farsi_stop_words]\n",
        "\n",
        "# تبدیل متن به بردارهای TF-IDF\n",
        "vectorizer = TfidfVectorizer()\n",
        "tfidf_matrix = vectorizer.fit_transform([' '.join(filtered_words)])\n",
        "\n",
        "# دریافت کلمات کلیدی بر اساس نمره TF-IDF\n",
        "feature_names = np.array(vectorizer.get_feature_names_out())\n",
        "tfidf_scores = np.array(tfidf_matrix.toarray()).flatten()\n",
        "\n",
        "# مرتب‌سازی کلمات کلیدی بر اساس نمره TF-IDF\n",
        "sorted_indices = np.argsort(tfidf_scores)[::-1]\n",
        "top_n = 5  # تعداد کلمات کلیدی برتر\n",
        "keywords = feature_names[sorted_indices][:top_n]\n",
        "\n",
        "# نمایش کلمات کلیدی\n",
        "print(keywords)\n"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "j6uuVXcZNmjz"
      },
      "outputs": [],
      "source": [
        "# StopWords In Persian Language\n",
        "words=[\"آباد\",\"آره\",\"آری\",\"آمد\",\"آمده\",\"آن\",\"آنان\",\"آنجا\",\"آنطور\",\"آنقدر\",\"آنكه\",\"آنها\",\"آنچه\",\"آنکه\",\"آورد\",\"آورده\",\"آيد\",\"آی\",\"آیا\",\"آیند\",\n",
        "\"اتفاقا\",\"اثرِ\",\"احتراما\",\"احتمالا\",\"اخیر\",\"اری\",\"از\",\"ازجمله\",\"اساسا\",\"است\",\"استفاد\",\"استفاده\",\"اش\",\"اشکارا\",\"اصلا\",\"اصولا\",\"اعلام\",\"اغلب\",\n",
        "\"اكنون\",\"الان\",\"البته\",\"البتّه\",\"ام\",\"اما\",\"امروز\",\"امروزه\",\"امسال\",\"امشب\",\"امور\",\"ان\",\"انجام\",\"اند\",\"انشاالله\",\"انصافا\",\"انطور\",\"انقدر\",\n",
        "\"انها\",\"انچنان\",\"انکه\",\"انگار\",\"او\",\"اول\",\"اولا\",\"اي\",\"ايشان\",\"ايم\",\"اين\",\"اينكه\",\"اکثرا\",\"اکنون\",\"اگر\",\"ای\",\"ایا\",\"اید\",\"ایشان\",\"ایم\",\n",
        "\"این\",\"اینجا\",\"ایند\",\"اینطور\",\"اینقدر\",\"اینها\",\"اینچنین\",\"اینک\",\"اینکه\",\"اینگونه\",\"با\",\"بار\",\"بارة\",\"باره\",\"بارها\",\"باز\",\"بازهم\",\"باش\",\n",
        "\"باشد\",\"باشم\",\"باشند\",\"باشيم\",\"باشی\",\"باشید\",\"باشیم\",\"بالا\",\"بالاخره\",\"بالایِ\",\"بالطبع\",\"بايد\",\"باید\",\"بتوان\",\"بتواند\",\"بتوانی\",\"بتوانیم\",\n",
        "\"بخش\",\"بخشی\",\"بخواه\",\"بخواهد\",\"بخواهم\",\"بخواهند\",\"بخواهی\",\"بخواهید\",\"بخواهیم\",\"بد\",\"بدون\",\"بر\",\"برابر\",\"برابرِ\",\"براحتی\",\"براساس\",\"براستی\",\n",
        "\"براي\",\"برای\",\"برایِ\",\"برخوردار\",\"برخي\",\"برخی\",\"برداري\",\"برعکس\",\"بروز\",\"بزرگ\",\"بزودی\",\"بسا\",\"بسيار\",\"بسياري\",\"بسیار\",\"بسیاری\",\"بطور\",\n",
        "\"بعد\",\"بعدا\",\"بعدها\",\"بعری\",\"بعضا\",\"بعضي\",\"بلافاصله\",\"بلكه\",\"بله\",\"بلکه\",\"بلی\",\"بنابراين\",\"بنابراین\",\"بندي\",\"به\",\"بهتر\",\"بهترين\",\"بود\",\n",
        "\"بودم\",\"بودن\",\"بودند\",\"بوده\",\"بودی\",\"بودید\",\"بودیم\",\"بویژه\",\"بي\",\"بيست\",\"بيش\",\"بيشتر\",\"بيشتري\",\"بين\",\"بکن\",\"بکند\",\"بکنم\",\"بکنند\",\"بکنی\",\n",
        "\"بکنید\",\"بکنیم\",\"بگو\",\"بگوید\",\"بگویم\",\"بگویند\",\"بگویی\",\"بگویید\",\"بگوییم\",\"بگیر\",\"بگیرد\",\"بگیرم\",\"بگیرند\",\"بگیری\",\"بگیرید\",\"بگیریم\",\n",
        "\"بی\",\"بیا\",\"بیاب\",\"بیابد\",\"بیابم\",\"بیابند\",\"بیابی\",\"بیابید\",\"بیابیم\",\"بیاور\",\"بیاورد\",\"بیاورم\",\"بیاورند\",\"بیاوری\",\"بیاورید\",\"بیاوریم\",\n",
        "\"بیاید\",\"بیایم\",\"بیایند\",\"بیایی\",\"بیایید\",\"بیاییم\",\"بیرون\",\"بیرونِ\",\"بیش\",\"بیشتر\",\"بیشتری\",\"بین\",\"ت\",\"تا\",\"تازه\",\"تاكنون\",\"تان\",\"تاکنون\",\n",
        "\"تحت\",\"تر\",\"تر  براساس\",\"ترين\",\"تقریبا\",\"تلویحا\",\"تمام\",\"تماما\",\"تمامي\",\"تنها\",\"تو\",\"تواند\",\"توانست\",\"توانستم\",\"توانستن\",\"توانستند\",\n",
        "\"توانسته\",\"توانستی\",\"توانستیم\",\"توانم\",\"توانند\",\"توانی\",\"توانید\",\"توانیم\",\"توسط\",\"تولِ\",\"تویِ\",\"ثانیا\",\"جا\",\"جاي\",\"جايي\",\"جای\",\"جدا\",\n",
        "\"جديد\",\"جدید\",\"جريان\",\"جریان\",\"جز\",\"جلوگيري\",\"جلویِ\",\"جمعا\",\"جناح\",\"جهت\",\"حاضر\",\"حال\",\"حالا\",\"حتما\",\"حتي\",\"حتی\",\"حداکثر\",\"حدودا\",\"حدودِ\",\n",
        "\"حق\",\"خارجِ\",\"خب\",\"خدمات\",\"خصوصا\",\"خلاصه\",\"خواست\",\"خواستم\",\"خواستن\",\"خواستند\",\"خواسته\",\"خواستی\",\"خواستید\",\"خواستیم\",\"خواهد\",\"خواهم\",\"خواهند\",\n",
        "\"خواهيم\",\"خواهی\",\"خواهید\",\"خواهیم\",\"خوب\",\"خود\",\"خودت\",\"خودتان\",\"خودش\",\"خودشان\",\"خودم\",\"خودمان\",\"خوشبختانه\",\"خويش\",\"خویش\",\"خویشتن\",\n",
        "\"خیاه\",\"خیر\",\"خیلی\",\"داد\",\"دادم\",\"دادن\",\"دادند\",\"داده\",\"دادی\",\"دادید\",\"دادیم\",\"دار\",\"دارد\",\"دارم\",\"دارند\",\"داريم\",\"داری\",\"دارید\",\"داریم\",\n",
        "\"داشت\",\"داشتم\",\"داشتن\",\"داشتند\",\"داشته\",\"داشتی\",\"داشتید\",\"داشتیم\",\"دانست\",\"دانند\",\"دایم\",\"دایما\",\"در\",\"درباره\",\"درمجموع\",\"درون\",\"دریغ\",\"دقیقا\",\n",
        "\"دنبالِ\",\"ده\",\"دهد\",\"دهم\",\"دهند\",\"دهی\",\"دهید\",\"دهیم\",\"دو\",\"دوباره\",\"دوم\",\"ديده\",\"ديروز\",\"ديگر\",\"ديگران\",\"ديگري\",\"دیر\",\"دیروز\",\"دیگر\",\"دیگران\",\n",
        "\"دیگری\",\"را\",\"راحت\",\"راسا\",\"راستی\",\"راه\",\"رسما\",\"رسید\",\"رفت\",\"رفته\",\"رو\",\"روب\",\"روز\",\"روزانه\",\"روزهاي\",\"روي\",\"روی\",\"رویِ\",\"ريزي\",\"زمان\",\n",
        "\"زمانی\",\"زمینه\",\"زود\",\"زياد\",\"زير\",\"زيرا\",\"زیر\",\"زیرِ\",\"سابق\",\"ساخته\",\"سازي\",\"سالانه\",\"سالیانه\",\"سایر\",\"سراسر\",\"سرانجام\",\"سریعا\",\"سریِ\",\"سعي\",\"سمتِ\",\"سوم\",\"سوي\",\"سوی\",\"سویِ\",\"سپس\",\n",
        "\"شان\",\"شايد\",\"شاید\",\"شخصا\",\"شد\",\"شدم\",\"شدن\",\"شدند\",\"شده\",\"شدی\",\"شدید\",\"شدیدا\",\"شدیم\",\"شش\",\"شش  نداشته\",\"شما\",\"شناسي\",\"شود\",\n",
        "\"شوم\",\"شوند\",\"شونده\",\"شوی\",\"شوید\",\"شویم\",\"صرفا\",\"صورت\",\"ضدِّ\",\"ضدِّ\",\"ضمن\",\"طبعا\",\"طبقِ\",\"طبیعتا\",\"طرف\",\"طريق\",\"طریق\",\"طور\",\"طي\",\"طی\",\n",
        "\"ظاهرا\",\"عدم\",\"عقبِ\",\"علّتِ\",\"علیه\",\"عمدا\",\"عمدتا\",\"عمل\",\"عملا\",\"عنوان\",\"عنوانِ\",\"غالبا\",\"غير\",\"غیر\",\"فردا\",\"فعلا\",\"فقط\",\"فكر\",\"فوق\",\"قابل\",\n",
        "\"قبل\",\"قبلا\",\"قدری\",\"قصدِ\",\"قطعا\",\"كرد\",\"كردم\",\"كردن\",\"كردند\",\"كرده\",\"كسي\",\"كل\",\"كمتر\",\"كند\",\"كنم\",\"كنند\",\"كنيد\",\"كنيم\",\"كه\",\"لااقل\",\"لطفا\",\n",
        "\"لطفاً\",\"ما\",\"مان\",\"مانند\",\"مانندِ\",\"مبادا\",\"متاسفانه\",\"متعاقبا\",\"مثل\",\"مثلا\",\"مثلِ\",\"مجانی\",\"مجددا\",\"مجموعا\",\"مختلف\",\"مدام\",\"مدت\",\"مدّتی\",\n",
        "\"مردم\",\"مرسی\",\"مستقیما\",\"مسلما\",\"مطمینا\",\"معمولا\",\"مقابل\",\"ممکن\",\"من\",\"موارد\",\"مورد\",\"موقتا\",\"مي\",\"ميليارد\",\"ميليون\",\"مگر\",\"می\",\"می شود\",\"میان\",\"می‌رسد\",\"می‌رود\",\"می‌شود\",\n",
        "\"می‌کنیم\",\"ناشي\",\"نام\",\"ناگاه\",\"ناگهان\",\"ناگهانی\",\"نبايد\",\"نباید\",\"نبود\",\"نخست\",\"نخستين\",\"نخواهد\",\"نخواهم\",\"نخواهند\",\"نخواهی\",\"نخواهید\",\n",
        "\"نخواهیم\",\"ندارد\",\"ندارم\",\"ندارند\",\"نداری\",\"ندارید\",\"نداریم\",\"نداشت\",\"نداشتم\",\"نداشتند\",\"نداشته\",\"نداشتی\",\"نداشتید\",\"نداشتیم\",\"نزديك\",\n",
        "\"نزدِ\",\"نزدیکِ\",\"نسبتا\",\"نشان\",\"نشده\",\"نظير\",\"نظیر\",\"نكرده\",\"نمايد\",\"نمي\",\"نمی\",\"نمی‌شود\",\"نه\",\"نهایتا\",\"نوع\",\"نوعي\",\"نوعی\",\"نيز\",\"نيست\",\n",
        "\"نگاه\",\"نیز\",\"نیست\",\"ها\",\"هاي\",\"هايي\",\"های\",\"هایی\",\"هبچ\",\"هر\",\"هرچه\",\"هرگز\",\"هزار\",\"هست\",\"هستم\",\"هستند\",\"هستيم\",\"هستی\",\"هستید\",\"هستیم\",\n",
        "\"هفت\",\"هم\",\"همان\",\"همه\",\"همواره\",\"همين\",\"همچنان\",\"همچنين\",\"همچنین\",\"همچون\",\"همیشه\",\"همین\",\"هنوز\",\"هنگام\",\"هنگامِ\",\"هنگامی\",\"هيچ\",\"هیچ\",\n",
        "\"هیچگاه\",\"و\",\"واقعا\",\"واقعی\",\"وجود\",\"وسطِ\",\"وضع\",\"وقتي\",\"وقتی\",\"وقتیکه\",\"ولی\",\"وي\",\"وگو\",\"وی\",\"ویژه\",\"يا\",\"يابد\",\"يك\",\"يكديگر\",\"يكي\",\"ّه\",\n",
        "\"٪\",\"پارسال\",\"پاعینِ\",\"پس\",\"پنج\",\"پيش\",\"پیدا\",\"پیش\",\"پیشاپیش\",\"پیشتر\",\"پیشِ\",\"چرا\",\"چطور\",\"چقدر\",\"چنان\",\"چنانچه\",\"چنانکه\",\"چند\",\"چندین\",\n",
        "\"چنين\",\"چنین\",\"چه\",\"چهار\",\"چو\",\"چون\",\"چيزي\",\"چگونه\",\"چیز\",\"چیزی\",\"چیست\",\"کاش\",\"کامل\",\"کاملا\",\"کتبا\",\"کجا\",\"کجاست\",\"کدام\",\"کرد\",\"کردم\",\n",
        "\"کردن\",\"کردند\",\"کرده\",\"کردی\",\"کردید\",\"کردیم\",\"کس\",\"کسانی\",\"کسی\",\"کل\",\"کلا\",\"کم\",\"کماکان\",\"کمتر\",\"کمتری\",\"کمی\",\"کن\",\"کنار\",\"کنارِ\",\"کند\",\n",
        "\"کنم\",\"کنند\",\"کننده\",\"کنون\",\"کنونی\",\"کنی\",\"کنید\",\"کنیم\",\"که\",\"کو\",\"کَی\",\"کی\",\"گاه\",\"گاهی\",\"گذاري\",\"گذاشته\",\"گذشته\",\"گردد\",\"گرفت\",\"گرفتم\",\n",
        "\"گرفتن\",\"گرفتند\",\"گرفته\",\"گرفتی\",\"گرفتید\",\"گرفتیم\",\"گروهي\",\"گفت\",\"گفتم\",\"گفتن\",\"گفتند\",\"گفته\",\"گفتی\",\"گفتید\",\"گفتیم\",\"گه\",\"گهگاه\",\"گو\",\n",
        "\"گويد\",\"گويند\",\"گویا\",\"گوید\",\"گویم\",\"گویند\",\"گویی\",\"گویید\",\"گوییم\",\"گيرد\",\"گيري\",\"گیرد\",\"گیرم\",\"گیرند\",\"گیری\",\"گیرید\",\"گیریم\",\"ی\",\n",
        "\"یا\",\"یابد\",\"یابم\",\"یابند\",\"یابی\",\"یابید\",\"یابیم\",\"یافت\",\"یافتم\",\"یافتن\",\"یافته\",\"یافتی\",\"یافتید\",\"یافتیم\",\"یعنی\",\"یقینا\",\"یه\",\"یک\",\n",
        "\"یکی\",\"\tو\",\"\tدر\",\"\tبه\",\"\tاز\",\"\tكه\",\"\tمي\",\"\tاين\",\"\tاست\",\"\tرا\",\"\tبا\",\"\tهاي\",\"\tبراي\",\"\tآن\",\"\tيك\",\"\tشود\",\"\tشده\",\"\tخود\",\"\tها\",\"\tكرد\",\n",
        "\"\tشد\",\"\tاي\",\"\tتا\",\"\tكند\",\"\tبر\",\"\tبود\",\"\tگفت\",\"\tنيز\",\"\tوي\",\"\tهم\",\"\tكنند\",\"\tدارد\",\"\tما\",\"\tكرده\",\"\tيا\",\"\tاما\",\"\tبايد\",\"\tدو\",\"\tاند\",\"\tهر\",\n",
        "\"\tخواهد\",\"\tاو\",\"\tمورد\",\"\tآنها\",\"\tباشد\",\"\tديگر\",\"\tمردم\",\"\tنمي\",\"\tبين\",\"\tپيش\",\"\tپس\",\"\tاگر\",\"\tهمه\",\"\tصورت\",\"\tيكي\",\"\tهستند\",\"\tبي\",\"\tمن\",\n",
        "\"\tدهد\",\"\tهزار\",\"\tنيست\",\"\tاستفاده\",\"\tداد\",\"\tداشته\",\"\tراه\",\"\tداشت\",\"\tچه\",\"\tهمچنين\",\"\tكردند\",\"\tداده\",\"\tبوده\",\"\tدارند\",\"\tهمين\",\"\tميليون\",\n",
        "\"\tسوي\",\"\tشوند\",\"\tبيشتر\",\"\tبسيار\",\"\tروي\",\"\tگرفته\",\"\tهايي\",\"\tتواند\",\"\tاول\",\"\tنام\",\"\tهيچ\",\"\tچند\",\"\tجديد\",\"\tبيش\",\"\tشدن\",\"\tكردن\",\"\tكنيم\",\n",
        "\"\tنشان\",\"\tحتي\",\"\tاينكه\",\"\tولی\",\"\tتوسط\",\"\tچنين\",\"\tبرخي\",\"\tنه\",\"\tديروز\",\"\tدوم\",\"\tدرباره\",\"\tبعد\",\"\tمختلف\",\"\tگيرد\",\"\tشما\",\"\tگفته\",\"\tآنان\",\n",
        "\"\tبار\",\"\tطور\",\"\tگرفت\",\"\tدهند\",\"\tگذاري\",\"\tبسياري\",\"\tطي\",\"\tبودند\",\"\tميليارد\",\"\tبدون\",\"\tتمام\",\"\tكل\",\"\tتر\",\"\tبراساس\",\"\tشدند\",\t\"\tترين\",\"\tامروز\",\"\tباشند\",\"\tندارد\",\"\tچون\",\"\tقابل\",\"\tگويد\",\"\tديگري\",\"\tهمان\",\"\tخواهند\",\"\tقبل\",\"\tآمده\",\"\tاكنون\",\"\tتحت\",\"\tطريق\",\n",
        "\t\"\tگيري\",\"\tجاي\",\"\tهنوز\",\"\tچرا\",\"\tالبته\",\"\tكنيد\",\"\tسازي\",\"\tسوم\",\"\tكنم\",\"\tبلكه\",\"\tزير\",\"\tتوانند\",\"\tضمن\",\"\tفقط\",\"\tبودن\",\"\tحق\",\n",
        "\t\"\tآيد\",\"\tوقتي\",\"\tاش\",\"\tيابد\",\"\tنخستين\",\"\tمقابل\",\"\tخدمات\",\"\tامسال\",\"\tتاكنون\",\"\tمانند\",\"\tتازه\",\"\tآورد\",\"\tفكر\",\"\tآنچه\",\"\tنخست\",\"\tنشده\",\n",
        "\t\"\tشايد\",\"\tچهار\",\"\tجريان\",\"\tپنج\",\"\tساخته\",\"\tزيرا\",\"\tنزديك\",\"\tبرداري\",\"\tكسي\",\"\tريزي\",\"\tرفت\",\"\tگردد\",\"\tمثل\",\"\tآمد\",\"\tام\",\"\tبهترين\",\n",
        "\t\"\tدانست\",\"\tكمتر\",\"\tدادن\",\"\tتمامي\",\"\tجلوگيري\",\"\tبيشتري\",\"\tايم\",\"\tناشي\",\"\tچيزي\",\"\tآنكه\",\"\tبالا\",\"\tبنابراين\",\"\tايشان\",\"\tبعضي\",\"\tدادند\",\n",
        "\t\"\tداشتند\",\"\tبرخوردار\",\"\tنخواهد\",\"\tهنگام\",\"\tنبايد\",\"\tغير\",\"\tنبود\",\"\tديده\",\"\tوگو\",\"\tداريم\",\"\tچگونه\",\"\tبندي\",\"\tخواست\",\"\tفوق\",\"\tده\",\n",
        "\t\"\tنوعي\",\"\tهستيم\",\"\tديگران\",\"\tهمچنان\",\"\tسراسر\",\"\tندارند\",\"\tگروهي\",\"\tسعي\",\"\tروزهاي\",\"\tآنجا\",\"\tيكديگر\",\"\tكردم\",\"\tبيست\",\"\tبروز\",\"\tسپس\",\n",
        "\t\"\tرفته\",\"\tآورده\",\"\tنمايد\",\"\tباشيم\",\"\tگويند\",\"\tزياد\",\"\tخويش\",\"\tهمواره\",\"\tگذاشته\",\"\tشش\",\"\tنداشته\",\"\tشناسي\",\"\tخواهيم\",\"\tآباد\",\"\tداشتن\",\n",
        "\t\"\tنظير\",\"\tهمچون\",\"\tباره\",\"\tنكرده\",\"\tشان\",\"\tسابق\",\"\tهفت\",\"\tدانند\",\"\tجايي\",\"\tبی\",\"\tجز\",\"\tزیرِ\",\"\tرویِ\",\"\tسریِ\",\"\tتویِ\",\"\tجلویِ\",\"\tپیشِ\",\n",
        "\t\"\tعقبِ\",\"\tبالایِ\",\"\tخارجِ\",\"\tوسطِ\",\"\tبیرونِ\",\"\tسویِ\",\"\tکنارِ\",\"\tپاعینِ\",\"\tنزدِ\",\"\tنزدیکِ\",\"\tدنبالِ\",\"\tحدودِ\",\"\tبرابرِ\",\"\tطبقِ\",\"\tمانندِ\",\"\tضدِّ\",\"\tهنگامِ\",\n",
        "\t\"\tبرایِ\",\"\tمثلِ\",\"\tبارة\",\"\tاثرِ\",\"\tتولِ\",\"\tعلّتِ\",\"\tسمتِ\",\"\tعنوانِ\",\"\tقصدِ\",\"\tروب\",\"\tجدا\",\"\tکی\",\"\tکه\",\"\tچیست\",\"\tهست\",\"\tکجا\",\"\tکجاست\",\n",
        "\t\"\tکَی\",\"\tچطور\",\"\tکدام\",\"\tآیا\",\"\tمگر\",\"\tچندین\",\"\tیک\",\"\tچیزی\",\"\tدیگر\",\"\tکسی\",\"\tبعری\",\"\tهیچ\",\"\tچیز\",\"\tجا\",\"\tکس\",\"\tهرگز\",\"\tیا\",\n",
        "\t\"\tتنها\",\"\tبلکه\",\"\tخیاه\",\"\tبله\",\"\tبلی\",\"\tآره\",\"\tآری\",\t\"\tمرسی\",\"\tالبتّه\",\"\tلطفاً\",\"\tّه\",\"\tانکه\",\"\tوقتیکه\",\"\tهمین\",\"\tپیش\",\"\tمدّتی\",\"\tهنگامی\",\"\tمان\",\"\tتان\",\"يكديگر\",\"اری\",\"ديروز\",\"شوی\",\"نخواهند\",\n",
        "\t\"دارد\",\"چقدر\",\"چگونه\",\"نخواهید\",\"استفاد\",\"گفتند\",\"او\",\"چیز\",\"اي\",\"اينكه\",\"ولی\",\"ام\",\"ان\",\"دریغ\",\"هرگز\",\"توانم\",\"بین\",\"علیه\",\"جریان\",\n",
        "\t\"یافتیم\",\"طي\",\"خواهم\",\"كنيد\",\"ّه\",\"گروهي\",\"کردی\",\"جا\",\"كند\",\"گوییم\",\"جريان\",\"هر\",\"بالایِ\",\"گاهی\",\"آنجا\",\"خواستیم\",\"ها\",\"خودشان\",\"هیچ\",\"خواهید\",\"احتراما\",\"پس\",\"بکن\",\"کجاست\",\"نيست\",\"کجا\",\"سپس\",\"داشتند\",\"نخستين\",\"بگوید\",\"زود\",\"یابند\",\"رسما\",\"مانندِ\",\"گرفتی\",\n",
        "\"کنند\",\"چطور\",\"و\",\"نبايد\",\"براي\",\"یابد\",\"ناگهان\",\"داریم\",\"بارها\",\"خارجِ\",\"شوید\",\"باشيم\",\"نباید\",\"گویم\",\"انقدر\",\"چندین\",\"امروزه\",\"ساخته\",\"ضدِّ\",\n",
        "\"گفتی\",\"كردند\",\"باشد\",\"برداري\",\"باره\",\"خویشتن\",\"قصدِ\",\"گیریم\",\"چرا\",\"نمی‌شود\",\"بهترين\",\"شدی\",\"دهید\",\"هنگام\",\"مي\",\"جمعا\",\"زیرِ\",\"ضمن\",\"خواهيم\",\n",
        "\"آنطور\",\"نمي\",\"همیشه\",\"نیز\",\"آی\",\"راه\",\"بگویند\",\"داشتید\",\"بزرگ\",\"انکه\",\"شده\",\"چيزي\",\"کنید\",\"شدید\",\"چیزی\",\"ده\",\"سایر\",\"بودن\",\"بودم\",\n",
        "\"هست\",\"بیاورم\",\"بیایی\",\"خب\",\"فكر\",\"می\",\"توانستی\",\"بکنند\",\"گاه\",\"عمدا\",\"شاید\",\"متعاقبا\",\"درباره\",\"انصافا\",\"بخش\",\"اینگونه\",\"بکنم\",\"به\",\"يا\",\n",
        "\"بلافاصله\",\"داری\",\"جديد\",\"توانست\",\"نه\",\"زمینه\",\"احتمالا\",\"همه\",\"همين\",\"ازجمله\",\"باش\",\"انجام\",\"اعلام\",\"لطفا\",\"نداری\",\"دهد\",\"کنم\",\"آنقدر\",\"مدام\",\n",
        "\"خیلی\",\"بسيار\",\"تو\",\"هنگامی\",\"ایا\",\"بيشتري\",\"اید\",\"بوده\",\"گردد\",\"یکی\",\"کل\",\"کم\",\"کن\",\"که\",\"کو\",\"تماما\",\"دادیم\",\"کنونی\",\"طریق\",\"نخواهم\",\n",
        "\"هستیم\",\"نوعي\",\"جناح\",\"خواست\",\"بايد\",\"توانستند\",\"ايشان\",\"بیاورند\",\"نهایتا\",\"بودند\",\"كمتر\",\"بیاور\",\"هستم\",\"بود\",\"آری\",\"وي\",\"گیرند\",\"هفت\",\"باشی\",\n",
        "\"بیابند\",\"روزانه\",\"عمدتا\",\"اساسا\",\"است\",\"خواهند\",\"برخی\",\"کسی\",\"البته\",\"بروز\",\"حاضر\",\"اثرِ\",\"شویم\",\"توانند\",\"بیابی\",\"نداشته\",\"سابق\",\"باشید\",\n",
        "\"خصوصا\",\"خودش\",\"از\",\"حدودا\",\"داشتی\",\"ندارند\",\"نخواهیم\",\"اش\",\"باید\",\"سوي\",\"سوم\",\"راسا\",\"اصولا\",\"خودت\",\"هایی\",\"قبل\",\"یافتن\",\"یافتم\",\"دهم\",\n",
        "\"رسید\",\"خواستم\",\"خواستن\",\"خواسته\",\"بی\",\"اینجا\",\"چنین\",\"بطور\",\"حتي\",\"براساس\",\"دوباره\",\"بعدا\",\"کنارِ\",\"فعلا\",\"اینقدر\",\"برایِ\",\"انگار\",\"روب\",\"پاعینِ\",\"استفاده\",\"اصلا\",\"عقبِ\",\"روز\",\"همان\",\n",
        "\"علّتِ\",\"دارند\",\"بگو\",\"دایم\",\"سرانجام\",\"طرف\",\"بیاب\",\"براستی\",\"طبقِ\",\"آمده\",\"بگویی\",\"بعد\",\"بخشی\",\"های\",\"بندي\",\"ندارد\",\"همچنين\",\"جاي\",\n",
        "\"هم\",\"گيرد\",\"گفت\",\"بخواهند\",\"بخواهم\",\"بخواهی\",\"درمجموع\",\"بتواند\",\"آباد\",\"گویند\",\"بگوییم\",\"سازي\",\"نوع\",\"معمولا\",\"بخواهیم\",\"درون\",\"نگاه\",\n",
        "\"جلویِ\",\"نخواهد\",\"واقعی\",\"نيز\",\"ميليون\",\"کس\",\"يكي\",\"نزديك\",\"زيرا\",\"پیشِ\",\"سریعا\",\"آنها\",\"کمتری\",\"شدیم\",\"بسياري\",\"وقتیکه\",\"كردم\",\"شش  نداشته\",\n",
        "\"كرده\",\"كردن\",\"ثانیا\",\"شايد\",\"خودتان\",\"شما\",\"شود\",\"بگیرند\",\"پیدا\",\"لطفاً\",\"یابیم\",\"ترين\",\"دوم\",\"دنبالِ\",\"نشان\",\"گیرد\",\"امسال\",\"خويش\",\"دهند\",\n",
        "\"اول\",\"كنيم\",\"هیچگاه\",\"متاسفانه\",\"زمان\",\"تازه\",\"تا\",\"کاش\",\"اكنون\",\"بیا\",\"بگویید\",\"تواند\",\"گرفت\",\"صرفا\",\"بکنی\",\"یافتید\",\"توانستیم\",\n",
        "\"بتوانیم\",\"موارد\",\"غیر\",\"بیش\",\"توسط\",\"اولا\",\"آورده\",\"حدودِ\",\"چیست\",\"چنين\",\"سعي\",\"انطور\",\"گيري\",\"الان\",\"نظیر\",\"گو\",\"ایشان\",\"بویژه\",\"چون\",\n",
        "\"مدّتی\",\"برابرِ\",\"طريق\",\"امشب\",\"وقتی\",\"دو\",\"تلویحا\",\"همواره\",\"بيشتر\",\"بلی\",\"بیابیم\",\"کننده\",\"می‌رود\",\"مرسی\",\"بنابراين\",\"نداشتیم\",\"شونده\",\n",
        "\"ندارم\",\"کنی\",\"دادند\",\"ت\",\"خوشبختانه\",\"یعنی\",\"داشت\",\"فقط\",\"بالطبع\",\"عنوان\",\"نمايد\",\"دایما\",\"غير\",\"مثل\",\"مجانی\",\"اینکه\",\"کرده\",\"نكرده\",\n",
        "\"باشیم\",\"حالا\",\"کردید\",\"جهت\",\"دیگری\",\"وگو\",\"بعری\",\"مجددا\",\"هستی\",\"واقعا\",\"نداریم\",\"بيست\",\"مثلا\",\"گفتن\",\"گفته\",\"گفتم\",\"کمی\",\"فردا\",\"نبود\",\n",
        "\"با\",\"پيش\",\"تر\",\"گوید\",\"گرفتند\",\"گویا\",\"ديده\",\"گرفتم\",\"بر\",\"گرفته\",\"گرفتن\",\"هزار\",\"ممکن\",\"دقیقا\",\"همچنین\",\"سریِ\",\"همچنان\",\"انشاالله\",\"چنانچه\",\n",
        "\"در\",\"ما\",\"وسطِ\",\"غالبا\",\"خیر\",\"اخیر\",\"نزدِ\",\"روي\",\"بعدها\",\"سالانه\",\"مسلما\",\"برابر\",\"آنچه\",\"زياد\",\"بهتر\",\"چهار\",\"خواهی\",\"آمد\",\"امروز\",\"اینک\",\"بعضي\",\n",
        "\"کتبا\",\"گرفتیم\",\"کردن\",\"بودیم\",\"رفته\",\"کردم\",\"بیاوریم\",\"نام\",\"یابم\",\"آنان\",\"کسانی\",\"قبلا\",\"دار\",\"خود\",\"هنگامِ\",\"خوب\",\"صورت\",\"اکثرا\",\n",
        "\"ناگاه\",\"اين\",\"ايم\",\"راحت\",\"بیشتر\",\"حال\",\"کی\",\"نداشتید\",\"سراسر\",\"اینها\",\"حداکثر\",\"عملا\",\"جدا\",\"دیگر\",\"ظاهرا\",\"نخواهی\",\"نداشتم\",\"تاكنون\",\n",
        "\"بگویم\",\"ی\",\"نوعی\",\"ديگران\",\"بخواهد\",\"کدام\",\"طور\",\"هاي\",\"بتوانی\",\"عنوانِ\",\"ناشي\",\"دیروز\",\"خواهیم\",\"خواستید\",\"شدیدا\",\"داشته\",\"بخواهید\",\"داشتن\",\n",
        "\"سویِ\",\"خواستند\",\"البتّه\",\"بگیر\",\"شدن\",\"نداشت\",\"شدم\",\"کمتر\",\"نشده\",\"گیری\",\"توانیم\",\"حتما\",\"بلکه\",\"رو\",\"تقریبا\",\"بالا\",\"قطعا\",\"بیابد\",\"دادم\",\n",
        "\"دادن\",\"داده\",\"بين\",\"يابد\",\"باشند\",\"ديگري\",\"اینچنین\",\"برعکس\",\"بزودی\",\"بد\",\"پنج\",\"توانی\",\"گويد\",\"ای\",\"اند\",\"خودم\",\"گفتید\",\"یافت\",\"نداشتند\",\n",
        "\"آورد\",\"بخواه\",\"سالیانه\",\"بگیرد\",\"بیایم\",\"كنم\",\"کردند\",\"طبعا\",\"میان\",\"شد\",\"بگیرید\",\"شش\",\"تاکنون\",\"طی\",\"تحت\",\"تنها\",\"دانند\",\"کَی\",\"خواهد\",\"خدمات\",\n",
        "\"قابل\",\"آيد\",\"داد\",\"خویش\",\"پارسال\",\"گویید\",\"گذاري\",\"گهگاه\",\"گرفتید\",\"بعضا\",\"مجموعا\",\"عدم\",\"مانند\",\"كنند\",\"نیست\",\"حتی\",\"شناسي\",\"بگیری\",\n",
        "\"هنوز\",\"نزدیکِ\",\"اکنون\",\"بگیرم\",\"اگر\",\"داريم\",\"تولِ\",\"بیاییم\",\"بیاورد,\",\"گويند\",\"تمام\",\"تر  براساس\",\"دادید\",\"بسیاری\",\"همچون\",\"شوند\",\"بیابید\",\"بازهم\",\"قدری\",\"کلا\",\"تان\",\"کند\",\"جای\",\"مدت\",\"راستی\",\"پیش\",\"کنون\",\"چه\",\"باشم\",\"یابید\",\"هيچ\",\"یافته\",\"گیرم\",\n",
        "\"چو\",\"بیرون\",\"اشکارا\",\"برخي\",\"بارة\",\"مگر\",\"برخوردار\",\"نخست\",\"موقتا\",\"دارید\",\"آنکه\",\"مختلف\",\"چنانکه\",\"جز\",\"چند\",\"بیایند\",\"فوق\",\"خیاه\",\"وی\",\n",
        "\"آن\",\"نمی\",\"امور\",\"مان\",\"کرد\",\"بودی\",\"هايي\",\"بیاوری\",\"یا\",\"مستقیما\",\"خلاصه\",\"می‌رسد\",\"ناگهانی\",\"توانید\",\"بدون\",\"من\",\"سمتِ\",\"یافتی\",\"بي\",\n",
        "\"بار\",\"باز\",\"توانسته\",\"توانستن\",\"توانستم\",\"جايي\",\"مطمینا\",\"یقینا\",\"جدید\",\"آیند\",\"دارم\",\"گویی\",\"مورد\",\"شخصا\",\"خواستی\",\"همین\",\"يك\",\"كسي\",\n",
        "\"می‌شود\",\"ريزي\",\"دادی\",\"دانست\",\"این\",\"بیرونِ\",\"بگیریم\",\"وجود\",\"دیگران\",\"ایم\",\"شوم\",\"کاملا\",\"هستند\",\"بلكه\",\"گفتیم\",\"بسیار\",\"بیشتری\",\"هبچ\",\"بسا\",\"ویژه\",\n",
        "\"بیاید\",\"کماکان\",\"آنكه\",\"كه\",\"بتوان\",\"كل\",\"ديگر\",\"كرد\",\"روی\",\"دیر\",\"پیشاپیش\",\"طبیعتا\",\"مقابل\",\"وضع\",\"شان\",\"حق\",\"رفت\",\"ایند\",\"اتفاقا\",\n",
        "\"بنابراین\",\"بیاورید\",\"می‌کنیم\",\"چنان\",\"بودید\",\"زمانی\",\"بله\",\"اغلب\",\"گیرید\",\"دهیم\",\"مثلِ\",\"روزهاي\",\"بیایید\",\"مبادا\",\"جلوگيري\",\"گه\",\"گذشته\",\n",
        "\"تویِ\",\"زیر\",\"انها\",\"داشتم\",\"نسبتا\",\"ميليارد\",\"رویِ\",\"تمامي\",\"می شود\",\"یابی\",\"بکنیم\",\"شدند\",\"برای\",\"اینطور\",\"مردم\",\"کردیم\",\"زير\",\"یا\",\n",
        "\"کنار\",\"هستید\",\"نداشتی\",\"نظير\",\"یک\",\"بيش\",\"داشتیم\",\"وقتي\",\"بیابم\",\"پیشتر\",\"اما\",\"خودمان\",\"هستيم\",\"کنیم\",\"هرچه\",\"عمل\",\"بکنید\",\"ندارید\",\n",
        "\"بکند\",\"انچنان\",\"آره\",\"براحتی\",\"سوی\",\"گذاشته\",\"کامل\",\"را\",\"دهی\",\"بالاخره\",\"لااقل\"]"
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "# نصب کتابخانه‌های مورد نیاز\n",
        "!pip install scikit-learn\n",
        "!pip install nltk\n",
        "\n",
        "# وارد کردن کتابخانه‌های مورد نیاز\n",
        "import nltk\n",
        "from nltk.tokenize import word_tokenize\n",
        "from sklearn.feature_extraction.text import TfidfVectorizer\n",
        "import numpy as np\n",
        "\n",
        "# دانلود منابع لازم از NLTK\n",
        "nltk.download('punkt')"
      ],
      "metadata": {
        "id": "dqVL2Aem36Q8"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "c0ifqZo5JnvU",
        "outputId": "d7f778c2-ad30-400f-d593-cf4d51881f7d"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Requirement already satisfied: scikit-learn in /usr/local/lib/python3.10/dist-packages (1.3.2)\n",
            "Requirement already satisfied: numpy<2.0,>=1.17.3 in /usr/local/lib/python3.10/dist-packages (from scikit-learn) (1.26.4)\n",
            "Requirement already satisfied: scipy>=1.5.0 in /usr/local/lib/python3.10/dist-packages (from scikit-learn) (1.13.1)\n",
            "Requirement already satisfied: joblib>=1.1.1 in /usr/local/lib/python3.10/dist-packages (from scikit-learn) (1.4.2)\n",
            "Requirement already satisfied: threadpoolctl>=2.0.0 in /usr/local/lib/python3.10/dist-packages (from scikit-learn) (3.5.0)\n",
            "Requirement already satisfied: nltk in /usr/local/lib/python3.10/dist-packages (3.8.1)\n",
            "Requirement already satisfied: click in /usr/local/lib/python3.10/dist-packages (from nltk) (8.1.7)\n",
            "Requirement already satisfied: joblib in /usr/local/lib/python3.10/dist-packages (from nltk) (1.4.2)\n",
            "Requirement already satisfied: regex>=2021.8.3 in /usr/local/lib/python3.10/dist-packages (from nltk) (2024.5.15)\n",
            "Requirement already satisfied: tqdm in /usr/local/lib/python3.10/dist-packages (from nltk) (4.66.5)\n",
            "['پزشکیان' 'آقای' 'دولت' 'حرف' 'جلسه']\n"
          ]
        },
        {
          "name": "stderr",
          "output_type": "stream",
          "text": [
            "[nltk_data] Downloading package punkt to /root/nltk_data...\n",
            "[nltk_data]   Package punkt is already up-to-date!\n"
          ]
        }
      ],
      "source": [
        "\n",
        "text = input_text\n",
        "# متن مورد نظر\n",
        "# text = \"\"\"\n",
        "# حسین عبده تبریزی ساعاتی بعد با انتشار متنی نسبت به حواشی به وجود آمده توضیح داد و در پیامش نوشت:\n",
        "\n",
        "# «روز جمعه ۱۹ مرداد اولین روز برگزاری نمایشگاه صنعت مالی در محل دائمی نمایشگاه‌ها بود. متاسفانه مدیران سازمان بورس، وزیر محترم و سایرین به مراسم نیامدند. در مراسم افتتاحیه، آن قدر بی‌کسی بود که من سخنران افتتاحیه شدم. البته آقای دکتر شمس‌الدین حسینی نیز بعدا رسیدند. دسته‌ای از افراد علیه مدیریت سازمان بنر‌های مختلف تهیه کرده بودند، و وقتی از سالن افتتاحیه خارج شدم، چند نفری پیش من آمدند که به دلیل بنر‌ها و اعتراض‌هایی که کرده بودند، دو نفر دستگیر شده‌اند، و از من امداد طلبییدند. با مراجعه‌ من به پلیس روشن شد که قصد دستگیری نیست، و با آن‌ها حرف می‌زنند که جلسه را به هم نریزند.\n",
        "\n",
        "# به سالن نمایشگاه رفتم و عده زیادی اطراف ساعت ۱۰ و نیم آنجا گرد آمده بودند و شکایت‌ها داشتند، و به ویژه از مدیریت بازار شکوه داشتند، و این که چرا من به آقای پزشکیان نمی‌گویم وی می‌باید بلافاصله عزل شود. صحبت‌ها تا ۱۲:۴۰ ادامه یافت و توانستم عده‌ خوبی را قانع کنم که تا استقرار دولت صبر کنند و تلاش کردم که بپرسم سایر مشکلات چیست. با خود فکر می‌کردم که کار درستی انجام می‌دهم، چرا که حداقل باید فرق دولت پزشکیان با دولت‌های قبل این باشد که سختی حرف مردم را  تحمل کنند و اجازه دهند مردم حرف دل خود را بزنند و شکایت‌های خود را مطرح کنند. این حداقلی است که دولت پزشکیان را از بقیه جدا می‌کند.\n",
        "\n",
        "# ساعت ۱۳ نشستی از کارشناسان تشکیل شده بود، تا جای نیامدن  افراد قبلی را پر کنند. جلسه بسیار خوب پیش رفت، و حدود ۲۰۰ نفری که جمع شده بودند، درد‌های خود را بازگو کردند. از این که رئیس جمهور هیچ توجهی به بورس ندارند گله‌مند بودند. اما شکایت‌های عمده دوباره روی مدیریت بورس متمرکز شد. حدود ساعت ۱۴ حدود چند نفری از معترضان سالن افتتاحیه با سروصدای فراوان آمدند و دائما علیه مدیریت بورس شعار می‌دانند، و دم گرفته بودند. طبعا نظم جلسه را به هم زدند و در نوبت‌هایی که برای صحبت به ایشان دادم نیز غیر از تغییر مدیریت، حرف دیگری نداشتند. به هر حال، با تجمیع این نفرات با ۲۰۰ نفری که مستمع نشست بودند، استدلال‌های بنده برای شکیبایی تا زمان تشکیل کابینه، فایده نبخشید. حدود ۵ نفر از جمع با اعتراض نظم جلسه را بر هم زدند، و یک نفر آن‌ها با متهم کردن بنده به طرفداری از مدیریت، بی‌حرمتی را به حد اعلا رساند؛ و این لحظه‌ای بود که برای حفظ نظم و پاسخ به توهین وی، ناچار فریاد زدم که احتمالآ بریده‌ی فیلم آن از ایران اینترنشنال را در اینستا دیده‌اید. بعد از آن، جلسه ادامه یافت و تا ساعت ۱۵:۱۵ با نوعی نظم پیش رفتیم، و نشست را به پایان رساندیم.\n",
        "\n",
        "# در کل روز سخت و در عین حال موفقی بود. فکر می‌کنم بیشتر حاضران از صبر و بردباری بنده رضایت داشتند و از این که حرف اهالی بازار سرمایه بعد از سال‌ها شنیده می‌شود. خوشحالم که امروز تحمل کردم عده‌ای سرم داد بزنند و مرا متهم کنند که خبر به آقای رئیس جمهور نداده‌ام و انتقال‌دهنده‌ی امینی نبوده‌ام. در عین حال شرمنده‌ام که به قدر کافی صبور نبوده‌ام. کاش شکیباتر بودم.\n",
        "\n",
        "# از درگاه حق، برای دولت آقای پزشکیان که این همه انتظار از آن می‌رود، (متاسفانه بودند کسانی که اعلام می‌کردند به دلیل کم‌کاری دولت آقای پزشکیان در انجام تغییرات، از رأی خود پشیمان‌اند) آرزوی توفیق و موفقیت دارم.\n",
        "# \"\"\"\n",
        "\n",
        "# لیست توقف‌واژه‌های فارسی سفارشی\n",
        "farsi_stop_words = words\n",
        "#  [\n",
        "#     'و', 'در', 'به', 'از', 'که', 'این', 'آن', 'را', 'با', 'برای', 'یک', 'هم', 'بر', 'تا', 'نیز', 'بر', 'می', 'شود'\n",
        "# ]\n",
        "\n",
        "# توکنایز کردن کلمات\n",
        "words = word_tokenize(text.lower())\n",
        "\n",
        "# حذف توقف‌واژه‌ها\n",
        "filtered_words = [word for word in words if word.isalnum() and word not in farsi_stop_words]\n",
        "\n",
        "# تبدیل متن به بردارهای TF-IDF\n",
        "vectorizer = TfidfVectorizer()\n",
        "tfidf_matrix = vectorizer.fit_transform([' '.join(filtered_words)])\n",
        "\n",
        "# دریافت کلمات کلیدی بر اساس نمره TF-IDF\n",
        "feature_names = np.array(vectorizer.get_feature_names_out())\n",
        "tfidf_scores = np.array(tfidf_matrix.toarray()).flatten()\n",
        "\n",
        "# مرتب‌سازی کلمات کلیدی بر اساس نمره TF-IDF\n",
        "sorted_indices = np.argsort(tfidf_scores)[::-1]\n",
        "top_n = 5  # تعداد کلمات کلیدی برتر\n",
        "keywords = feature_names[sorted_indices][:top_n]\n",
        "\n",
        "# نمایش کلمات کلیدی\n",
        "print(keywords)"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "u_wPPjO0d4gb"
      },
      "outputs": [],
      "source": [
        "# فرض کنید متن حاوی لیست کلمات را در متغیر text ذخیره کرده‌اید\n",
        "\n",
        "words = words.split()  # جدا کردن کلمات بر اساس فاصله\n",
        "\n",
        "unique_words = list(set(words))  # حذف تکراری‌ها با استفاده از set\n",
        "formatted_words = [f'\"{word}\"' for word in words]\n",
        "#  in unique_words]  # اضافه کردن کوتیشن مارک و ویرگول\n",
        "\n",
        "print(formatted_words)"
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "# نصب کتابخانه‌های مورد نیاز\n",
        "!pip install hazm\n",
        "\n",
        "# وارد کردن کتابخانه‌های مورد نیاز\n",
        "from hazm import word_tokenize, Normalizer, stopwords_list\n",
        "from sklearn.feature_extraction.text import TfidfVectorizer\n",
        "import numpy as np"
      ],
      "metadata": {
        "id": "B-73Jlah4EDj"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "dkJiJ1BjYAGv",
        "outputId": "8c1de98c-6d1f-4199-e6b3-12e0076d7c57"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Requirement already satisfied: hazm in /usr/local/lib/python3.10/dist-packages (0.10.0)\n",
            "Requirement already satisfied: fasttext-wheel<0.10.0,>=0.9.2 in /usr/local/lib/python3.10/dist-packages (from hazm) (0.9.2)\n",
            "Requirement already satisfied: flashtext<3.0,>=2.7 in /usr/local/lib/python3.10/dist-packages (from hazm) (2.7)\n",
            "Requirement already satisfied: gensim<5.0.0,>=4.3.1 in /usr/local/lib/python3.10/dist-packages (from hazm) (4.3.3)\n",
            "Requirement already satisfied: nltk<4.0.0,>=3.8.1 in /usr/local/lib/python3.10/dist-packages (from hazm) (3.8.1)\n",
            "Requirement already satisfied: numpy==1.24.3 in /usr/local/lib/python3.10/dist-packages (from hazm) (1.24.3)\n",
            "Requirement already satisfied: python-crfsuite<0.10.0,>=0.9.9 in /usr/local/lib/python3.10/dist-packages (from hazm) (0.9.10)\n",
            "Requirement already satisfied: scikit-learn<2.0.0,>=1.2.2 in /usr/local/lib/python3.10/dist-packages (from hazm) (1.3.2)\n",
            "Requirement already satisfied: pybind11>=2.2 in /usr/local/lib/python3.10/dist-packages (from fasttext-wheel<0.10.0,>=0.9.2->hazm) (2.13.4)\n",
            "Requirement already satisfied: setuptools>=0.7.0 in /usr/local/lib/python3.10/dist-packages (from fasttext-wheel<0.10.0,>=0.9.2->hazm) (71.0.4)\n",
            "Requirement already satisfied: scipy<1.14.0,>=1.7.0 in /usr/local/lib/python3.10/dist-packages (from gensim<5.0.0,>=4.3.1->hazm) (1.13.1)\n",
            "Requirement already satisfied: smart-open>=1.8.1 in /usr/local/lib/python3.10/dist-packages (from gensim<5.0.0,>=4.3.1->hazm) (7.0.4)\n",
            "Requirement already satisfied: click in /usr/local/lib/python3.10/dist-packages (from nltk<4.0.0,>=3.8.1->hazm) (8.1.7)\n",
            "Requirement already satisfied: joblib in /usr/local/lib/python3.10/dist-packages (from nltk<4.0.0,>=3.8.1->hazm) (1.4.2)\n",
            "Requirement already satisfied: regex>=2021.8.3 in /usr/local/lib/python3.10/dist-packages (from nltk<4.0.0,>=3.8.1->hazm) (2024.5.15)\n",
            "Requirement already satisfied: tqdm in /usr/local/lib/python3.10/dist-packages (from nltk<4.0.0,>=3.8.1->hazm) (4.66.5)\n",
            "Requirement already satisfied: threadpoolctl>=2.0.0 in /usr/local/lib/python3.10/dist-packages (from scikit-learn<2.0.0,>=1.2.2->hazm) (3.5.0)\n",
            "Requirement already satisfied: wrapt in /usr/local/lib/python3.10/dist-packages (from smart-open>=1.8.1->gensim<5.0.0,>=4.3.1->hazm) (1.16.0)\n",
            "['های' 'مسلط' 'دوره' 'به' 'یادگیری' 'پایتون' 'ماشین' 'دروازه' 'در']\n"
          ]
        }
      ],
      "source": [
        "\n",
        "text = input_text\n",
        "# متن مورد نظر\n",
        "# text = \"\"\"\n",
        "# متن مورد نظر خود را در اینجا قرار دهید.\n",
        "# \"\"\"\n",
        "\n",
        "# توقف‌واژه‌های فارسی از کتابخانه Hazm\n",
        "farsi_stop_words = set(stopwords_list())\n",
        "\n",
        "# کلمات داده شده برای اضافه کردن به لیست توقف‌واژه‌ها\n",
        "additional_stop_words =words\n",
        "#  {\n",
        "#     'از',\n",
        "#     'با',\n",
        "#     'به',\n",
        "#     'در',\n",
        "#     'را',\n",
        "#     'که',\n",
        "#     'های',\n",
        "#     'است',\n",
        "#     'برای',\n",
        "#     'و',\n",
        "#     'از',\n",
        "#     'که',\n",
        "#     'ها',\n",
        "#     'می',\n",
        "#     'است',\n",
        "#     'را',\n",
        "#     'به',\n",
        "#     'در',\n",
        "#     'با',\n",
        "#     'از',\n",
        "#     'ها',\n",
        "#     'های',\n",
        "#     'می',\n",
        "#     'برای',\n",
        "#     'و',\n",
        "# }\n",
        "\n",
        "# اضافه کردن کلمات داده شده به لیست توقف‌واژه‌ها\n",
        "farsi_stop_words.update(additional_stop_words)\n",
        "\n",
        "# توکنایزر و نرمالایزر\n",
        "normalizer = Normalizer()\n",
        "tokens = word_tokenize(normalizer.normalize(text))\n",
        "\n",
        "# حذف توقف‌واژه‌ها\n",
        "filtered_words = [word for word in tokens if word not in farsi_stop_words]\n",
        "\n",
        "# تبدیل متن به بردارهای TF-IDF\n",
        "vectorizer = TfidfVectorizer()\n",
        "tfidf_matrix = vectorizer.fit_transform([' '.join(filtered_words)])\n",
        "\n",
        "# دریافت کلمات کلیدی بر اساس نمره TF-IDF\n",
        "feature_names = np.array(vectorizer.get_feature_names_out())\n",
        "tfidf_scores = np.array(tfidf_matrix.toarray()).flatten()\n",
        "\n",
        "# مرتب‌سازی کلمات کلیدی بر اساس نمره TF-IDF\n",
        "sorted_indices = np.argsort(tfidf_scores)[::-1]\n",
        "top_n = 10  # تعداد کلمات کلیدی برتر\n",
        "keywords = feature_names[sorted_indices][:top_n]\n",
        "\n",
        "# نمایش کلمات کلیدی\n",
        "print(keywords)\n"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "9BKdAm52Nmcw"
      },
      "outputs": [],
      "source": [
        "import pandas as pd\n",
        "from sklearn.feature_extraction.text import TfidfVectorizer\n",
        "\n",
        "# متون نمونه\n",
        "text =input_text\n",
        "# text = \"\"\"\n",
        "# حسین عبده تبریزی ساعاتی بعد با انتشار متنی نسبت به حواشی به وجود آمده توضیح داد و در پیامش نوشت:\n",
        "\n",
        "# «روز جمعه ۱۹ مرداد اولین روز برگزاری نمایشگاه صنعت مالی در محل دائمی نمایشگاه‌ها بود. متاسفانه مدیران سازمان بورس، وزیر محترم و سایرین به مراسم نیامدند. در مراسم افتتاحیه، آن قدر بی‌کسی بود که من سخنران افتتاحیه شدم. البته آقای دکتر شمس‌الدین حسینی نیز بعدا رسیدند. دسته‌ای از افراد علیه مدیریت سازمان بنر‌های مختلف تهیه کرده بودند، و وقتی از سالن افتتاحیه خارج شدم، چند نفری پیش من آمدند که به دلیل بنر‌ها و اعتراض‌هایی که کرده بودند، دو نفر دستگیر شده‌اند، و از من امداد طلبییدند. با مراجعه‌ من به پلیس روشن شد که قصد دستگیری نیست، و با آن‌ها حرف می‌زنند که جلسه را به هم نریزند.\n",
        "\n",
        "# به سالن نمایشگاه رفتم و عده زیادی اطراف ساعت ۱۰ و نیم آنجا گرد آمده بودند و شکایت‌ها داشتند، و به ویژه از مدیریت بازار شکوه داشتند، و این که چرا من به آقای پزشکیان نمی‌گویم وی می‌باید بلافاصله عزل شود. صحبت‌ها تا ۱۲:۴۰ ادامه یافت و توانستم عده‌ خوبی را قانع کنم که تا استقرار دولت صبر کنند و تلاش کردم که بپرسم سایر مشکلات چیست. با خود فکر می‌کردم که کار درستی انجام می‌دهم، چرا که حداقل باید فرق دولت پزشکیان با دولت‌های قبل این باشد که سختی حرف مردم را  تحمل کنند و اجازه دهند مردم حرف دل خود را بزنند و شکایت‌های خود را مطرح کنند. این حداقلی است که دولت پزشکیان را از بقیه جدا می‌کند.\n",
        "\n",
        "# ساعت ۱۳ نشستی از کارشناسان تشکیل شده بود، تا جای نیامدن  افراد قبلی را پر کنند. جلسه بسیار خوب پیش رفت، و حدود ۲۰۰ نفری که جمع شده بودند، درد‌های خود را بازگو کردند. از این که رئیس جمهور هیچ توجهی به بورس ندارند گله‌مند بودند. اما شکایت‌های عمده دوباره روی مدیریت بورس متمرکز شد. حدود ساعت ۱۴ حدود چند نفری از معترضان سالن افتتاحیه با سروصدای فراوان آمدند و دائما علیه مدیریت بورس شعار می‌دانند، و دم گرفته بودند. طبعا نظم جلسه را به هم زدند و در نوبت‌هایی که برای صحبت به ایشان دادم نیز غیر از تغییر مدیریت، حرف دیگری نداشتند. به هر حال، با تجمیع این نفرات با ۲۰۰ نفری که مستمع نشست بودند، استدلال‌های بنده برای شکیبایی تا زمان تشکیل کابینه، فایده نبخشید. حدود ۵ نفر از جمع با اعتراض نظم جلسه را بر هم زدند، و یک نفر آن‌ها با متهم کردن بنده به طرفداری از مدیریت، بی‌حرمتی را به حد اعلا رساند؛ و این لحظه‌ای بود که برای حفظ نظم و پاسخ به توهین وی، ناچار فریاد زدم که احتمالاً بریده‌ی فیلم آن از ایران اینترنشنال را در اینستا دیده‌اید. بعد از آن، جلسه ادامه یافت و تا ساعت ۱۵:۱۵ با نوعی نظم پیش رفتیم، و نشست را به پایان رساندیم.\n",
        "\n",
        "# در کل روز سخت و در عین حال موفقی بود. فکر می‌کنم بیشتر حاضران از صبر و بردباری بنده رضایت داشتند و از این که حرف اهالی بازار سرمایه بعد از سال‌ها شنیده می‌شود. خوشحالم که امروز تحمل کردم عده‌ای سرم داد بزنند و مرا متهم کنند که خبر به آقای رئیس جمهور نداده‌ام و انتقال‌دهنده‌ی امینی نبوده‌ام. در عین حال شرمنده‌ام که به قدر کافی صبور نبوده‌ام. کاش شکیباتر بودم.\n",
        "\n",
        "# از درگاه حق، برای دولت آقای پزشکیان که این همه انتظار از آن می‌رود، (متاسفانه بودند کسانی که اعلام می‌کردند به دلیل کم‌کاری دولت آقای پزشکیان در انجام تغییرات، از رأی خود پشیمان‌اند) آرزوی توفیق و موفقیت دارم.\n",
        "# \"\"\"\n",
        "\n",
        "# لیست جدید stop words\n",
        "stop_words = [\n",
        "    \"آباد\", \"آره\", \"آری\", \"آمد\", \"آمده\", \"آن\", \"آنان\", \"آنجا\", \"آنطور\", \"آنقدر\",\n",
        "    \"آنكه\", \"آنها\", \"آنچه\", \"آنکه\", \"آورد\", \"آورده\", \"آيد\", \"آی\", \"آیا\", \"آیند\",\n",
        "    \"اتفاقا\", \"اثرِ\", \"احتراما\", \"احتمالا\", \"اخیر\", \"اری\", \"از\", \"ازجمله\",\n",
        "    \"اساسا\", \"است\", \"استفاد\", \"استفاده\", \"اش\", \"اشکارا\", \"اصلا\", \"اصولا\",\n",
        "    \"اعلام\", \"اغلب\", \"اكنون\", \"الان\", \"البته\", \"البتّه\", \"ام\", \"اما\", \"امروز\",\n",
        "    \"امروزه\", \"امسال\", \"امشب\", \"امور\", \"ان\", \"انجام\", \"اند\", \"انشاالله\", \"انصافا\",\n",
        "    \"انطور\", \"انقدر\", \"انها\", \"انچنان\", \"انکه\", \"انگار\", \"او\", \"اول\", \"اولا\",\n",
        "    \"اي\", \"ايشان\", \"ايم\", \"اين\", \"اينكه\", \"اکثرا\", \"اکنون\", \"اگر\", \"ای\", \"ایا\",\n",
        "    \"اید\", \"ایشان\", \"ایم\", \"این\", \"اینجا\", \"ایند\", \"اینطور\", \"اینقدر\", \"اینها\",\n",
        "    \"اینچنین\", \"اینک\", \"اینکه\", \"اینگونه\", \"با\", \"بار\", \"بارة\", \"باره\", \"بارها\",\n",
        "    \"باز\", \"بازهم\", \"باش\", \"باشد\", \"باشم\", \"باشند\", \"باشيم\", \"باشی\", \"باشید\",\n",
        "    \"باشیم\", \"بالا\", \"بالاخره\", \"بالایِ\", \"بالطبع\", \"بايد\", \"باید\", \"بتوان\",\n",
        "    \"بتواند\", \"بتوانی\", \"بتوانیم\", \"بخش\", \"بخشی\", \"بخواه\", \"بخواهد\", \"بخواهم\",\n",
        "    \"بخواهند\", \"بخواهی\", \"بخواهیم\", \"بد\", \"بدون\", \"بر\", \"برابر\", \"برابرِ\",\n",
        "    \"براحتی\", \"براساس\", \"براستی\", \"براي\", \"برای\", \"برایِ\", \"برخوردار\", \"برخي\",\n",
        "    \"برخی\", \"برداري\", \"برعکس\", \"بروز\", \"بزرگ\", \"بزودی\", \"بسا\", \"بسيار\",\n",
        "    \"بسياري\", \"بسیار\", \"بسیاری\", \"بطور\", \"بعد\", \"بعدا\", \"بعدها\", \"بعری\", \"بعضا\",\n",
        "    \"بعضي\", \"بلافاصله\", \"بلكه\", \"بله\", \"بلکه\", \"بلی\", \"بنابراين\", \"بنابراین\",\n",
        "    \"بندي\", \"به\", \"بهتر\", \"بهترين\", \"بود\", \"بودم\", \"بودن\", \"بودند\", \"بوده\",\n",
        "    \"بودی\", \"بودید\", \"بودیم\", \"بویژه\", \"بي\", \"بيست\", \"بيش\", \"بيشتر\", \"بيشتري\",\n",
        "    \"بين\", \"بکن\", \"بکند\", \"بکنم\", \"بکنند\", \"بکنی\", \"بکنید\", \"بکنیم\", \"بگو\",\n",
        "    \"بگوید\", \"بگویم\", \"بگویند\", \"بگویی\", \"بگویید\", \"بگوییم\", \"بگیر\", \"بگیرد\",\n",
        "    \"بگیرم\", \"بگیرند\", \"بگیری\", \"بگیرید\", \"بگیریم\", \"بی\", \"بیا\", \"بیاب\", \"بیابد\",\n",
        "    \"بیابم\", \"بیابند\", \"بیابی\", \"بیابید\", \"بیابیم\", \"بیاور\", \"بیاورد\", \"بیاورم\",\n",
        "    \"بیاورند\", \"بیاوری\", \"بیاورید\", \"بیاوریم\", \"بیاید\", \"بیایم\", \"بیایند\",\n",
        "    \"بیایی\", \"بیایید\", \"بیاییم\", \"بیرون\", \"بیرونِ\", \"بیش\", \"بیشتر\", \"بیشتری\",\n",
        "    \"بین\", \"ت\", \"تا\", \"تازه\", \"تاكنون\", \"تان\", \"تاکنون\", \"تحت\", \"تر\", \"تر  براساس\",\n",
        "    \"ترين\", \"تقریبا\", \"تلویحا\", \"تمام\", \"تماما\", \"تمامي\", \"تنها\", \"تو\", \"تواند\",\n",
        "    \"توانست\", \"توانستم\", \"توانستن\", \"توانستند\", \"توانسته\", \"توانستی\", \"توانستیم\",\n",
        "    \"توانم\", \"توانند\", \"توانی\", \"توانید\", \"توانیم\", \"توسط\", \"تولِ\", \"تویِ\",\n",
        "    \"ثانیا\", \"جا\", \"جاي\", \"جايي\", \"جای\", \"جدا\", \"جديد\", \"جدید\", \"جريان\",\n",
        "    \"جریان\", \"جز\", \"جلوگيري\", \"جلویِ\", \"جمعا\", \"جناح\", \"جهت\", \"حاضر\", \"حال\",\n",
        "    \"حالا\", \"حتما\", \"حتي\", \"حتی\", \"حداکثر\", \"حدودا\", \"حدودِ\", \"حق\", \"خارجِ\",\n",
        "    \"خب\", \"خدمات\", \"خصوصا\", \"خلاصه\", \"خواست\", \"خواستم\", \"خواستن\", \"خواستند\",\n",
        "    \"خواسته\", \"خواستی\", \"خواستید\", \"خواستیم\", \"خواهد\", \"خواهم\", \"خواهند\",\n",
        "    \"خواهيم\", \"خواهی\", \"خواهید\", \"خواهیم\", \"خوب\", \"خود\", \"خودت\", \"خودتان\",\n",
        "    \"خودش\", \"خودشان\", \"خودم\", \"خودمان\", \"خوشبختانه\", \"خويش\", \"خویش\", \"خویشتن\",\n",
        "    \"خیاه\", \"خیر\", \"خیلی\", \"داد\", \"دادم\", \"دادن\", \"دادند\", \"داده\", \"دادی\",\n",
        "    \"دادید\", \"دادیم\", \"دار\", \"دارد\", \"دارم\", \"دارند\", \"داريم\", \"داری\", \"دارید\",\n",
        "    \"داریم\", \"داشت\", \"داشتم\", \"داشتن\", \"داشتند\", \"داشته\", \"داشتی\", \"داشتید\",\n",
        "    \"داشتیم\", \"دانست\", \"دانند\", \"دایم\", \"دایما\", \"در\", \"درباره\", \"درمجموع\",\n",
        "    \"درون\", \"دریغ\", \"دقیقا\", \"دنبالِ\", \"ده\", \"دهد\", \"دهم\", \"دهند\", \"دهی\",\n",
        "    \"دهید\", \"دهیم\", \"دو\", \"دوباره\", \"دوم\", \"ديده\", \"ديروز\", \"ديگر\", \"ديگران\",\n",
        "    \"ديگري\", \"دیر\", \"دیروز\", \"دیگر\", \"دیگران\", \"دیگری\", \"را\", \"راحت\", \"راسا\",\n",
        "    \"راستی\", \"راه\", \"رسما\", \"رسید\", \"رفت\", \"رفته\", \"رو\", \"روب\", \"روز\",\n",
        "    \"روزانه\", \"روزهاي\", \"روي\", \"روی\", \"رویِ\", \"ريزي\", \"زمان\", \"زمانی\",\n",
        "    \"زمینه\", \"زود\", \"زياد\", \"زير\", \"زيرا\", \"زیر\", \"زیرِ\", \"سابق\", \"ساخته\",\n",
        "    \"سازي\", \"سالانه\", \"سالیانه\", \"سایر\", \"سراسر\", \"سرانجام\", \"سریعا\", \"سریِ\",\n",
        "    \"سعي\", \"سمتِ\", \"سوم\", \"سوي\", \"سوی\", \"سویِ\", \"سپس\", \"شان\", \"شايد\", \"شاید\",\n",
        "    \"شخصا\", \"شد\", \"شدم\", \"شدن\", \"شدند\", \"شده\", \"شدی\", \"شدید\", \"شدیم\", \"شش\",\n",
        "    \"شش  نداشته\", \"شما\", \"شناسي\", \"شود\", \"شوم\",\"شوند\", \"شونده\", \"شوی\", \"شوید\", \"شویم\", \"صرفا\", \"صريحا\", \"صفر\", \"صورت\", \"ضدِّ\",\n",
        "    \"ضمن\", \"طبعا\", \"طبقِ\", \"طبیعتا\", \"طرف\", \"طريق\", \"طور\", \"طي\", \"طی\", \"ظاهرا\",\n",
        "    \"عدم\", \"عقبِ\", \"علاوه\", \"علاوه بر\", \"علنا\", \"علّتِ\", \"عمدا\", \"عمدتا\", \"عموما\",\n",
        "    \"عنوان\", \"عنوانِ\", \"عين\", \"غالبا\", \"غالبا\", \"غیر\", \"فبها\", \"فر\", \"فردا\",\n",
        "    \"فعلا\", \"فقط\", \"فلان\", \"فورا\", \"فوق\", \"في\", \"قابل\", \"قاعدتا\", \"قاطعانه\",\n",
        "    \"قبل\", \"قبلا\", \"قرار\", \"قدري\", \"قصدِ\", \"قطعا\", \"كرد\", \"كردم\", \"كردن\", \"كردند\",\n",
        "    \"كرده\", \"كردي\", \"كرديد\", \"كرديم\", \"كل\", \"كلي\", \"كم\", \"كمتر\", \"كمي\", \"کن\",\n",
        "    \"کند\", \"کنم\", \"کنند\", \"کنی\", \"کنید\", \"کنیم\", \"كه\", \"كو\", \"كي\", \"كيست\", \"كيس\",\n",
        "    \"لطفا\", \"ما\", \"مان\", \"مانند\", \"متر\", \"مثل\", \"مثلا\", \"مثلِ\", \"محسوب\", \"مخالفِ\",\n",
        "    \"مخصوصا\", \"مدتهاست\", \"مدّتی\", \"مرا\", \"مرتب\", \"مردانه\", \"مردم\", \"مستقيما\",\n",
        "    \"مسلما\", \"مطمینا\", \"معمولا\", \"مقابل\", \"مقرّر\", \"من\", \"منظور\", \"منطقي\",\n",
        "    \"مواجه\", \"موجود\", \"موقتا\", \"مگر\", \"مي\", \"ميليارد\", \"ميليون\", \"میکند\",\n",
        "    \"ميگويند\", \"مگر\", \"می\", \"می\", \"می تواند\", \"می کرد\", \"می کنم\", \"می‌کنند\",\n",
        "    \"می‌گويند\", \"میلیارد\", \"میليون\", \"میکند\", \"می‌کند\", \"می‌کنم\", \"می‌کنند\",\n",
        "    \"می‌گويند\", \"می‌آيد\", \"می‌آمد\", \"می‌باشد\", \"می‌خواهند\", \"می‌دارد\", \"می‌دهند\",\n",
        "    \"می‌سازد\", \"می‌زند\", \"می‌شد\", \"می‌شوم\", \"می‌شود\", \"می‌کرد\", \"می‌کنم\",\n",
        "    \"می‌کنند\", \"می‌گرفت\", \"می‌گيرد\", \"می‌گيرند\", \"می‌گوييد\", \"می‌آيد\", \"می‌آورم\",\n",
        "    \"می‌آمد\", \"می‌باشد\", \"می‌خواهند\", \"می‌خواهد\", \"می‌خواهد\", \"می‌دارد\", \"می‌دهد\",\n",
        "    \"می‌سازد\", \"می‌زند\", \"می‌شد\", \"می‌شود\", \"می‌گفت\", \"می‌گويد\", \"می‌گيرد\",\n",
        "    \"می‌گيرند\", \"می‌گوييد\", \"می‌آيد\", \"می‌آورم\", \"می‌خواهد\", \"می‌دهد\", \"می‌سازد\",\n",
        "    \"می‌زند\", \"می‌شد\", \"می‌شود\", \"می‌گفت\", \"می‌گويد\", \"می‌گيرد\", \"می‌گيرند\",\n",
        "    \"می‌گويد\", \"می‌آيد\", \"می‌آورم\", \"می‌خواهد\", \"می‌دهد\", \"می‌سازد\", \"می‌زند\",\n",
        "    \"می‌شد\", \"می‌شود\", \"می‌گويد\", \"می‌گيرد\", \"می‌گيرند\", \"می‌گويد\", \"می‌آيد\",\n",
        "    \"می‌آورم\", \"می‌خواهد\", \"می‌دهد\", \"می‌سازد\", \"می‌زند\", \"می‌شد\", \"می‌شود\",\n",
        "    \"می‌گفت\", \"می‌گويد\", \"می‌گيرد\", \"می‌گيرند\", \"می‌گوييد\", \"می‌آيد\", \"می‌آورم\",\n",
        "    \"می‌خواهد\", \"می‌دهد\", \"می‌سازد\", \"می‌زند\", \"می‌شد\", \"می‌شود\", \"می‌گفت\",\n",
        "    \"می‌گويد\", \"می‌گيرد\", \"می‌گيرند\", \"می‌گوييد\", \"می‌آيد\", \"می‌آورم\", \"می‌خواهد\",\n",
        "    \"می‌دهد\", \"می‌سازد\", \"می‌زند\", \"می‌شد\", \"می‌شود\", \"می‌گفت\", \"می‌گويد\",\n",
        "    \"می‌گيرد\", \"می‌گيرند\", \"می‌گويد\", \"می‌آيد\", \"می‌آورم\", \"می‌خواهد\", \"می‌دهد\",\n",
        "    \"می‌سازد\", \"می‌زند\", \"می‌شد\", \"می‌شود\", \"می‌گفت\", \"می‌گويد\", \"می‌گيرد\",\n",
        "    \"می‌گيرند\", \"می‌گوييد\", \"می‌آيد\", \"می‌آورم\", \"می‌خواهد\", \"می‌دهد\", \"می‌سازد\",\n",
        "    \"می‌زند\", \"می‌شد\", \"می‌شود\", \"می‌گفت\", \"می‌گويد\", \"می‌گيرد\", \"می‌گيرند\",\n",
        "    \"می‌گويد\", \"می‌آيد\", \"می‌آورم\", \"می‌خواهد\", \"می‌دهد\", \"می‌سازد\", \"می‌زند\",\n",
        "    \"می‌شد\", \"می‌شود\", \"می‌گفت\", \"می‌گويد\", \"می‌گيرد\", \"می‌گيرند\", \"می‌گويد\",\n",
        "    \"می‌آيد\", \"می‌آورم\", \"می‌خواهد\", \"می‌دهد\", \"می‌سازد\", \"می‌زند\", \"می‌شد\",\n",
        "    \"می‌شود\", \"می‌گفت\", \"می‌گويد\", \"می‌گيرد\", \"می‌گيرند\", \"می‌گويد\", \"می‌آيد\",\n",
        "    \"می‌آورم\", \"می‌خواهد\", \"می‌دهد\", \"می‌سازد\", \"می‌زند\", \"می‌شد\", \"می‌شود\",\n",
        "    \"می‌گفت\", \"می‌گويد\", \"می‌گيرد\", \"می‌گيرند\", \"می‌گويد\", \"می‌آيد\", \"می‌آورم\",\n",
        "    \"می‌خواهد\", \"می‌دهد\", \"می‌سازد\", \"می‌زند\", \"می‌شد\", \"می‌شود\", \"می‌گفت\",\n",
        "    \"می‌گويد\", \"می‌گيرد\", \"می‌گيرند\", \"می‌گويد\", \"می‌آيد\", \"می‌آورم\", \"می‌خواهد\",\n",
        "    \"می‌دهد\", \"می‌سازد\", \"می‌زند\", \"می‌شد\", \"می‌شود\", \"می‌گفت\", \"می‌گويد\",\n",
        "    \"می‌گيرد\", \"می‌گيرند\", \"می‌گويد\", \"می‌آيد\", \"می‌آورم\", \"می‌خواهد\", \"می‌دهد\",\n",
        "    \"می‌سازد\", \"می‌زند\", \"می‌شد\", \"می‌شود\", \"می‌گويد\", \"می‌گيرد\", \"می‌گيرند\",\n",
        "    \"می‌گوييد\", \"می‌آيد\", \"می‌آورم\", \"می‌خواهد\", \"می‌دهد\", \"می‌سازد\", \"می‌زند\",\n",
        "    \"می‌شد\", \"می‌شود\", \"می‌گويد\", \"می‌گيرد\", \"می‌گيرند\", \"می‌گويد\", \"می‌آيد\",\n",
        "    \"می‌آورم\", \"می‌خواهد\", \"می‌دهد\", \"می‌سازد\", \"می‌زند\", \"می‌شد\", \"می‌شود\",\n",
        "    \"می‌گويد\", \"می‌گيرد\", \"می‌گيرند\", \"می‌گوييد\", \"می‌آيد\", \"می‌آورم\", \"می‌خواهد\",\n",
        "    \"می‌دهد\", \"می‌سازد\", \"می‌زند\", \"می‌شد\", \"می‌شود\", \"می‌گويد\", \"می‌گيرد\",\n",
        "    \"می‌گيرند\", \"می‌گويد\", \"می‌آيد\", \"می‌آورم\", \"می‌خواهد\", \"می‌دهد\", \"می‌سازد\",\n",
        "    \"می‌زند\", \"می‌شد\", \"می‌شود\", \"می‌گفت\", \"می‌گويد\", \"می‌گيرد\", \"می‌گيرند\",\n",
        "    \"می‌گوييد\"]"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "h8CmwNYNUMa2"
      },
      "source": []
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "hkqCk_sCNmNL"
      },
      "outputs": [],
      "source": [
        "# نصب کتابخانه‌های مورد نیاز\n",
        "!pip install nltk\n",
        "!pip install sklearn\n",
        "\n",
        "# وارد کردن کتابخانه‌های مورد نیاز\n",
        "import nltk\n",
        "from nltk.tokenize import word_tokenize\n",
        "from nltk.corpus import stopwords\n",
        "from sklearn.feature_extraction.text import TfidfVectorizer\n",
        "import numpy as np\n",
        "\n",
        "# دانلود منابع لازم از NLTK\n",
        "nltk.download('punkt')\n",
        "nltk.download('stopwords')\n",
        "\n",
        "# متن مورد نظر\n",
        "text =input_text\n",
        "# text = \"\"\"\n",
        "# حسین عبده تبریزی ساعاتی بعد با انتشار متنی نسبت به حواشی به وجود آمده توضیح داد و در پیامش نوشت:\n",
        "\n",
        "# «روز جمعه ۱۹ مرداد اولین روز برگزاری نمایشگاه صنعت مالی در محل دائمی نمایشگاه‌ها بود. متاسفانه مدیران سازمان بورس، وزیر محترم و سایرین به مراسم نیامدند. در مراسم افتتاحیه، آن قدر بی‌کسی بود که من سخنران افتتاحیه شدم. البته آقای دکتر شمس‌الدین حسینی نیز بعدا رسیدند. دسته‌ای از افراد علیه مدیریت سازمان بنر‌های مختلف تهیه کرده بودند، و وقتی از سالن افتتاحیه خارج شدم، چند نفری پیش من آمدند که به دلیل بنر‌ها و اعتراض‌هایی که کرده بودند، دو نفر دستگیر شده‌اند، و از من امداد طلبییدند. با مراجعه‌ من به پلیس روشن شد که قصد دستگیری نیست، و با آن‌ها حرف می‌زنند که جلسه را به هم نریزند.\n",
        "\n",
        "# به سالن نمایشگاه رفتم و عده زیادی اطراف ساعت ۱۰ و نیم آنجا گرد آمده بودند و شکایت‌ها داشتند، و به ویژه از مدیریت بازار شکوه داشتند، و این که چرا من به آقای پزشکیان نمی‌گویم وی می‌باید بلافاصله عزل شود. صحبت‌ها تا ۱۲:۴۰ ادامه یافت و توانستم عده‌ خوبی را قانع کنم که تا استقرار دولت صبر کنند و تلاش کردم که بپرسم سایر مشکلات چیست. با خود فکر می‌کردم که کار درستی انجام می‌دهم، چرا که حداقل باید فرق دولت پزشکیان با دولت‌های قبل این باشد که سختی حرف مردم را  تحمل کنند و اجازه دهند مردم حرف دل خود را بزنند و شکایت‌های خود را مطرح کنند. این حداقلی است که دولت پزشکیان را از بقیه جدا می‌کند.\n",
        "\n",
        "# ساعت ۱۳ نشستی از کارشناسان تشکیل شده بود، تا جای نیامدن  افراد قبلی را پر کنند. جلسه بسیار خوب پیش رفت، و حدود ۲۰۰ نفری که جمع شده بودند، درد‌های خود را بازگو کردند. از این که رئیس جمهور هیچ توجهی به بورس ندارند گله‌مند بودند. اما شکایت‌های عمده دوباره روی مدیریت بورس متمرکز شد. حدود ساعت ۱۴ حدود چند نفری از معترضان سالن افتتاحیه با سروصدای فراوان آمدند و دائما علیه مدیریت بورس شعار می‌دانند، و دم گرفته بودند. طبعا نظم جلسه را به هم زدند و در نوبت‌هایی که برای صحبت به ایشان دادم نیز غیر از تغییر مدیریت، حرف دیگری نداشتند. به هر حال، با تجمیع این نفرات با ۲۰۰ نفری که مستمع نشست بودند، استدلال‌های بنده برای شکیبایی تا زمان تشکیل کابینه، فایده نبخشید. حدود ۵ نفر از جمع با اعتراض نظم جلسه را بر هم زدند، و یک نفر آن‌ها با متهم کردن بنده به طرفداری از مدیریت، بی‌حرمتی را به حد اعلا رساند؛ و این لحظه‌ای بود که برای حفظ نظم و پاسخ به توهین وی، ناچار فریاد زدم که احتمالاً بریده‌ی فیلم آن از ایران اینترنشنال را در اینستا دیده‌اید. بعد از آن، جلسه ادامه یافت و تا ساعت ۱۵:۱۵ با نوعی نظم پیش رفتیم، و نشست را به پایان رساندیم.\n",
        "\n",
        "# در کل روز سخت و در عین حال موفقی بود. فکر می‌کنم بیشتر حاضران از صبر و بردباری بنده رضایت داشتند و از این که حرف اهالی بازار سرمایه بعد از سال‌ها شنیده می‌شود. خوشحالم که امروز تحمل کردم عده‌ای سرم داد بزنند و مرا متهم کنند که خبر به آقای رئیس جمهور نداده‌ام و انتقال‌دهنده‌ی امینی نبوده‌ام. در عین حال شرمنده‌ام که به قدر کافی صبور نبوده‌ام. کاش شکیباتر بودم.\n",
        "\n",
        "# از درگاه حق، برای دولت آقای پزشکیان که این همه انتظار از آن می‌رود، (متاسفانه بودند کسانی که اعلام می‌کردند به دلیل کم‌کاری دولت آقای پزشکیان در انجام تغییرات، از رأی خود پشیمان‌اند) آرزوی توفیق و موفقیت دارم.\n",
        "# \"\"\"\n",
        "\n",
        "# لیست توقف‌واژه‌های فارسی\n",
        "farsi_stop_words = stopwords.words('persian')\n",
        "\n",
        "# توکنایز کردن کلمات\n",
        "words = word_tokenize(text.lower())\n",
        "\n",
        "# حذف توقف‌واژه‌ها\n",
        "filtered_words = [word for word in words if word.isalnum() and word not in farsi_stop_words]\n",
        "\n",
        "# تبدیل متن به بردارهای TF-IDF\n",
        "vectorizer = TfidfVectorizer()\n",
        "tfidf_matrix = vectorizer.fit_transform([' '.join(filtered_words)])\n",
        "\n",
        "# دریافت کلمات کلیدی بر اساس نمره TF-IDF\n",
        "feature_names = np.array(vectorizer.get_feature_names_out())\n",
        "tfidf_scores = np.array(tfidf_matrix.toarray()).flatten()\n",
        "\n",
        "# مرتب‌سازی کلمات کلیدی بر اساس نمره TF-IDF\n",
        "sorted_indices = np.argsort(tfidf_scores)[::-1]\n",
        "top_n = 10  # تعداد کلمات کلیدی برتر\n",
        "keywords = feature_names[sorted_indices][:top_n]\n",
        "\n",
        "# نمایش کلمات کلیدی\n",
        "print(keywords)\n"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "xW-KAZp-V_sZ",
        "outputId": "9f3b1448-291a-4b86-ba2e-f3471ade00ff"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "Requirement already satisfied: hazm in /usr/local/lib/python3.10/dist-packages (0.10.0)\n",
            "Requirement already satisfied: fasttext-wheel<0.10.0,>=0.9.2 in /usr/local/lib/python3.10/dist-packages (from hazm) (0.9.2)\n",
            "Requirement already satisfied: flashtext<3.0,>=2.7 in /usr/local/lib/python3.10/dist-packages (from hazm) (2.7)\n",
            "Requirement already satisfied: gensim<5.0.0,>=4.3.1 in /usr/local/lib/python3.10/dist-packages (from hazm) (4.3.3)\n",
            "Requirement already satisfied: nltk<4.0.0,>=3.8.1 in /usr/local/lib/python3.10/dist-packages (from hazm) (3.8.1)\n",
            "Requirement already satisfied: numpy==1.24.3 in /usr/local/lib/python3.10/dist-packages (from hazm) (1.24.3)\n",
            "Requirement already satisfied: python-crfsuite<0.10.0,>=0.9.9 in /usr/local/lib/python3.10/dist-packages (from hazm) (0.9.10)\n",
            "Requirement already satisfied: scikit-learn<2.0.0,>=1.2.2 in /usr/local/lib/python3.10/dist-packages (from hazm) (1.3.2)\n",
            "Requirement already satisfied: pybind11>=2.2 in /usr/local/lib/python3.10/dist-packages (from fasttext-wheel<0.10.0,>=0.9.2->hazm) (2.13.4)\n",
            "Requirement already satisfied: setuptools>=0.7.0 in /usr/local/lib/python3.10/dist-packages (from fasttext-wheel<0.10.0,>=0.9.2->hazm) (71.0.4)\n",
            "Requirement already satisfied: scipy<1.14.0,>=1.7.0 in /usr/local/lib/python3.10/dist-packages (from gensim<5.0.0,>=4.3.1->hazm) (1.13.1)\n",
            "Requirement already satisfied: smart-open>=1.8.1 in /usr/local/lib/python3.10/dist-packages (from gensim<5.0.0,>=4.3.1->hazm) (7.0.4)\n",
            "Requirement already satisfied: click in /usr/local/lib/python3.10/dist-packages (from nltk<4.0.0,>=3.8.1->hazm) (8.1.7)\n",
            "Requirement already satisfied: joblib in /usr/local/lib/python3.10/dist-packages (from nltk<4.0.0,>=3.8.1->hazm) (1.4.2)\n",
            "Requirement already satisfied: regex>=2021.8.3 in /usr/local/lib/python3.10/dist-packages (from nltk<4.0.0,>=3.8.1->hazm) (2024.5.15)\n",
            "Requirement already satisfied: tqdm in /usr/local/lib/python3.10/dist-packages (from nltk<4.0.0,>=3.8.1->hazm) (4.66.5)\n",
            "Requirement already satisfied: threadpoolctl>=2.0.0 in /usr/local/lib/python3.10/dist-packages (from scikit-learn<2.0.0,>=1.2.2->hazm) (3.5.0)\n",
            "Requirement already satisfied: wrapt in /usr/local/lib/python3.10/dist-packages (from smart-open>=1.8.1->gensim<5.0.0,>=4.3.1->hazm) (1.16.0)\n",
            "['پایتون' 'های']\n"
          ]
        }
      ],
      "source": [
        "# نصب کتابخانه‌های مورد نیاز\n",
        "!pip install hazm\n",
        "\n",
        "# وارد کردن کتابخانه‌های مورد نیاز\n",
        "from hazm import stopwords_list\n",
        "from nltk.tokenize import word_tokenize\n",
        "from sklearn.feature_extraction.text import TfidfVectorizer\n",
        "import numpy as np\n",
        "\n",
        "# متن مورد نظر\n",
        "# متن مورد نظر\n",
        "text = input_text\n",
        "# text = \"\"\"\n",
        "# حسین عبده تبریزی ساعاتی بعد با انتشار متنی نسبت به حواشی به وجود آمده توضیح داد و در پیامش نوشت:\n",
        "\n",
        "# «روز جمعه ۱۹ مرداد اولین روز برگزاری نمایشگاه صنعت مالی در محل دائمی نمایشگاه‌ها بود. متاسفانه مدیران سازمان بورس، وزیر محترم و سایرین به مراسم نیامدند. در مراسم افتتاحیه، آن قدر بی‌کسی بود که من سخنران افتتاحیه شدم. البته آقای دکتر شمس‌الدین حسینی نیز بعدا رسیدند. دسته‌ای از افراد علیه مدیریت سازمان بنر‌های مختلف تهیه کرده بودند، و وقتی از سالن افتتاحیه خارج شدم، چند نفری پیش من آمدند که به دلیل بنر‌ها و اعتراض‌هایی که کرده بودند، دو نفر دستگیر شده‌اند، و از من امداد طلبییدند. با مراجعه‌ من به پلیس روشن شد که قصد دستگیری نیست، و با آن‌ها حرف می‌زنند که جلسه را به هم نریزند.\n",
        "\n",
        "# به سالن نمایشگاه رفتم و عده زیادی اطراف ساعت ۱۰ و نیم آنجا گرد آمده بودند و شکایت‌ها داشتند، و به ویژه از مدیریت بازار شکوه داشتند، و این که چرا من به آقای پزشکیان نمی‌گویم وی می‌باید بلافاصله عزل شود. صحبت‌ها تا ۱۲:۴۰ ادامه یافت و توانستم عده‌ خوبی را قانع کنم که تا استقرار دولت صبر کنند و تلاش کردم که بپرسم سایر مشکلات چیست. با خود فکر می‌کردم که کار درستی انجام می‌دهم، چرا که حداقل باید فرق دولت پزشکیان با دولت‌های قبل این باشد که سختی حرف مردم را  تحمل کنند و اجازه دهند مردم حرف دل خود را بزنند و شکایت‌های خود را مطرح کنند. این حداقلی است که دولت پزشکیان را از بقیه جدا می‌کند.\n",
        "\n",
        "# ساعت ۱۳ نشستی از کارشناسان تشکیل شده بود، تا جای نیامدن  افراد قبلی را پر کنند. جلسه بسیار خوب پیش رفت، و حدود ۲۰۰ نفری که جمع شده بودند، درد‌های خود را بازگو کردند. از این که رئیس جمهور هیچ توجهی به بورس ندارند گله‌مند بودند. اما شکایت‌های عمده دوباره روی مدیریت بورس متمرکز شد. حدود ساعت ۱۴ حدود چند نفری از معترضان سالن افتتاحیه با سروصدای فراوان آمدند و دائما علیه مدیریت بورس شعار می‌دانند، و دم گرفته بودند. طبعا نظم جلسه را به هم زدند و در نوبت‌هایی که برای صحبت به ایشان دادم نیز غیر از تغییر مدیریت، حرف دیگری نداشتند. به هر حال، با تجمیع این نفرات با ۲۰۰ نفری که مستمع نشست بودند، استدلال‌های بنده برای شکیبایی تا زمان تشکیل کابینه، فایده نبخشید. حدود ۵ نفر از جمع با اعتراض نظم جلسه را بر هم زدند، و یک نفر آن‌ها با متهم کردن بنده به طرفداری از مدیریت، بی‌حرمتی را به حد اعلا رساند؛ و این لحظه‌ای بود که برای حفظ نظم و پاسخ به توهین وی، ناچار فریاد زدم که احتمالاً بریده‌ی فیلم آن از ایران اینترنشنال را در اینستا دیده‌اید. بعد از آن، جلسه ادامه یافت و تا ساعت ۱۵:۱۵ با نوعی نظم پیش رفتیم، و نشست را به پایان رساندیم.\n",
        "\n",
        "# در کل روز سخت و در عین حال موفقی بود. فکر می‌کنم بیشتر حاضران از صبر و بردباری بنده رضایت داشتند و از این که حرف اهالی بازار سرمایه بعد از سال‌ها شنیده می‌شود. خوشحالم که امروز تحمل کردم عده‌ای سرم داد بزنند و مرا متهم کنند که خبر به آقای رئیس جمهور نداده‌ام و انتقال‌دهنده‌ی امینی نبوده‌ام. در عین حال شرمنده‌ام که به قدر کافی صبور نبوده‌ام. کاش شکیباتر بودم.\n",
        "\n",
        "# از درگاه حق، برای دولت آقای پزشکیان که این همه انتظار از آن می‌رود، (متاسفانه بودند کسانی که اعلام می‌کردند به دلیل کم‌کاری دولت آقای پزشکیان در انجام تغییرات، از رأی خود پشیمان‌اند) آرزوی توفیق و موفقیت دارم.\n",
        "# \"\"\"\n",
        "\n",
        "# لیست توقف‌واژه‌های فارسی از کتابخانه Hazm\n",
        "farsi_stop_words =stopwords_list()\n",
        "\n",
        "# توکنایز کردن کلمات\n",
        "words1 = word_tokenize(text.lower())\n",
        "\n",
        "# حذف توقف‌واژه‌ها\n",
        "filtered_words = [word for word in words1 if word.isalnum() and word not in farsi_stop_words]\n",
        "\n",
        "# تبدیل متن به بردارهای TF-IDF\n",
        "vectorizer = TfidfVectorizer()\n",
        "tfidf_matrix = vectorizer.fit_transform([' '.join(filtered_words)])\n",
        "\n",
        "# دریافت کلمات کلیدی بر اساس نمره TF-IDF\n",
        "feature_names = np.array(vectorizer.get_feature_names_out())\n",
        "tfidf_scores = np.array(tfidf_matrix.toarray()).flatten()\n",
        "\n",
        "# مرتب‌سازی کلمات کلیدی بر اساس نمره TF-IDF\n",
        "sorted_indices = np.argsort(tfidf_scores)[::-1]\n",
        "top_n = 10  # تعداد کلمات کلیدی برتر\n",
        "keywords = feature_names[sorted_indices][:top_n]\n",
        "\n",
        "# نمایش کلمات کلیدی\n",
        "print(keywords)\n"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "kzOtYeBCWlSA"
      },
      "outputs": [],
      "source": [
        "# نصب کتابخانه‌های مورد نیاز\n",
        "!pip install hazm\n",
        "\n",
        "# وارد کردن کتابخانه‌های مورد نیاز\n",
        "from hazm import word_tokenize, Normalizer, stopwords_list\n",
        "from sklearn.feature_extraction.text import TfidfVectorizer\n",
        "import numpy as np\n",
        "\n",
        "# متن مورد نظر\n",
        "text =input_text\n",
        "# text = \"\"\"\n",
        "# حسین عبده تبریزی ساعاتی بعد با انتشار متنی نسبت به حواشی به وجود آمده توضیح داد و در پیامش نوشت:\n",
        "\n",
        "# «روز جمعه ۱۹ مرداد اولین روز برگزاری نمایشگاه صنعت مالی در محل دائمی نمایشگاه‌ها بود. متاسفانه مدیران سازمان بورس، وزیر محترم و سایرین به مراسم نیامدند. در مراسم افتتاحیه، آن قدر بی‌کسی بود که من سخنران افتتاحیه شدم. البته آقای دکتر شمس‌الدین حسینی نیز بعدا رسیدند. دسته‌ای از افراد علیه مدیریت سازمان بنر‌های مختلف تهیه کرده بودند، و وقتی از سالن افتتاحیه خارج شدم، چند نفری پیش من آمدند که به دلیل بنر‌ها و اعتراض‌هایی که کرده بودند، دو نفر دستگیر شده‌اند، و از من امداد طلبییدند. با مراجعه‌ من به پلیس روشن شد که قصد دستگیری نیست، و با آن‌ها حرف می‌زنند که جلسه را به هم نریزند.\n",
        "\n",
        "# به سالن نمایشگاه رفتم و عده زیادی اطراف ساعت ۱۰ و نیم آنجا گرد آمده بودند و شکایت‌ها داشتند، و به ویژه از مدیریت بازار شکوه داشتند، و این که چرا من به آقای پزشکیان نمی‌گویم وی می‌باید بلافاصله عزل شود. صحبت‌ها تا ۱۲:۴۰ ادامه یافت و توانستم عده‌ خوبی را قانع کنم که تا استقرار دولت صبر کنند و تلاش کردم که بپرسم سایر مشکلات چیست. با خود فکر می‌کردم که کار درستی انجام می‌دهم، چرا که حداقل باید فرق دولت پزشکیان با دولت‌های قبل این باشد که سختی حرف مردم را  تحمل کنند و اجازه دهند مردم حرف دل خود را بزنند و شکایت‌های خود را مطرح کنند. این حداقلی است که دولت پزشکیان را از بقیه جدا می‌کند.\n",
        "\n",
        "# ساعت ۱۳ نشستی از کارشناسان تشکیل شده بود، تا جای نیامدن  افراد قبلی را پر کنند. جلسه بسیار خوب پیش رفت، و حدود ۲۰۰ نفری که جمع شده بودند، درد‌های خود را بازگو کردند. از این که رئیس جمهور هیچ توجهی به بورس ندارند گله‌مند بودند. اما شکایت‌های عمده دوباره روی مدیریت بورس متمرکز شد. حدود ساعت ۱۴ حدود چند نفری از معترضان سالن افتتاحیه با سروصدای فراوان آمدند و دائما علیه مدیریت بورس شعار می‌دانند، و دم گرفته بودند. طبعا نظم جلسه را به هم زدند و در نوبت‌هایی که برای صحبت به ایشان دادم نیز غیر از تغییر مدیریت، حرف دیگری نداشتند. به هر حال، با تجمیع این نفرات با ۲۰۰ نفری که مستمع نشست بودند، استدلال‌های بنده برای شکیبایی تا زمان تشکیل کابینه، فایده نبخشید. حدود ۵ نفر از جمع با اعتراض نظم جلسه را بر هم زدند، و یک نفر آن‌ها با متهم کردن بنده به طرفداری از مدیریت، بی‌حرمتی را به حد اعلا رساند؛ و این لحظه‌ای بود که برای حفظ نظم و پاسخ به توهین وی، ناچار فریاد زدم که احتمالاً بریده‌ی فیلم آن از ایران اینترنشنال را در اینستا دیده‌اید. بعد از آن، جلسه ادامه یافت و تا ساعت ۱۵:۱۵ با نوعی نظم پیش رفتیم، و نشست را به پایان رساندیم.\n",
        "\n",
        "# در کل روز سخت و در عین حال موفقی بود. فکر می‌کنم بیشتر حاضران از صبر و بردباری بنده رضایت داشتند و از این که حرف اهالی بازار سرمایه بعد از سال‌ها شنیده می‌شود. خوشحالم که امروز تحمل کردم عده‌ای سرم داد بزنند و مرا متهم کنند که خبر به آقای رئیس جمهور نداده‌ام و انتقال‌دهنده‌ی امینی نبوده‌ام. در عین حال شرمنده‌ام که به قدر کافی صبور نبوده‌ام. کاش شکیباتر بودم.\n",
        "\n",
        "# از درگاه حق، برای دولت آقای پزشکیان که این همه انتظار از آن می‌رود، (متاسفانه بودند کسانی که اعلام می‌کردند به دلیل کم‌کاری دولت آقای پزشکیان در انجام تغییرات، از رأی خود پشیمان‌اند) آرزوی توفیق و موفقیت دارم.\n",
        "# \"\"\"\n",
        "\n",
        "\n",
        "# توقف‌واژه‌های فارسی از کتابخانه Hazm\n",
        "farsi_stop_words = set(stopwords_list())\n",
        "\n",
        "# توکنایزر و نرمالایزر\n",
        "normalizer = Normalizer()\n",
        "tokens = word_tokenize(normalizer.normalize(text))\n",
        "\n",
        "# حذف توقف‌واژه‌ها\n",
        "filtered_words = [word for word in tokens if word not in farsi_stop_words]\n",
        "\n",
        "# تبدیل متن به بردارهای TF-IDF\n",
        "vectorizer = TfidfVectorizer()\n",
        "tfidf_matrix = vectorizer.fit_transform([' '.join(filtered_words)])\n",
        "\n",
        "# دریافت کلمات کلیدی بر اساس نمره TF-IDF\n",
        "feature_names = np.array(vectorizer.get_feature_names_out())\n",
        "tfidf_scores = np.array(tfidf_matrix.toarray()).flatten()\n",
        "\n",
        "# مرتب‌سازی کلمات کلیدی بر اساس نمره TF-IDF\n",
        "sorted_indices = np.argsort(tfidf_scores)[::-1]\n",
        "top_n = 10  # تعداد کلمات کلیدی برتر\n",
        "keywords = feature_names[sorted_indices][:top_n]\n",
        "\n",
        "# نمایش کلمات کلیدی\n",
        "print(keywords)\n"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "e4y6SaeFdj_r",
        "outputId": "3e4b3738-fa33-486f-a68b-e8c166317f87"
      },
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "['\"\\'یادگیری\\',\"', '\"\\'ماشین\\',\"', '\"پایتون\\']\"', '\"های\\',\"', '\"\\'مسلط\"', '\"\\'در\"', '\"\\'دوره\\',\"', '\"\\'های\\',\"', '\"\\'دوره\"', '\"\\'مسلط\\',\"', '\"به\\',\"', '\"\\'دروازه\\',\"', '\"[\\'به\\',\"']\n"
          ]
        }
      ],
      "source": [
        "# فرض کنید متن حاوی لیست کلمات را در متغیر text ذخیره کرده‌اید\n",
        "\n",
        "words = text.split()  # جدا کردن کلمات بر اساس فاصله\n",
        "unique_words = list(set(words))  # حذف تکراری‌ها با استفاده از set\n",
        "formatted_words = [f'\"{word}\"' for word in unique_words]  # اضافه کردن کوتیشن مارک و ویرگول\n",
        "\n",
        "print(formatted_words)\n"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "WmHdz-0PW4dQ"
      },
      "outputs": [],
      "source": [
        "farsi_stop_words\n"
      ]
    }
  ],
  "metadata": {
    "colab": {
      "provenance": [],
      "authorship_tag": "ABX9TyOlUHJHKGzAf0peYotrqL6v",
      "include_colab_link": true
    },
    "kernelspec": {
      "display_name": "Python 3",
      "name": "python3"
    },
    "language_info": {
      "name": "python"
    },
    "widgets": {
      "application/vnd.jupyter.widget-state+json": {
        "0174ccd37f7d46338f6cb30d88082b78": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "DescriptionStyleModel",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "0527abce7de54a76aeb07716976928f3": {
          "model_module": "@jupyter-widgets/base",
          "model_module_version": "1.2.0",
          "model_name": "LayoutModel",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "07fdbca9a8ad412fb8877cf09174eb34": {
          "model_module": "@jupyter-widgets/base",
          "model_module_version": "1.2.0",
          "model_name": "LayoutModel",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "0ba7404fb5374ca2a2152f265829f597": {
          "model_module": "@jupyter-widgets/base",
          "model_module_version": "1.2.0",
          "model_name": "LayoutModel",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "0e16828ffdf7402cb218cc0e665600f3": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "HBoxModel",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HBoxModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HBoxView",
            "box_style": "",
            "children": [
              "IPY_MODEL_793aea3431b748488f9ca3b685781669",
              "IPY_MODEL_c5ada5856fc84bdeb25ec6f24151471b",
              "IPY_MODEL_2694494e1ac7440ea4dad5e612fce346"
            ],
            "layout": "IPY_MODEL_8b25a3c71c844a749f17e1a2b2a7e160"
          }
        },
        "0e2e743310384b6ba9a551c40be75f93": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "HBoxModel",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HBoxModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HBoxView",
            "box_style": "",
            "children": [
              "IPY_MODEL_db07b787915f4553b87485b23f2aec88",
              "IPY_MODEL_5640daba822f49578de8f07e85cf2e3a",
              "IPY_MODEL_aa733a158ca54299883f6fa487d77411"
            ],
            "layout": "IPY_MODEL_0527abce7de54a76aeb07716976928f3"
          }
        },
        "0e43a42da0a34d388faa8129c1584856": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "HTMLModel",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_f7319284d003477c92387ab08557ae77",
            "placeholder": "​",
            "style": "IPY_MODEL_e239aa1c1a584ee0977a2bb25cd99fd9",
            "value": " 456k/456k [00:00&lt;00:00, 4.77MB/s]"
          }
        },
        "10b500c4a3e444dc91e4d82aa27afc12": {
          "model_module": "@jupyter-widgets/base",
          "model_module_version": "1.2.0",
          "model_name": "LayoutModel",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "10e486d2b4934222863edc80c7372dd7": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "HBoxModel",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HBoxModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HBoxView",
            "box_style": "",
            "children": [
              "IPY_MODEL_1f807e05d7e84a399c87e84e2afa69cb",
              "IPY_MODEL_c58a28131e054340aca1f806349aca63",
              "IPY_MODEL_7fda6587fb25450aa7b381cf6cb6da18"
            ],
            "layout": "IPY_MODEL_293e3e8d2a0e4f8c8efc1c8140e9ac44"
          }
        },
        "131869d4af284e728e00568f880caf7d": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "ProgressStyleModel",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "ProgressStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "bar_color": null,
            "description_width": ""
          }
        },
        "1cebbf2c715f4444af9bc7199a120670": {
          "model_module": "@jupyter-widgets/base",
          "model_module_version": "1.2.0",
          "model_name": "LayoutModel",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "1e9d70123d1f4e12ba24e314cdc98bc2": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "DescriptionStyleModel",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "1f807e05d7e84a399c87e84e2afa69cb": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "HTMLModel",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_5ffe6343c18f46288f0fcee4a6f60939",
            "placeholder": "​",
            "style": "IPY_MODEL_0174ccd37f7d46338f6cb30d88082b78",
            "value": "config.json: 100%"
          }
        },
        "2694494e1ac7440ea4dad5e612fce346": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "HTMLModel",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_b7a2dd2198bd421e80036c26faa419ac",
            "placeholder": "​",
            "style": "IPY_MODEL_e6423d80e0e24f25b1da52ba70d3344f",
            "value": " 899k/899k [00:00&lt;00:00, 5.99MB/s]"
          }
        },
        "293e3e8d2a0e4f8c8efc1c8140e9ac44": {
          "model_module": "@jupyter-widgets/base",
          "model_module_version": "1.2.0",
          "model_name": "LayoutModel",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "2ecf2516d6a245e48ad5dfff33455810": {
          "model_module": "@jupyter-widgets/base",
          "model_module_version": "1.2.0",
          "model_name": "LayoutModel",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "347eeb63ccd843ffabb52de52f5173e2": {
          "model_module": "@jupyter-widgets/base",
          "model_module_version": "1.2.0",
          "model_name": "LayoutModel",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "3dae533718724392a9d5390fb9ebae4a": {
          "model_module": "@jupyter-widgets/base",
          "model_module_version": "1.2.0",
          "model_name": "LayoutModel",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "43342fa65ae542b586b453506965ab38": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "DescriptionStyleModel",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "4cdc611cf8cd4020be3cc0052b822ba6": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "HTMLModel",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_347eeb63ccd843ffabb52de52f5173e2",
            "placeholder": "​",
            "style": "IPY_MODEL_cea953d6a4b14a70ac5b28b233fe6140",
            "value": "merges.txt: 100%"
          }
        },
        "4da65045451c49cba511e7419555a22a": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "ProgressStyleModel",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "ProgressStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "bar_color": null,
            "description_width": ""
          }
        },
        "5640daba822f49578de8f07e85cf2e3a": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "FloatProgressModel",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "FloatProgressModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "ProgressView",
            "bar_style": "success",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_b23b02a8691a4e0189ed1ae5b049bb95",
            "max": 1625222120,
            "min": 0,
            "orientation": "horizontal",
            "style": "IPY_MODEL_4da65045451c49cba511e7419555a22a",
            "value": 1625222120
          }
        },
        "5a36223e37274e4397414d9f0c91f11d": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "DescriptionStyleModel",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "5ffe6343c18f46288f0fcee4a6f60939": {
          "model_module": "@jupyter-widgets/base",
          "model_module_version": "1.2.0",
          "model_name": "LayoutModel",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "6b964ed0f3fb496b94ea259bdd2c3ddd": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "ProgressStyleModel",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "ProgressStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "bar_color": null,
            "description_width": ""
          }
        },
        "6fbc9b5e78834463a1b433097bdea28f": {
          "model_module": "@jupyter-widgets/base",
          "model_module_version": "1.2.0",
          "model_name": "LayoutModel",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "730d72b780e24c3abc301623b93cb28b": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "HTMLModel",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_10b500c4a3e444dc91e4d82aa27afc12",
            "placeholder": "​",
            "style": "IPY_MODEL_43342fa65ae542b586b453506965ab38",
            "value": " 1.36M/1.36M [00:00&lt;00:00, 11.2MB/s]"
          }
        },
        "793aea3431b748488f9ca3b685781669": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "HTMLModel",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_e822598514184e56a5d8acb21f100fb9",
            "placeholder": "​",
            "style": "IPY_MODEL_1e9d70123d1f4e12ba24e314cdc98bc2",
            "value": "vocab.json: 100%"
          }
        },
        "7fda6587fb25450aa7b381cf6cb6da18": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "HTMLModel",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_b1e1ca80d717431e9b4543101305db02",
            "placeholder": "​",
            "style": "IPY_MODEL_5a36223e37274e4397414d9f0c91f11d",
            "value": " 1.58k/1.58k [00:00&lt;00:00, 92.7kB/s]"
          }
        },
        "8041e773ac9e427786146af1169d74ac": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "ProgressStyleModel",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "ProgressStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "bar_color": null,
            "description_width": ""
          }
        },
        "837054d4396f416ebde4664a5c0fecd3": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "DescriptionStyleModel",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "841933903f4646e1bae82ca09496bead": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "HBoxModel",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HBoxModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HBoxView",
            "box_style": "",
            "children": [
              "IPY_MODEL_c3e91f2706264d1b8f329a285b085771",
              "IPY_MODEL_bbc700d2deba456884d3db3e6cd23038",
              "IPY_MODEL_8aada97941534e5b86cefe597ae70ef8"
            ],
            "layout": "IPY_MODEL_0ba7404fb5374ca2a2152f265829f597"
          }
        },
        "889e401620c749b3bbe25c44bdff85ff": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "DescriptionStyleModel",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "8aada97941534e5b86cefe597ae70ef8": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "HTMLModel",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_a60a6caa64f049eba49b069fb66c70ab",
            "placeholder": "​",
            "style": "IPY_MODEL_9c1e9899db1a43f690022a8c233e6f8d",
            "value": " 363/363 [00:00&lt;00:00, 10.3kB/s]"
          }
        },
        "8b25a3c71c844a749f17e1a2b2a7e160": {
          "model_module": "@jupyter-widgets/base",
          "model_module_version": "1.2.0",
          "model_name": "LayoutModel",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "948a55fd9c89425a9277242b038547b1": {
          "model_module": "@jupyter-widgets/base",
          "model_module_version": "1.2.0",
          "model_name": "LayoutModel",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "96348ad4d1b44a53aba50e13aeedf257": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "DescriptionStyleModel",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "970c338507d345148a4d5f575b89490e": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "ProgressStyleModel",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "ProgressStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "bar_color": null,
            "description_width": ""
          }
        },
        "9b745dbd4e61437495fc9cf7fe2b309b": {
          "model_module": "@jupyter-widgets/base",
          "model_module_version": "1.2.0",
          "model_name": "LayoutModel",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "9c1e9899db1a43f690022a8c233e6f8d": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "DescriptionStyleModel",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "a572d50e27fc4e3da1b56658cc47eb58": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "DescriptionStyleModel",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "a60a6caa64f049eba49b069fb66c70ab": {
          "model_module": "@jupyter-widgets/base",
          "model_module_version": "1.2.0",
          "model_name": "LayoutModel",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "aa733a158ca54299883f6fa487d77411": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "HTMLModel",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_3dae533718724392a9d5390fb9ebae4a",
            "placeholder": "​",
            "style": "IPY_MODEL_889e401620c749b3bbe25c44bdff85ff",
            "value": " 1.63G/1.63G [00:15&lt;00:00, 149MB/s]"
          }
        },
        "aaebbec3802b49bea2da4e716ad4f1c7": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "HBoxModel",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HBoxModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HBoxView",
            "box_style": "",
            "children": [
              "IPY_MODEL_fe60d62b6c9e47e38780a5c3b3ca5d12",
              "IPY_MODEL_f7f26656d4e34924ad18812ee670d834",
              "IPY_MODEL_730d72b780e24c3abc301623b93cb28b"
            ],
            "layout": "IPY_MODEL_07fdbca9a8ad412fb8877cf09174eb34"
          }
        },
        "b1e1ca80d717431e9b4543101305db02": {
          "model_module": "@jupyter-widgets/base",
          "model_module_version": "1.2.0",
          "model_name": "LayoutModel",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "b23b02a8691a4e0189ed1ae5b049bb95": {
          "model_module": "@jupyter-widgets/base",
          "model_module_version": "1.2.0",
          "model_name": "LayoutModel",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "b7a2dd2198bd421e80036c26faa419ac": {
          "model_module": "@jupyter-widgets/base",
          "model_module_version": "1.2.0",
          "model_name": "LayoutModel",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "ba92f5cc4dbe475e9a6e1496a5d6cb79": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "HBoxModel",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HBoxModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HBoxView",
            "box_style": "",
            "children": [
              "IPY_MODEL_4cdc611cf8cd4020be3cc0052b822ba6",
              "IPY_MODEL_dca66bb5df89434a8822c058817a9de0",
              "IPY_MODEL_0e43a42da0a34d388faa8129c1584856"
            ],
            "layout": "IPY_MODEL_948a55fd9c89425a9277242b038547b1"
          }
        },
        "bbc700d2deba456884d3db3e6cd23038": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "FloatProgressModel",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "FloatProgressModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "ProgressView",
            "bar_style": "success",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_9b745dbd4e61437495fc9cf7fe2b309b",
            "max": 363,
            "min": 0,
            "orientation": "horizontal",
            "style": "IPY_MODEL_970c338507d345148a4d5f575b89490e",
            "value": 363
          }
        },
        "c3e91f2706264d1b8f329a285b085771": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "HTMLModel",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_6fbc9b5e78834463a1b433097bdea28f",
            "placeholder": "​",
            "style": "IPY_MODEL_96348ad4d1b44a53aba50e13aeedf257",
            "value": "generation_config.json: 100%"
          }
        },
        "c58a28131e054340aca1f806349aca63": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "FloatProgressModel",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "FloatProgressModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "ProgressView",
            "bar_style": "success",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_f33c625d2e5a4ed2898558037430e1d5",
            "max": 1585,
            "min": 0,
            "orientation": "horizontal",
            "style": "IPY_MODEL_131869d4af284e728e00568f880caf7d",
            "value": 1585
          }
        },
        "c5ada5856fc84bdeb25ec6f24151471b": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "FloatProgressModel",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "FloatProgressModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "ProgressView",
            "bar_style": "success",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_ee29acd66b64476ca732f7f5993ac447",
            "max": 898823,
            "min": 0,
            "orientation": "horizontal",
            "style": "IPY_MODEL_8041e773ac9e427786146af1169d74ac",
            "value": 898823
          }
        },
        "ca3b8e206b9741e99800b602699a1673": {
          "model_module": "@jupyter-widgets/base",
          "model_module_version": "1.2.0",
          "model_name": "LayoutModel",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "cea953d6a4b14a70ac5b28b233fe6140": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "DescriptionStyleModel",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "cf275e6f0a1f41549a4f8bf7ae3c24cc": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "ProgressStyleModel",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "ProgressStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "bar_color": null,
            "description_width": ""
          }
        },
        "db07b787915f4553b87485b23f2aec88": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "HTMLModel",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_ea22a34c0f99498cadcaa9e9d1281ed2",
            "placeholder": "​",
            "style": "IPY_MODEL_837054d4396f416ebde4664a5c0fecd3",
            "value": "model.safetensors: 100%"
          }
        },
        "dca66bb5df89434a8822c058817a9de0": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "FloatProgressModel",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "FloatProgressModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "ProgressView",
            "bar_style": "success",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_2ecf2516d6a245e48ad5dfff33455810",
            "max": 456318,
            "min": 0,
            "orientation": "horizontal",
            "style": "IPY_MODEL_cf275e6f0a1f41549a4f8bf7ae3c24cc",
            "value": 456318
          }
        },
        "e239aa1c1a584ee0977a2bb25cd99fd9": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "DescriptionStyleModel",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "e6423d80e0e24f25b1da52ba70d3344f": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "DescriptionStyleModel",
          "state": {
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "DescriptionStyleModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "StyleView",
            "description_width": ""
          }
        },
        "e822598514184e56a5d8acb21f100fb9": {
          "model_module": "@jupyter-widgets/base",
          "model_module_version": "1.2.0",
          "model_name": "LayoutModel",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "ea22a34c0f99498cadcaa9e9d1281ed2": {
          "model_module": "@jupyter-widgets/base",
          "model_module_version": "1.2.0",
          "model_name": "LayoutModel",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "ee29acd66b64476ca732f7f5993ac447": {
          "model_module": "@jupyter-widgets/base",
          "model_module_version": "1.2.0",
          "model_name": "LayoutModel",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "f33c625d2e5a4ed2898558037430e1d5": {
          "model_module": "@jupyter-widgets/base",
          "model_module_version": "1.2.0",
          "model_name": "LayoutModel",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "f7319284d003477c92387ab08557ae77": {
          "model_module": "@jupyter-widgets/base",
          "model_module_version": "1.2.0",
          "model_name": "LayoutModel",
          "state": {
            "_model_module": "@jupyter-widgets/base",
            "_model_module_version": "1.2.0",
            "_model_name": "LayoutModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/base",
            "_view_module_version": "1.2.0",
            "_view_name": "LayoutView",
            "align_content": null,
            "align_items": null,
            "align_self": null,
            "border": null,
            "bottom": null,
            "display": null,
            "flex": null,
            "flex_flow": null,
            "grid_area": null,
            "grid_auto_columns": null,
            "grid_auto_flow": null,
            "grid_auto_rows": null,
            "grid_column": null,
            "grid_gap": null,
            "grid_row": null,
            "grid_template_areas": null,
            "grid_template_columns": null,
            "grid_template_rows": null,
            "height": null,
            "justify_content": null,
            "justify_items": null,
            "left": null,
            "margin": null,
            "max_height": null,
            "max_width": null,
            "min_height": null,
            "min_width": null,
            "object_fit": null,
            "object_position": null,
            "order": null,
            "overflow": null,
            "overflow_x": null,
            "overflow_y": null,
            "padding": null,
            "right": null,
            "top": null,
            "visibility": null,
            "width": null
          }
        },
        "f7f26656d4e34924ad18812ee670d834": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "FloatProgressModel",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "FloatProgressModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "ProgressView",
            "bar_style": "success",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_ca3b8e206b9741e99800b602699a1673",
            "max": 1355863,
            "min": 0,
            "orientation": "horizontal",
            "style": "IPY_MODEL_6b964ed0f3fb496b94ea259bdd2c3ddd",
            "value": 1355863
          }
        },
        "fe60d62b6c9e47e38780a5c3b3ca5d12": {
          "model_module": "@jupyter-widgets/controls",
          "model_module_version": "1.5.0",
          "model_name": "HTMLModel",
          "state": {
            "_dom_classes": [],
            "_model_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_model_name": "HTMLModel",
            "_view_count": null,
            "_view_module": "@jupyter-widgets/controls",
            "_view_module_version": "1.5.0",
            "_view_name": "HTMLView",
            "description": "",
            "description_tooltip": null,
            "layout": "IPY_MODEL_1cebbf2c715f4444af9bc7199a120670",
            "placeholder": "​",
            "style": "IPY_MODEL_a572d50e27fc4e3da1b56658cc47eb58",
            "value": "tokenizer.json: 100%"
          }
        }
      }
    }
  },
  "nbformat": 4,
  "nbformat_minor": 0
}