parse_hh.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "d9a86b70",
   "metadata": {},
   "source": [
    "# <a id='toc1_'></a>[Парсинг вакансий аналитика с hh.ru в Москве](#toc0_)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "515c966f",
   "metadata": {},
   "source": [
    "**Содержание**<a id='toc0_'></a>    \n",
    "- [Парсинг вакансий аналитика с hh.ru в Москве](#toc1_)    \n",
    "  - [Подготовка к пасрингу](#toc1_1_)    \n",
    "  - [Выгрузка вакансий](#toc1_2_)    \n",
    "  - [Выгрузка доп. информации по выборке вакансий](#toc1_3_)    \n",
    "  - [Информация по формату, опыту и зарплате](#toc1_4_)    \n",
    "  - [Анализ ключевых навыков](#toc1_5_)    \n",
    "  - [Анализ описания вакансий](#toc1_6_)    \n",
    "\n",
    "<!-- vscode-jupyter-toc-config\n",
    "\tnumbering=false\n",
    "\tanchor=true\n",
    "\tflat=false\n",
    "\tminLevel=1\n",
    "\tmaxLevel=6\n",
    "\t/vscode-jupyter-toc-config -->\n",
    "<!-- THIS CELL WILL BE REPLACED ON TOC UPDATE. DO NOT WRITE YOUR TEXT IN THIS CELL -->"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <a id='toc1_1_'></a>[Подготовка к пасрингу](#toc0_)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "08eed0a6",
   "metadata": {},
   "outputs": [],
   "source": [
    "# импорт библиотек\n",
    "import requests\n",
    "from bs4 import BeautifulSoup\n",
    "import pandas as pd\n",
    "import numpy as np\n",
    "from tqdm.notebook import tqdm\n",
    "import time\n",
    "import re\n",
    "import matplotlib.pyplot as plt\n",
    "import seaborn as sns\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "4ba71b15",
   "metadata": {},
   "outputs": [],
   "source": [
    "url = 'https://hh.ru/vacancies/analitik'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "a2f3968b",
   "metadata": {},
   "outputs": [],
   "source": [
    "cookies = {\n",
    "    '__ddg1_': 'EUFoJ49oO7uKyGESsDAg',\n",
    "    '_xsrf': '565662c50cd7ac37d193aee93439b12f',\n",
    "    'hhrole': 'anonymous',\n",
    "    'regions': '1',\n",
    "    'region_clarified': 'NOT_SET',\n",
    "    'display': 'desktop',\n",
    "    'crypted_hhuid': 'F52DCC991562307604485239C6A45FED903F6A00FC346567CD4B5B0AA4AF30C8',\n",
    "    'hhtoken': 'KjSbZcLBxaKz3fzi0kegnrcBCo7o',\n",
    "    'hhuid': 'wcp6n_2aGk5lUWXXQoE7Uw--',\n",
    "    'total_searches': '4',\n",
    "    'GMT': '3',\n",
    "    'device_magritte_breakpoint': 'm',\n",
    "    'device_breakpoint': 'm',\n",
    "    'iap.uid': 'c067c7dbb3fa40f2893d158238a2227b',\n",
    "    '_ym_uid': '1708606083617511105',\n",
    "    '_ym_d': '1708606083',\n",
    "    'tmr_lvid': '93591b028af19745c4a181174a74c60f',\n",
    "    'tmr_lvidTS': '1708606082869',\n",
    "    'cfidsgib-w-hh': 'KnxKquiPOjhVJmx5/JBDDJnTdW+bRgpvjriZ60coV8quZ0DcnKgXQMRFfGP2HRCTVo6cEehAX3DAWTlgNbAlCrfM5N/TXg9w/+/51ORHHDpjoFRqlhK04qUjmyfnjSPjvlSIdAexQkdG9rE0zNr978II2Mu6zaUwA8H0hg==',\n",
    "    '_ym_isad': '2',\n",
    "    '__zzatgib-w-hh': 'MDA0dBA=Fz2+aQ==',\n",
    "    'cfidsgib-w-hh': 'CCvJ1thhtibnwTm/J++4gUnA5v5Qtmi3r482ZxLxlyw9AP/xVjqClvMsJrjmTqtg9LBFWJcYKt//svfo4plL4UNoWoFTbULct5GedPmYfBJvHJ6PnY4nV7UgvjjhMs+4RG6eL3tqOmnxB3VmhL5A494yHx6YfbRt/iAHiw==',\n",
    "    '_ym_visorc': 'b',\n",
    "    'gsscgib-w-hh': 'zLG0xSgas3Xl7T5MyY8XPDycx1vIdJOEZaSMbSmzBMifW7bvwEPWDgROKVo+S35SxnKvDzrhq9alJhnFwb/1l0aGlQqkGja3f6yrNB1APX4nP7Kke6xFfFHjQ3XvZXoVSqKgHzOLR79VsmljVLYE4yago/USE7n/++waXH46zuqxqeX/y0iXAmh74N1twEb69DWPbGnq837vEbyMbUxXlhWVbmXIXJspZWqM2VCK2AtveQLEbVLptL22lzcNQQ==',\n",
    "    'gsscgib-w-hh': '1VqwfwRSMN0XqLDy5M61UV/blVoA8iLyCrEwZmWq/wnCVDSH6gEZ8BNmD7EriredJaKHDDzdVkQUO2z9phSBY0lrd+iIeevw+h0nYdxRF2cMinY0J8tOjznKW0nvOkaf6D6NOzacWpikeLZV08sq2iXnULA15SKV4KxIZ95GJM4zaXP0aaoybeerYnio6jKYcVH55vhE7BPxu1SKscmiXPY/5gB0+/Q0xJs+7CdJy8e0jToIC1J3XOOWjZYlxw==',\n",
    "    'fgsscgib-w-hh': 'RZjje55ccb9683638fe411189d9c9891c4317354',\n",
    "    'tmr_detect': '0^%^7C1708606149267',\n",
    "    'cookie_policy_agreement': 'true',\n",
    "}\n",
    "\n",
    "headers = {\n",
    "    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:123.0) Gecko/20100101 Firefox/123.0',\n",
    "    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8',\n",
    "    'Accept-Language': 'ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3',\n",
    "    # 'Accept-Encoding': 'gzip, deflate, br',\n",
    "    'Referer': 'https://hh.ru/vacancies/analitik',\n",
    "    'Connection': 'keep-alive',\n",
    "    # 'Cookie': '__ddg1_=EUFoJ49oO7uKyGESsDAg; _xsrf=565662c50cd7ac37d193aee93439b12f; hhrole=anonymous; regions=1; region_clarified=NOT_SET; display=desktop; crypted_hhuid=F52DCC991562307604485239C6A45FED903F6A00FC346567CD4B5B0AA4AF30C8; hhtoken=KjSbZcLBxaKz3fzi0kegnrcBCo7o; hhuid=wcp6n_2aGk5lUWXXQoE7Uw--; total_searches=4; GMT=3; device_magritte_breakpoint=m; device_breakpoint=m; iap.uid=c067c7dbb3fa40f2893d158238a2227b; _ym_uid=1708606083617511105; _ym_d=1708606083; tmr_lvid=93591b028af19745c4a181174a74c60f; tmr_lvidTS=1708606082869; cfidsgib-w-hh=KnxKquiPOjhVJmx5/JBDDJnTdW+bRgpvjriZ60coV8quZ0DcnKgXQMRFfGP2HRCTVo6cEehAX3DAWTlgNbAlCrfM5N/TXg9w/+/51ORHHDpjoFRqlhK04qUjmyfnjSPjvlSIdAexQkdG9rE0zNr978II2Mu6zaUwA8H0hg==; _ym_isad=2; __zzatgib-w-hh=MDA0dBA=Fz2+aQ==; cfidsgib-w-hh=CCvJ1thhtibnwTm/J++4gUnA5v5Qtmi3r482ZxLxlyw9AP/xVjqClvMsJrjmTqtg9LBFWJcYKt//svfo4plL4UNoWoFTbULct5GedPmYfBJvHJ6PnY4nV7UgvjjhMs+4RG6eL3tqOmnxB3VmhL5A494yHx6YfbRt/iAHiw==; _ym_visorc=b; gsscgib-w-hh=zLG0xSgas3Xl7T5MyY8XPDycx1vIdJOEZaSMbSmzBMifW7bvwEPWDgROKVo+S35SxnKvDzrhq9alJhnFwb/1l0aGlQqkGja3f6yrNB1APX4nP7Kke6xFfFHjQ3XvZXoVSqKgHzOLR79VsmljVLYE4yago/USE7n/++waXH46zuqxqeX/y0iXAmh74N1twEb69DWPbGnq837vEbyMbUxXlhWVbmXIXJspZWqM2VCK2AtveQLEbVLptL22lzcNQQ==; gsscgib-w-hh=1VqwfwRSMN0XqLDy5M61UV/blVoA8iLyCrEwZmWq/wnCVDSH6gEZ8BNmD7EriredJaKHDDzdVkQUO2z9phSBY0lrd+iIeevw+h0nYdxRF2cMinY0J8tOjznKW0nvOkaf6D6NOzacWpikeLZV08sq2iXnULA15SKV4KxIZ95GJM4zaXP0aaoybeerYnio6jKYcVH55vhE7BPxu1SKscmiXPY/5gB0+/Q0xJs+7CdJy8e0jToIC1J3XOOWjZYlxw==; fgsscgib-w-hh=RZjje55ccb9683638fe411189d9c9891c4317354; tmr_detect=0^%^7C1708606149267; cookie_policy_agreement=true',\n",
    "    'Upgrade-Insecure-Requests': '1',\n",
    "    'Sec-Fetch-Dest': 'document',\n",
    "    'Sec-Fetch-Mode': 'navigate',\n",
    "    'Sec-Fetch-Site': 'same-origin',\n",
    "    # Requests doesn't support trailers\n",
    "    # 'TE': 'trailers',\n",
    "}\n",
    "\n",
    "response = requests.get('https://hh.ru/vacancies/analitik', cookies=cookies, headers=headers)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <a id='toc1_2_'></a>[Выгрузка вакансий](#toc0_)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "7b645bd0",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "670ce3a6f33944a8bcc49e5488d62cba",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "  0%|          | 0/40 [00:00<?, ?it/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "df_total_cards = pd.DataFrame()\n",
    "\n",
    "for page in tqdm(range(40)):\n",
    "    url = f'https://hh.ru/vacancies/analitik?page={page}&disableBrowserCache=true'\n",
    "    \n",
    "    response = requests.get(url, cookies=cookies, headers=headers)\n",
    "    time.sleep(1)\n",
    "    soup = BeautifulSoup(response.content, 'html.parser')\n",
    "    \n",
    "    total_data = []\n",
    "    for card in soup.find_all(class_ = 'serp-item'):\n",
    "        card_url = card.find_all(class_='bloko-link', href=True)[0]['href']\n",
    "        card_title = card.find_all(class_='bloko-link')[0].text\n",
    "        try:\n",
    "            card_salary = card.find_all(class_='bloko-header-section-2')[0].text\n",
    "        except: \n",
    "            card_salary = None\n",
    "        card_company = card.find_all(class_='vacancy-serp-item-company')[0].text\n",
    "        card_exp = card.find_all(class_='bloko-h-spacing-container')[1].text\n",
    "\n",
    "        temp_data = [card_url, card_title, card_salary, card_company, card_exp]\n",
    "        total_data.append(temp_data)\n",
    "        \n",
    "    page_df = pd.DataFrame(total_data, columns=['url', 'title','salary','company', 'exp'])\n",
    "    \n",
    "    df_total_cards = pd.concat([page_df, df_total_cards])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "590009b9",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>url</th>\n",
       "      <th>title</th>\n",
       "      <th>salary</th>\n",
       "      <th>company</th>\n",
       "      <th>exp</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>https://hh.ru/vacancy/90217739?query=%D0%B0%D0...</td>\n",
       "      <td>Системный аналитик</td>\n",
       "      <td>None</td>\n",
       "      <td>Russ OutdoorМосква, Динамо и еще 3</td>\n",
       "      <td>Опыт от 3 до 6 лет</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>https://hh.ru/vacancy/91080722?query=%D0%B0%D0...</td>\n",
       "      <td>Аналитик по ценообразованию (недвижимость)</td>\n",
       "      <td>None</td>\n",
       "      <td>ГК ФСКМосква</td>\n",
       "      <td>Опыт от 1 года до 3 лет</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>https://hh.ru/vacancy/93284651?query=%D0%B0%D0...</td>\n",
       "      <td>Junior product manager</td>\n",
       "      <td>None</td>\n",
       "      <td>ТайрайМосква, Менделеевская</td>\n",
       "      <td>Без опыта</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>https://hh.ru/vacancy/92221554?query=%D0%B0%D0...</td>\n",
       "      <td>Бизнес-аналитик</td>\n",
       "      <td>None</td>\n",
       "      <td>ООО ОзбэттеризМосква</td>\n",
       "      <td>Опыт от 1 года до 3 лет</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>https://hh.ru/vacancy/93279573?query=%D0%B0%D0...</td>\n",
       "      <td>Аналитик 1С</td>\n",
       "      <td>от 150 000 ₽</td>\n",
       "      <td>ООО СДЛ-группМосква, Шоссе Энтузиастов</td>\n",
       "      <td>Опыт от 1 года до 3 лет</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1999</th>\n",
       "      <td>https://hh.ru/vacancy/92582364?query=%D0%B0%D0...</td>\n",
       "      <td>Аналитик</td>\n",
       "      <td>None</td>\n",
       "      <td>Syndicate GroupМосква</td>\n",
       "      <td>Без опыта</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2000</th>\n",
       "      <td>https://hh.ru/vacancy/93510875?query=%D0%B0%D0...</td>\n",
       "      <td>Аналитик (стратегический консалтинг)</td>\n",
       "      <td>None</td>\n",
       "      <td>Global Remote ProfessionalsМосква</td>\n",
       "      <td>Без опыта</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2001</th>\n",
       "      <td>https://hh.ru/vacancy/93465209?query=%D0%B0%D0...</td>\n",
       "      <td>Товарный аналитик</td>\n",
       "      <td>None</td>\n",
       "      <td>EfendemМосква</td>\n",
       "      <td>Опыт от 1 года до 3 лет</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2002</th>\n",
       "      <td>https://hh.ru/vacancy/93353933?query=%D0%B0%D0...</td>\n",
       "      <td>Excel - аналитик</td>\n",
       "      <td>от 50 000 ₽</td>\n",
       "      <td>ООО GetBloggerМосква, Крестьянская застава и е...</td>\n",
       "      <td>Опыт от 1 года до 3 лет</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2003</th>\n",
       "      <td>https://hh.ru/vacancy/93080128?query=%D0%B0%D0...</td>\n",
       "      <td>Аналитик данных</td>\n",
       "      <td>None</td>\n",
       "      <td>ДомкликМосква, Кутузовская</td>\n",
       "      <td>Опыт от 1 года до 3 лет</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>2004 rows × 5 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                    url  \\\n",
       "0     https://hh.ru/vacancy/90217739?query=%D0%B0%D0...   \n",
       "1     https://hh.ru/vacancy/91080722?query=%D0%B0%D0...   \n",
       "2     https://hh.ru/vacancy/93284651?query=%D0%B0%D0...   \n",
       "3     https://hh.ru/vacancy/92221554?query=%D0%B0%D0...   \n",
       "4     https://hh.ru/vacancy/93279573?query=%D0%B0%D0...   \n",
       "...                                                 ...   \n",
       "1999  https://hh.ru/vacancy/92582364?query=%D0%B0%D0...   \n",
       "2000  https://hh.ru/vacancy/93510875?query=%D0%B0%D0...   \n",
       "2001  https://hh.ru/vacancy/93465209?query=%D0%B0%D0...   \n",
       "2002  https://hh.ru/vacancy/93353933?query=%D0%B0%D0...   \n",
       "2003  https://hh.ru/vacancy/93080128?query=%D0%B0%D0...   \n",
       "\n",
       "                                           title        salary  \\\n",
       "0                             Системный аналитик          None   \n",
       "1     Аналитик по ценообразованию (недвижимость)          None   \n",
       "2                         Junior product manager          None   \n",
       "3                                Бизнес-аналитик          None   \n",
       "4                                    Аналитик 1С  от 150 000 ₽   \n",
       "...                                          ...           ...   \n",
       "1999                                    Аналитик          None   \n",
       "2000        Аналитик (стратегический консалтинг)          None   \n",
       "2001                           Товарный аналитик          None   \n",
       "2002                            Excel - аналитик   от 50 000 ₽   \n",
       "2003                             Аналитик данных          None   \n",
       "\n",
       "                                                company  \\\n",
       "0                   Russ OutdoorМосква, Динамо и еще 3    \n",
       "1                                          ГК ФСКМосква   \n",
       "2                           ТайрайМосква, Менделеевская   \n",
       "3                                  ООО ОзбэттеризМосква   \n",
       "4                ООО СДЛ-группМосква, Шоссе Энтузиастов   \n",
       "...                                                 ...   \n",
       "1999                              Syndicate GroupМосква   \n",
       "2000                  Global Remote ProfessionalsМосква   \n",
       "2001                                      EfendemМосква   \n",
       "2002  ООО GetBloggerМосква, Крестьянская застава и е...   \n",
       "2003                         ДомкликМосква, Кутузовская   \n",
       "\n",
       "                          exp  \n",
       "0          Опыт от 3 до 6 лет  \n",
       "1     Опыт от 1 года до 3 лет  \n",
       "2                   Без опыта  \n",
       "3     Опыт от 1 года до 3 лет  \n",
       "4     Опыт от 1 года до 3 лет  \n",
       "...                       ...  \n",
       "1999                Без опыта  \n",
       "2000                Без опыта  \n",
       "2001  Опыт от 1 года до 3 лет  \n",
       "2002  Опыт от 1 года до 3 лет  \n",
       "2003  Опыт от 1 года до 3 лет  \n",
       "\n",
       "[2004 rows x 5 columns]"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_total_cards = df_total_cards.reset_index(drop=True)\n",
    "df_total_cards # просмотр таблицы"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "af2a8ba7",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'https://hh.ru/vacancy/89221852?query=%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D1%82%D0%B8%D0%BA&hhtmFrom=vacancy_search_list'"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# проверка корректности данных на примере одной ссылки\n",
    "df_total_cards.iloc[1955]['url'] "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <a id='toc1_3_'></a>[Выгрузка доп. информации по выборке вакансий](#toc0_)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "16f67c9f",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "43a48d7ada54409c8668ef643ab54b72",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "  0%|          | 0/200 [00:00<?, ?it/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "total_data_vacancy = []\n",
    "for vacancy_url in tqdm(df_total_cards.url.unique()[:200]):\n",
    "    response = requests.get(vacancy_url, cookies=cookies, headers=headers)\n",
    "\n",
    "    soup = BeautifulSoup(response.content)\n",
    "    try:\n",
    "        vacancy = soup.find_all(class_ = 'vacancy-description')[0]\n",
    "        vacancy_format = soup.find_all(class_='vacancy-description-list-item')[1].text\n",
    "        try:\n",
    "            vacancy_address = vacancy.find_all(class_='vacancy-section')[3].text\n",
    "        except:\n",
    "            vacancy_address = None\n",
    "        try:\n",
    "            vacancy_desc = vacancy.find_all(class_='vacancy-section')[0].text\n",
    "        except:\n",
    "            vacancy_desc = None\n",
    "        try:\n",
    "            vacancy_keys = vacancy.find_all(class_='vacancy-section')[2].text\n",
    "        except:\n",
    "            vacancy_keys = None\n",
    "\n",
    "        temp_data_vacancy = [vacancy_url, vacancy_format, vacancy_address, vacancy_desc, vacancy_keys]\n",
    "        total_data_vacancy.append(temp_data_vacancy)\n",
    "    except:\n",
    "        temp_data_vacancy = [vacancy_url, None, None, None, None]\n",
    "        total_data_vacancy.append(temp_data_vacancy)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "id": "b933f6c5",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>url</th>\n",
       "      <th>format</th>\n",
       "      <th>address</th>\n",
       "      <th>desc</th>\n",
       "      <th>keys</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>https://hh.ru/vacancy/90217739?query=%D0%B0%D0...</td>\n",
       "      <td>Полная занятость, гибкий график</td>\n",
       "      <td>None</td>\n",
       "      <td>Russ Outdoor — крупнейшая в России компания, к...</td>\n",
       "      <td>АдресМосква, Динамо, Петровский парк, Савёловс...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>https://hh.ru/vacancy/91080722?query=%D0%B0%D0...</td>\n",
       "      <td>Полная занятость, полный день</td>\n",
       "      <td>None</td>\n",
       "      <td>В ФСК Регион Департамента продаж и клиентского...</td>\n",
       "      <td>Ключевые навыкиКвартирографияMS OfficeАналитич...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>https://hh.ru/vacancy/93284651?query=%D0%B0%D0...</td>\n",
       "      <td>Полная занятость, полный день</td>\n",
       "      <td>None</td>\n",
       "      <td>Франчайзинговая сеть Тайрай - это более 600 та...</td>\n",
       "      <td>АдресМосква, Менделеевская, Новослободская ули...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>https://hh.ru/vacancy/92221554?query=%D0%B0%D0...</td>\n",
       "      <td>Полная занятость, полный день</td>\n",
       "      <td>АдресМосква, Михалковская улица, 63Бс4Показать...</td>\n",
       "      <td>ООО «ОЗБЭТТЕРИЗ» амбициозная команда специалис...</td>\n",
       "      <td>Ключевые навыкиМоделирование бизнес процессовО...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>https://hh.ru/vacancy/93279573?query=%D0%B0%D0...</td>\n",
       "      <td>Полная занятость, полный день</td>\n",
       "      <td>Контактная информацияПоказать контакты</td>\n",
       "      <td>- Требуемый опыт работы: 1–3 лет - Полная заня...</td>\n",
       "      <td>Ключевые навыки1С: Предприятие 8Постановка зад...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>195</th>\n",
       "      <td>https://hh.ru/vacancy/91553542?query=%D0%B0%D0...</td>\n",
       "      <td>Полная занятость, полный день</td>\n",
       "      <td>АдресМосква, Новые Черемушки, Профсоюзная улиц...</td>\n",
       "      <td>\\n\\n\\n\\n\\n\\n\\n\\nлидер рынка недвижимости Росси...</td>\n",
       "      <td>Контактная информацияПоказать контакты</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>196</th>\n",
       "      <td>https://hh.ru/vacancy/93353658?query=%D0%B0%D0...</td>\n",
       "      <td>Полная занятость, полный день</td>\n",
       "      <td>АдресМосква, Воронцовская улица, 35Показать на...</td>\n",
       "      <td>Ищем в свою команду Финансового Аналитика Комп...</td>\n",
       "      <td>Ключевые навыкиФинансовый анализУправленческая...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>197</th>\n",
       "      <td>https://hh.ru/vacancy/93670423?query=%D0%B0%D0...</td>\n",
       "      <td>Полная занятость, полный день</td>\n",
       "      <td>None</td>\n",
       "      <td>Клиника Хадасса ищет в свою команду аналитика ...</td>\n",
       "      <td>АдресМосква, Сколково, Западный административн...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>198</th>\n",
       "      <td>https://hh.ru/vacancy/92624039?query=%D0%B0%D0...</td>\n",
       "      <td>Полная занятость, полный день</td>\n",
       "      <td>None</td>\n",
       "      <td>Вакансия компании: ООО \"НЬЮМЕДИА\"Разыскиваем я...</td>\n",
       "      <td>Контактная информацияПоказать контакты</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>199</th>\n",
       "      <td>https://hh.ru/vacancy/93066722?query=%D0%B0%D0...</td>\n",
       "      <td>Полная занятость, удаленная работа</td>\n",
       "      <td>None</td>\n",
       "      <td>Компания SoftJet (аутстафф) занимается разрабо...</td>\n",
       "      <td>Ключевые навыкиSQLCamundaKafkaUML/BPMNESBRESTS...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>200 rows × 5 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                   url  \\\n",
       "0    https://hh.ru/vacancy/90217739?query=%D0%B0%D0...   \n",
       "1    https://hh.ru/vacancy/91080722?query=%D0%B0%D0...   \n",
       "2    https://hh.ru/vacancy/93284651?query=%D0%B0%D0...   \n",
       "3    https://hh.ru/vacancy/92221554?query=%D0%B0%D0...   \n",
       "4    https://hh.ru/vacancy/93279573?query=%D0%B0%D0...   \n",
       "..                                                 ...   \n",
       "195  https://hh.ru/vacancy/91553542?query=%D0%B0%D0...   \n",
       "196  https://hh.ru/vacancy/93353658?query=%D0%B0%D0...   \n",
       "197  https://hh.ru/vacancy/93670423?query=%D0%B0%D0...   \n",
       "198  https://hh.ru/vacancy/92624039?query=%D0%B0%D0...   \n",
       "199  https://hh.ru/vacancy/93066722?query=%D0%B0%D0...   \n",
       "\n",
       "                                 format  \\\n",
       "0       Полная занятость, гибкий график   \n",
       "1         Полная занятость, полный день   \n",
       "2         Полная занятость, полный день   \n",
       "3         Полная занятость, полный день   \n",
       "4         Полная занятость, полный день   \n",
       "..                                  ...   \n",
       "195       Полная занятость, полный день   \n",
       "196       Полная занятость, полный день   \n",
       "197       Полная занятость, полный день   \n",
       "198       Полная занятость, полный день   \n",
       "199  Полная занятость, удаленная работа   \n",
       "\n",
       "                                               address  \\\n",
       "0                                                 None   \n",
       "1                                                 None   \n",
       "2                                                 None   \n",
       "3    АдресМосква, Михалковская улица, 63Бс4Показать...   \n",
       "4               Контактная информацияПоказать контакты   \n",
       "..                                                 ...   \n",
       "195  АдресМосква, Новые Черемушки, Профсоюзная улиц...   \n",
       "196  АдресМосква, Воронцовская улица, 35Показать на...   \n",
       "197                                               None   \n",
       "198                                               None   \n",
       "199                                               None   \n",
       "\n",
       "                                                  desc  \\\n",
       "0    Russ Outdoor — крупнейшая в России компания, к...   \n",
       "1    В ФСК Регион Департамента продаж и клиентского...   \n",
       "2    Франчайзинговая сеть Тайрай - это более 600 та...   \n",
       "3    ООО «ОЗБЭТТЕРИЗ» амбициозная команда специалис...   \n",
       "4    - Требуемый опыт работы: 1–3 лет - Полная заня...   \n",
       "..                                                 ...   \n",
       "195  \\n\\n\\n\\n\\n\\n\\n\\nлидер рынка недвижимости Росси...   \n",
       "196  Ищем в свою команду Финансового Аналитика Комп...   \n",
       "197  Клиника Хадасса ищет в свою команду аналитика ...   \n",
       "198  Вакансия компании: ООО \"НЬЮМЕДИА\"Разыскиваем я...   \n",
       "199  Компания SoftJet (аутстафф) занимается разрабо...   \n",
       "\n",
       "                                                  keys  \n",
       "0    АдресМосква, Динамо, Петровский парк, Савёловс...  \n",
       "1    Ключевые навыкиКвартирографияMS OfficeАналитич...  \n",
       "2    АдресМосква, Менделеевская, Новослободская ули...  \n",
       "3    Ключевые навыкиМоделирование бизнес процессовО...  \n",
       "4    Ключевые навыки1С: Предприятие 8Постановка зад...  \n",
       "..                                                 ...  \n",
       "195             Контактная информацияПоказать контакты  \n",
       "196  Ключевые навыкиФинансовый анализУправленческая...  \n",
       "197  АдресМосква, Сколково, Западный административн...  \n",
       "198             Контактная информацияПоказать контакты  \n",
       "199  Ключевые навыкиSQLCamundaKafkaUML/BPMNESBRESTS...  \n",
       "\n",
       "[200 rows x 5 columns]"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_vacancy = pd.DataFrame(total_data_vacancy, columns=['url', 'format', 'address', 'desc', 'keys'])\n",
    "df_vacancy # просмотр таблицы"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <a id='toc1_4_'></a>[Информация по формату, опыту и зарплате](#toc0_)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "id": "aaea78c1",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>count</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>exp</th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>Опыт от 1 года до 3 лет</th>\n",
       "      <td>1242</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Опыт от 3 до 6 лет</th>\n",
       "      <td>545</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Без опыта</th>\n",
       "      <td>187</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Опыт более 6 лет</th>\n",
       "      <td>30</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                         count\n",
       "exp                           \n",
       "Опыт от 1 года до 3 лет   1242\n",
       "Опыт от 3 до 6 лет         545\n",
       "Без опыта                  187\n",
       "Опыт более 6 лет            30"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "exper = df_total_cards.exp.value_counts().to_frame()\n",
    "display(exper)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "id": "4cb83f79",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>count</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>salary</th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>от 100 000 ₽</th>\n",
       "      <td>50</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>от 150 000 ₽</th>\n",
       "      <td>48</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>от 120 000 ₽</th>\n",
       "      <td>27</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>от 200 000 ₽</th>\n",
       "      <td>23</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>от 80 000 ₽</th>\n",
       "      <td>20</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>200 000 – 280 000 ₽</th>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>от 55 000 ₽</th>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>35 000 – 55 000 ₽</th>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>75 000 – 80 000 ₽</th>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>75 000 – 85 000 ₽</th>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>254 rows × 1 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                     count\n",
       "salary                    \n",
       "от 100 000 ₽            50\n",
       "от 150 000 ₽            48\n",
       "от 120 000 ₽            27\n",
       "от 200 000 ₽            23\n",
       "от 80 000 ₽             20\n",
       "...                    ...\n",
       "200 000 – 280 000 ₽      1\n",
       "от 55 000 ₽              1\n",
       "35 000 – 55 000 ₽        1\n",
       "75 000 – 80 000 ₽        1\n",
       "75 000 – 85 000 ₽        1\n",
       "\n",
       "[254 rows x 1 columns]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "salary_vc = df_total_cards.salary.value_counts().to_frame()\n",
    "display(salary_vc)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "id": "445ce3f6",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>count</th>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>format</th>\n",
       "      <th></th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>Полная занятость, полный день</th>\n",
       "      <td>133</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Полная занятость, удаленная работа</th>\n",
       "      <td>47</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Полная занятость, гибкий график</th>\n",
       "      <td>11</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Стажировка, полный день</th>\n",
       "      <td>3</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Частичная занятость, удаленная работа</th>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>Проектная работа/разовое задание, удаленная работа</th>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                    count\n",
       "format                                                   \n",
       "Полная занятость, полный день                         133\n",
       "Полная занятость, удаленная работа                     47\n",
       "Полная занятость, гибкий график                        11\n",
       "Стажировка, полный день                                 3\n",
       "Частичная занятость, удаленная работа                   2\n",
       "Проектная работа/разовое задание, удаленная работа      1"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "form_vc = df_vacancy.format.value_counts().to_frame()\n",
    "display(form_vc)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <a id='toc1_5_'></a>[Анализ ключевых навыков](#toc0_)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "id": "ac67c553",
   "metadata": {},
   "outputs": [],
   "source": [
    "df_vacancy_kyes = df_vacancy.copy()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "id": "15aa8f52",
   "metadata": {},
   "outputs": [],
   "source": [
    "df_vacancy_kyes['keys'] = df_vacancy_kyes['keys'].astype(str)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "id": "71e98182",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "1     КвартирографияMS OfficeАналитическое мышлениеА...\n",
       "3     Моделирование бизнес процессовОптимизация бизн...\n",
       "4     1С: Предприятие 8Постановка задач разработчика...\n",
       "5     CorelDRAWMS PowerPointMS ExcelФинансовое модел...\n",
       "6     Бизнес-процессыBPMNSQLAPIРазработка технически...\n",
       "9     Аналитические исследованияМоделирование макроэ...\n",
       "10    Аналитическое мышлениеСбор и анализ информации...\n",
       "11                          MS SQLMS ExcelАнализ данных\n",
       "12    MS ExcelУправленческая отчетностьПлан-фактный ...\n",
       "15                                        Бизнес-анализ\n",
       "16    ЦенообразованиеАнализ ассортиментной линейкиАн...\n",
       "17    Статистический анализСоциологические исследова...\n",
       "18                           UMLBPMNEPCСистемный анализ\n",
       "22    Финансовый анализАналитическое мышлениеАнализ ...\n",
       "23    ВнимательностьРабота с базами данныхАнглийский...\n",
       "24    ARISУправление проектамиMS VisioBPMN1САвтомати...\n",
       "26                            SQLPythonTableauA/B тесты\n",
       "30    Управление командойОбучение и развитиеДеловая ...\n",
       "31               SQLPySparkMS SQLPythonPower BIETLSCALA\n",
       "32    PythonРабота с большим объемом информацииGitРа...\n",
       "Name: keys, dtype: object"
      ]
     },
     "execution_count": 14,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_vacancy_kyes_list = df_vacancy_kyes.loc[(df_vacancy_kyes['keys'].str.contains('Ключевые навыки')),'keys'] \\\n",
    "    .apply(lambda x: x.replace('Ключевые навыки', ''))\n",
    "df_vacancy_kyes_list.head(20) # корректный список ключевых навыхов (первые 20 пунктов)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "id": "b92acb7f",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "SQL в ключевых навыках встречается в 49 случаях\n",
      "Python в ключевых навыках встречается в 12 случаях\n",
      "Excel в ключевых навыках встречается в 27 случаях\n",
      "BI в ключевых навыках встречается в 11 случаях\n",
      "Английский язык в ключевых навыках встречается в 20 случаях\n",
      "BPMN в ключевых навыках встречается в 30 случаях\n",
      "API в ключевых навыках встречается в 9 случаях\n"
     ]
    }
   ],
   "source": [
    "sql_key = df_vacancy_kyes_list.loc[df_vacancy_kyes_list.str.contains('SQL|sql')]\n",
    "print(f'SQL в ключевых навыках встречается в {sql_key.shape[0]} случаях')\n",
    "python_key = df_vacancy_kyes_list.loc[df_vacancy_kyes_list.str.contains('Python|python')]\n",
    "print(f'Python в ключевых навыках встречается в {python_key.shape[0]} случаях')\n",
    "excel_key = df_vacancy_kyes_list.loc[df_vacancy_kyes_list.str.contains('Excel|excel')]\n",
    "print(f'Excel в ключевых навыках встречается в {excel_key.shape[0]} случаях')\n",
    "bi_key = df_vacancy_kyes_list.loc[df_vacancy_kyes_list.str.contains('BI|bi|Bi')]\n",
    "print(f'BI в ключевых навыках встречается в {bi_key.shape[0]} случаях')\n",
    "eng_key = df_vacancy_kyes_list.loc[df_vacancy_kyes_list.str.contains('Английский')]\n",
    "print(f'Английский язык в ключевых навыках встречается в {eng_key.shape[0]} случаях')\n",
    "bpmn_key = df_vacancy_kyes_list.loc[df_vacancy_kyes_list.str.contains('BPMN|bpmn|Bpmn')]\n",
    "print(f'BPMN в ключевых навыках встречается в {bpmn_key.shape[0]} случаях')\n",
    "api_key = df_vacancy_kyes_list.loc[df_vacancy_kyes_list.str.contains('API|api|Api')]\n",
    "print(f'API в ключевых навыках встречается в {api_key.shape[0]} случаях')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <a id='toc1_6_'></a>[Анализ описания вакансий](#toc0_)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "id": "8753d15e",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>url</th>\n",
       "      <th>title</th>\n",
       "      <th>salary</th>\n",
       "      <th>company</th>\n",
       "      <th>exp</th>\n",
       "      <th>format</th>\n",
       "      <th>address</th>\n",
       "      <th>desc</th>\n",
       "      <th>keys</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>https://hh.ru/vacancy/90217739?query=%D0%B0%D0...</td>\n",
       "      <td>Системный аналитик</td>\n",
       "      <td></td>\n",
       "      <td>Russ OutdoorМосква, Динамо и еще 3</td>\n",
       "      <td>Опыт от 3 до 6 лет</td>\n",
       "      <td>Полная занятость, гибкий график</td>\n",
       "      <td></td>\n",
       "      <td>Russ Outdoor — крупнейшая в России компания, к...</td>\n",
       "      <td>АдресМосква, Динамо, Петровский парк, Савёловс...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>https://hh.ru/vacancy/91080722?query=%D0%B0%D0...</td>\n",
       "      <td>Аналитик по ценообразованию (недвижимость)</td>\n",
       "      <td></td>\n",
       "      <td>ГК ФСКМосква</td>\n",
       "      <td>Опыт от 1 года до 3 лет</td>\n",
       "      <td>Полная занятость, полный день</td>\n",
       "      <td></td>\n",
       "      <td>В ФСК Регион Департамента продаж и клиентского...</td>\n",
       "      <td>Ключевые навыкиКвартирографияMS OfficeАналитич...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>https://hh.ru/vacancy/93284651?query=%D0%B0%D0...</td>\n",
       "      <td>Junior product manager</td>\n",
       "      <td></td>\n",
       "      <td>ТайрайМосква, Менделеевская</td>\n",
       "      <td>Без опыта</td>\n",
       "      <td>Полная занятость, полный день</td>\n",
       "      <td></td>\n",
       "      <td>Франчайзинговая сеть Тайрай - это более 600 та...</td>\n",
       "      <td>АдресМосква, Менделеевская, Новослободская ули...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>https://hh.ru/vacancy/92221554?query=%D0%B0%D0...</td>\n",
       "      <td>Бизнес-аналитик</td>\n",
       "      <td></td>\n",
       "      <td>ООО ОзбэттеризМосква</td>\n",
       "      <td>Опыт от 1 года до 3 лет</td>\n",
       "      <td>Полная занятость, полный день</td>\n",
       "      <td>АдресМосква, Михалковская улица, 63Бс4Показать...</td>\n",
       "      <td>ООО «ОЗБЭТТЕРИЗ» амбициозная команда специалис...</td>\n",
       "      <td>Ключевые навыкиМоделирование бизнес процессовО...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>https://hh.ru/vacancy/93279573?query=%D0%B0%D0...</td>\n",
       "      <td>Аналитик 1С</td>\n",
       "      <td>от 150 000 ₽</td>\n",
       "      <td>ООО СДЛ-группМосква, Шоссе Энтузиастов</td>\n",
       "      <td>Опыт от 1 года до 3 лет</td>\n",
       "      <td>Полная занятость, полный день</td>\n",
       "      <td>Контактная информацияПоказать контакты</td>\n",
       "      <td>- Требуемый опыт работы: 1–3 лет - Полная заня...</td>\n",
       "      <td>Ключевые навыки1С: Предприятие 8Постановка зад...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>195</th>\n",
       "      <td>https://hh.ru/vacancy/91553542?query=%D0%B0%D0...</td>\n",
       "      <td>Ведущий маркетолог-аналитик по работе с клиент...</td>\n",
       "      <td>120 000 – 150 000 ₽</td>\n",
       "      <td>Этажи МоскваМосква, Новые Черемушки</td>\n",
       "      <td>Опыт от 1 года до 3 лет</td>\n",
       "      <td>Полная занятость, полный день</td>\n",
       "      <td>АдресМосква, Новые Черемушки, Профсоюзная улиц...</td>\n",
       "      <td>\\n\\n\\n\\n\\n\\n\\n\\nлидер рынка недвижимости Росси...</td>\n",
       "      <td>Контактная информацияПоказать контакты</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>196</th>\n",
       "      <td>https://hh.ru/vacancy/93353658?query=%D0%B0%D0...</td>\n",
       "      <td>Финансовый аналитик</td>\n",
       "      <td>до 150 000 ₽</td>\n",
       "      <td>ООО ФьютехМосква</td>\n",
       "      <td>Опыт от 3 до 6 лет</td>\n",
       "      <td>Полная занятость, полный день</td>\n",
       "      <td>АдресМосква, Воронцовская улица, 35Показать на...</td>\n",
       "      <td>Ищем в свою команду Финансового Аналитика Комп...</td>\n",
       "      <td>Ключевые навыкиФинансовый анализУправленческая...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>197</th>\n",
       "      <td>https://hh.ru/vacancy/93670423?query=%D0%B0%D0...</td>\n",
       "      <td>Аналитик (премиум клиника Хадасса)</td>\n",
       "      <td></td>\n",
       "      <td>МедсканМосква, Сколково</td>\n",
       "      <td>Опыт от 1 года до 3 лет</td>\n",
       "      <td>Полная занятость, полный день</td>\n",
       "      <td></td>\n",
       "      <td>Клиника Хадасса ищет в свою команду аналитика ...</td>\n",
       "      <td>АдресМосква, Сколково, Западный административн...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>198</th>\n",
       "      <td>https://hh.ru/vacancy/92624039?query=%D0%B0%D0...</td>\n",
       "      <td>Трейдер-аналитик в хедж-фонд</td>\n",
       "      <td></td>\n",
       "      <td>JobersМосква</td>\n",
       "      <td>Опыт от 1 года до 3 лет</td>\n",
       "      <td>Полная занятость, полный день</td>\n",
       "      <td></td>\n",
       "      <td>Вакансия компании: ООО \"НЬЮМЕДИА\"Разыскиваем я...</td>\n",
       "      <td>Контактная информацияПоказать контакты</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>199</th>\n",
       "      <td>https://hh.ru/vacancy/93066722?query=%D0%B0%D0...</td>\n",
       "      <td>Системный аналитик / System Analyst Middle+ (у...</td>\n",
       "      <td>250 000 – 300 000 ₽</td>\n",
       "      <td>ООО Soft JetМосква</td>\n",
       "      <td>Опыт от 1 года до 3 лет</td>\n",
       "      <td>Полная занятость, удаленная работа</td>\n",
       "      <td></td>\n",
       "      <td>Компания SoftJet (аутстафф) занимается разрабо...</td>\n",
       "      <td>Ключевые навыкиSQLCamundaKafkaUML/BPMNESBRESTS...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>200 rows × 9 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                   url  \\\n",
       "0    https://hh.ru/vacancy/90217739?query=%D0%B0%D0...   \n",
       "1    https://hh.ru/vacancy/91080722?query=%D0%B0%D0...   \n",
       "2    https://hh.ru/vacancy/93284651?query=%D0%B0%D0...   \n",
       "3    https://hh.ru/vacancy/92221554?query=%D0%B0%D0...   \n",
       "4    https://hh.ru/vacancy/93279573?query=%D0%B0%D0...   \n",
       "..                                                 ...   \n",
       "195  https://hh.ru/vacancy/91553542?query=%D0%B0%D0...   \n",
       "196  https://hh.ru/vacancy/93353658?query=%D0%B0%D0...   \n",
       "197  https://hh.ru/vacancy/93670423?query=%D0%B0%D0...   \n",
       "198  https://hh.ru/vacancy/92624039?query=%D0%B0%D0...   \n",
       "199  https://hh.ru/vacancy/93066722?query=%D0%B0%D0...   \n",
       "\n",
       "                                                 title               salary  \\\n",
       "0                                   Системный аналитик                        \n",
       "1           Аналитик по ценообразованию (недвижимость)                        \n",
       "2                               Junior product manager                        \n",
       "3                                      Бизнес-аналитик                        \n",
       "4                                          Аналитик 1С         от 150 000 ₽   \n",
       "..                                                 ...                  ...   \n",
       "195  Ведущий маркетолог-аналитик по работе с клиент...  120 000 – 150 000 ₽   \n",
       "196                                Финансовый аналитик         до 150 000 ₽   \n",
       "197                 Аналитик (премиум клиника Хадасса)                        \n",
       "198                       Трейдер-аналитик в хедж-фонд                        \n",
       "199  Системный аналитик / System Analyst Middle+ (у...  250 000 – 300 000 ₽   \n",
       "\n",
       "                                    company                      exp  \\\n",
       "0       Russ OutdoorМосква, Динамо и еще 3        Опыт от 3 до 6 лет   \n",
       "1                              ГК ФСКМосква  Опыт от 1 года до 3 лет   \n",
       "2               ТайрайМосква, Менделеевская                Без опыта   \n",
       "3                      ООО ОзбэттеризМосква  Опыт от 1 года до 3 лет   \n",
       "4    ООО СДЛ-группМосква, Шоссе Энтузиастов  Опыт от 1 года до 3 лет   \n",
       "..                                      ...                      ...   \n",
       "195     Этажи МоскваМосква, Новые Черемушки  Опыт от 1 года до 3 лет   \n",
       "196                        ООО ФьютехМосква       Опыт от 3 до 6 лет   \n",
       "197                 МедсканМосква, Сколково  Опыт от 1 года до 3 лет   \n",
       "198                            JobersМосква  Опыт от 1 года до 3 лет   \n",
       "199                      ООО Soft JetМосква  Опыт от 1 года до 3 лет   \n",
       "\n",
       "                                 format  \\\n",
       "0       Полная занятость, гибкий график   \n",
       "1         Полная занятость, полный день   \n",
       "2         Полная занятость, полный день   \n",
       "3         Полная занятость, полный день   \n",
       "4         Полная занятость, полный день   \n",
       "..                                  ...   \n",
       "195       Полная занятость, полный день   \n",
       "196       Полная занятость, полный день   \n",
       "197       Полная занятость, полный день   \n",
       "198       Полная занятость, полный день   \n",
       "199  Полная занятость, удаленная работа   \n",
       "\n",
       "                                               address  \\\n",
       "0                                                        \n",
       "1                                                        \n",
       "2                                                        \n",
       "3    АдресМосква, Михалковская улица, 63Бс4Показать...   \n",
       "4               Контактная информацияПоказать контакты   \n",
       "..                                                 ...   \n",
       "195  АдресМосква, Новые Черемушки, Профсоюзная улиц...   \n",
       "196  АдресМосква, Воронцовская улица, 35Показать на...   \n",
       "197                                                      \n",
       "198                                                      \n",
       "199                                                      \n",
       "\n",
       "                                                  desc  \\\n",
       "0    Russ Outdoor — крупнейшая в России компания, к...   \n",
       "1    В ФСК Регион Департамента продаж и клиентского...   \n",
       "2    Франчайзинговая сеть Тайрай - это более 600 та...   \n",
       "3    ООО «ОЗБЭТТЕРИЗ» амбициозная команда специалис...   \n",
       "4    - Требуемый опыт работы: 1–3 лет - Полная заня...   \n",
       "..                                                 ...   \n",
       "195  \\n\\n\\n\\n\\n\\n\\n\\nлидер рынка недвижимости Росси...   \n",
       "196  Ищем в свою команду Финансового Аналитика Комп...   \n",
       "197  Клиника Хадасса ищет в свою команду аналитика ...   \n",
       "198  Вакансия компании: ООО \"НЬЮМЕДИА\"Разыскиваем я...   \n",
       "199  Компания SoftJet (аутстафф) занимается разрабо...   \n",
       "\n",
       "                                                  keys  \n",
       "0    АдресМосква, Динамо, Петровский парк, Савёловс...  \n",
       "1    Ключевые навыкиКвартирографияMS OfficeАналитич...  \n",
       "2    АдресМосква, Менделеевская, Новослободская ули...  \n",
       "3    Ключевые навыкиМоделирование бизнес процессовО...  \n",
       "4    Ключевые навыки1С: Предприятие 8Постановка зад...  \n",
       "..                                                 ...  \n",
       "195             Контактная информацияПоказать контакты  \n",
       "196  Ключевые навыкиФинансовый анализУправленческая...  \n",
       "197  АдресМосква, Сколково, Западный административн...  \n",
       "198             Контактная информацияПоказать контакты  \n",
       "199  Ключевые навыкиSQLCamundaKafkaUML/BPMNESBRESTS...  \n",
       "\n",
       "[200 rows x 9 columns]"
      ]
     },
     "execution_count": 16,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df = df_total_cards.merge(df_vacancy_kyes, how='right')\n",
    "df = df.fillna('')\n",
    "df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "id": "d832f09b",
   "metadata": {},
   "outputs": [],
   "source": [
    "# обработка описания вакансий\n",
    "df['desc'] = df.desc.str.lower()\n",
    "df['desc'] = df.desc.apply(lambda x: re.sub(r'[,\"_(.)]', '', x))\n",
    "df['desc'] = df.desc.apply(lambda x: re.sub(r'[\\n]', ' ', x))\n",
    "df['desc'] = df.desc.apply(lambda x: re.sub(r'[\\t]', ' ', x))\n",
    "df['desc'] = df.desc.apply(lambda x: re.sub(r'[/]', ' ', x))\n",
    "df['desc'] = df.desc.str.replace('  ', ' ')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "id": "3ac13b03",
   "metadata": {},
   "outputs": [],
   "source": [
    "list_desc = list(df.desc) # список описаний"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "id": "5debab2e",
   "metadata": {},
   "outputs": [],
   "source": [
    "dic_ = {}\n",
    "for item in list_desc: # создание словаря слов из описаний\n",
    "    try:\n",
    "        item_split = item.split(' ')\n",
    "        for el in item_split:\n",
    "            el = str(el)\n",
    "            if el in dic_:\n",
    "                dic_[el] += 1\n",
    "            else:\n",
    "                dic_[el] = 1\n",
    "    except:\n",
    "        continue"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "id": "d544318f",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>keyword</th>\n",
       "      <th>keyword_counts</th>\n",
       "      <th>keys_len</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>67</th>\n",
       "      <td>на</td>\n",
       "      <td>722</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>136</th>\n",
       "      <td>по</td>\n",
       "      <td>605</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>100</th>\n",
       "      <td>опыт</td>\n",
       "      <td>524</td>\n",
       "      <td>4</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>101</th>\n",
       "      <td>работы</td>\n",
       "      <td>509</td>\n",
       "      <td>6</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>94</th>\n",
       "      <td>для</td>\n",
       "      <td>444</td>\n",
       "      <td>3</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>49</th>\n",
       "      <td>мы</td>\n",
       "      <td>399</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>221</th>\n",
       "      <td>от</td>\n",
       "      <td>269</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>449</th>\n",
       "      <td>знание</td>\n",
       "      <td>252</td>\n",
       "      <td>6</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>195</th>\n",
       "      <td>данных</td>\n",
       "      <td>216</td>\n",
       "      <td>6</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>75</th>\n",
       "      <td>анализ</td>\n",
       "      <td>181</td>\n",
       "      <td>6</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>251</th>\n",
       "      <td>компании</td>\n",
       "      <td>163</td>\n",
       "      <td>8</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>191</th>\n",
       "      <td>умение</td>\n",
       "      <td>161</td>\n",
       "      <td>6</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>183</th>\n",
       "      <td>или</td>\n",
       "      <td>146</td>\n",
       "      <td>3</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>889</th>\n",
       "      <td>работа</td>\n",
       "      <td>145</td>\n",
       "      <td>6</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>192</th>\n",
       "      <td>работать</td>\n",
       "      <td>135</td>\n",
       "      <td>8</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>78</th>\n",
       "      <td>разработка</td>\n",
       "      <td>131</td>\n",
       "      <td>10</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>475</th>\n",
       "      <td>участие</td>\n",
       "      <td>128</td>\n",
       "      <td>7</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>293</th>\n",
       "      <td>что</td>\n",
       "      <td>126</td>\n",
       "      <td>3</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>140</th>\n",
       "      <td>подготовка</td>\n",
       "      <td>120</td>\n",
       "      <td>10</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>326</th>\n",
       "      <td>будет</td>\n",
       "      <td>119</td>\n",
       "      <td>5</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "        keyword  keyword_counts  keys_len\n",
       "67           на             722         2\n",
       "136          по             605         2\n",
       "100        опыт             524         4\n",
       "101      работы             509         6\n",
       "94          для             444         3\n",
       "49           мы             399         2\n",
       "221          от             269         2\n",
       "449      знание             252         6\n",
       "195      данных             216         6\n",
       "75       анализ             181         6\n",
       "251    компании             163         8\n",
       "191      умение             161         6\n",
       "183         или             146         3\n",
       "889      работа             145         6\n",
       "192    работать             135         8\n",
       "78   разработка             131        10\n",
       "475     участие             128         7\n",
       "293         что             126         3\n",
       "140  подготовка             120        10\n",
       "326       будет             119         5"
      ]
     },
     "execution_count": 20,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_keys = pd.DataFrame([dic_], index=[0]).T.reset_index() # создание таблицы слов из описаний\n",
    "df_keys.columns = ['keyword', 'keyword_counts']\n",
    "df_keys = df_keys.sort_values('keyword_counts', ascending=False)\n",
    "df_keys['keys_len'] = df_keys.keyword.apply(lambda x: len(x))\n",
    "df_keys.query('keys_len > 1').head(20)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "id": "e5f6c958",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>url</th>\n",
       "      <th>title</th>\n",
       "      <th>salary</th>\n",
       "      <th>company</th>\n",
       "      <th>exp</th>\n",
       "      <th>format</th>\n",
       "      <th>address</th>\n",
       "      <th>desc</th>\n",
       "      <th>keys</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>https://hh.ru/vacancy/93164977?query=%D0%B0%D0...</td>\n",
       "      <td>Финансовый аналитик в производственную компани...</td>\n",
       "      <td></td>\n",
       "      <td>ООО Унечский завод тугоплавких металловМосква</td>\n",
       "      <td>Опыт от 1 года до 3 лет</td>\n",
       "      <td>Полная занятость, полный день</td>\n",
       "      <td>АдресМосква, Бауманская улицаПоказать на больш...</td>\n",
       "      <td>ооо унечский завод тугоплавких металлов являе...</td>\n",
       "      <td>Ключевые навыкиCorelDRAWMS PowerPointMS ExcelФ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10</th>\n",
       "      <td>https://hh.ru/vacancy/93716832?query=%D0%B0%D0...</td>\n",
       "      <td>Менеджер-аналитик Ozon</td>\n",
       "      <td>от 15 000 ₽</td>\n",
       "      <td>ИП Канунова Мария АндреевнаМосква</td>\n",
       "      <td>Опыт от 1 года до 3 лет</td>\n",
       "      <td>Полная занятость, полный день</td>\n",
       "      <td></td>\n",
       "      <td>обязанности: - мониторинг цен и контроль ценоо...</td>\n",
       "      <td>Ключевые навыкиАналитическое мышлениеСбор и ан...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>12</th>\n",
       "      <td>https://hh.ru/vacancy/92906556?query=%D0%B0%D0...</td>\n",
       "      <td>Младший финансовый аналитик</td>\n",
       "      <td></td>\n",
       "      <td>Онлайн-школа ТетрикаМосква, Курская</td>\n",
       "      <td>Без опыта</td>\n",
       "      <td>Полная занятость, полный день</td>\n",
       "      <td>АдресМосква, Курская, Нижняя Сыромятническая у...</td>\n",
       "      <td>привет! мы — онлайн-школа тетрика являемся...</td>\n",
       "      <td>Ключевые навыкиMS ExcelУправленческая отчетнос...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>16</th>\n",
       "      <td>https://hh.ru/vacancy/92401342?query=%D0%B0%D0...</td>\n",
       "      <td>Категорийный менеджер в отдел маркетплейсов (FBO)</td>\n",
       "      <td>90 000 – 110 000 ₽</td>\n",
       "      <td>ООО Элит ГруппМосква</td>\n",
       "      <td>Опыт от 1 года до 3 лет</td>\n",
       "      <td>Полная занятость, удаленная работа</td>\n",
       "      <td>Контактная информацияПоказать контакты</td>\n",
       "      <td>компания сантехникатут является одним из крупн...</td>\n",
       "      <td>Ключевые навыкиЦенообразованиеАнализ ассортиме...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17</th>\n",
       "      <td>https://hh.ru/vacancy/93194787?query=%D0%B0%D0...</td>\n",
       "      <td>Аналитик (Интерн) в практику \"Социология бизнеса\"</td>\n",
       "      <td></td>\n",
       "      <td>ЭКОПСИ КонсалтингМосква, Дмитровская</td>\n",
       "      <td>Без опыта</td>\n",
       "      <td>Полная занятость, гибкий график</td>\n",
       "      <td>АдресМосква, Дмитровская, Новодмитровская улиц...</td>\n",
       "      <td>социология бизнеса – одна из практик «экопси к...</td>\n",
       "      <td>Ключевые навыкиСтатистический анализСоциологич...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                  url  \\\n",
       "5   https://hh.ru/vacancy/93164977?query=%D0%B0%D0...   \n",
       "10  https://hh.ru/vacancy/93716832?query=%D0%B0%D0...   \n",
       "12  https://hh.ru/vacancy/92906556?query=%D0%B0%D0...   \n",
       "16  https://hh.ru/vacancy/92401342?query=%D0%B0%D0...   \n",
       "17  https://hh.ru/vacancy/93194787?query=%D0%B0%D0...   \n",
       "\n",
       "                                                title              salary  \\\n",
       "5   Финансовый аналитик в производственную компани...                       \n",
       "10                             Менеджер-аналитик Ozon         от 15 000 ₽   \n",
       "12                        Младший финансовый аналитик                       \n",
       "16  Категорийный менеджер в отдел маркетплейсов (FBO)  90 000 – 110 000 ₽   \n",
       "17  Аналитик (Интерн) в практику \"Социология бизнеса\"                       \n",
       "\n",
       "                                          company                      exp  \\\n",
       "5   ООО Унечский завод тугоплавких металловМосква  Опыт от 1 года до 3 лет   \n",
       "10              ИП Канунова Мария АндреевнаМосква  Опыт от 1 года до 3 лет   \n",
       "12            Онлайн-школа ТетрикаМосква, Курская                Без опыта   \n",
       "16                           ООО Элит ГруппМосква  Опыт от 1 года до 3 лет   \n",
       "17           ЭКОПСИ КонсалтингМосква, Дмитровская                Без опыта   \n",
       "\n",
       "                                format  \\\n",
       "5        Полная занятость, полный день   \n",
       "10       Полная занятость, полный день   \n",
       "12       Полная занятость, полный день   \n",
       "16  Полная занятость, удаленная работа   \n",
       "17     Полная занятость, гибкий график   \n",
       "\n",
       "                                              address  \\\n",
       "5   АдресМосква, Бауманская улицаПоказать на больш...   \n",
       "10                                                      \n",
       "12  АдресМосква, Курская, Нижняя Сыромятническая у...   \n",
       "16             Контактная информацияПоказать контакты   \n",
       "17  АдресМосква, Дмитровская, Новодмитровская улиц...   \n",
       "\n",
       "                                                 desc  \\\n",
       "5    ооо унечский завод тугоплавких металлов являе...   \n",
       "10  обязанности: - мониторинг цен и контроль ценоо...   \n",
       "12      привет! мы — онлайн-школа тетрика являемся...   \n",
       "16  компания сантехникатут является одним из крупн...   \n",
       "17  социология бизнеса – одна из практик «экопси к...   \n",
       "\n",
       "                                                 keys  \n",
       "5   Ключевые навыкиCorelDRAWMS PowerPointMS ExcelФ...  \n",
       "10  Ключевые навыкиАналитическое мышлениеСбор и ан...  \n",
       "12  Ключевые навыкиMS ExcelУправленческая отчетнос...  \n",
       "16  Ключевые навыкиЦенообразованиеАнализ ассортиме...  \n",
       "17  Ключевые навыкиСтатистический анализСоциологич...  "
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "text/plain": [
       "71"
      ]
     },
     "execution_count": 21,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "exc = df.loc[df.desc.str.contains('excel')] # excel в описаниях вакансий\n",
    "display(exc.head())\n",
    "exc.shape[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "id": "8811b3c3",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>url</th>\n",
       "      <th>title</th>\n",
       "      <th>salary</th>\n",
       "      <th>company</th>\n",
       "      <th>exp</th>\n",
       "      <th>format</th>\n",
       "      <th>address</th>\n",
       "      <th>desc</th>\n",
       "      <th>keys</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>https://hh.ru/vacancy/90217739?query=%D0%B0%D0...</td>\n",
       "      <td>Системный аналитик</td>\n",
       "      <td></td>\n",
       "      <td>Russ OutdoorМосква, Динамо и еще 3</td>\n",
       "      <td>Опыт от 3 до 6 лет</td>\n",
       "      <td>Полная занятость, гибкий график</td>\n",
       "      <td></td>\n",
       "      <td>russ outdoor — крупнейшая в россии компания ко...</td>\n",
       "      <td>АдресМосква, Динамо, Петровский парк, Савёловс...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>https://hh.ru/vacancy/90055162?query=%D0%B0%D0...</td>\n",
       "      <td>Системный аналитик</td>\n",
       "      <td></td>\n",
       "      <td>АО Эксперт РАМосква, Таганская</td>\n",
       "      <td>Опыт от 1 года до 3 лет</td>\n",
       "      <td>Полная занятость, полный день</td>\n",
       "      <td>АдресМосква, Таганская, Николоямская улица, 13...</td>\n",
       "      <td>«эксперт ра» – крупнейшее рейтинговое агентств...</td>\n",
       "      <td>Ключевые навыкиБизнес-процессыBPMNSQLAPIРазраб...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>https://hh.ru/vacancy/91331861?query=%D0%B0%D0...</td>\n",
       "      <td>Тест-аналитик</td>\n",
       "      <td>200 000 – 300 000 ₽</td>\n",
       "      <td>Diamond Personnel R&amp;CМосква</td>\n",
       "      <td>Опыт от 3 до 6 лет</td>\n",
       "      <td>Полная занятость, полный день</td>\n",
       "      <td></td>\n",
       "      <td>для крупного банка подбираем - тест-аналитика ...</td>\n",
       "      <td>None</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11</th>\n",
       "      <td>https://hh.ru/vacancy/93208814?query=%D0%B0%D0...</td>\n",
       "      <td>Бизнес-аналитик (debt collection)</td>\n",
       "      <td>от 120 000 ₽</td>\n",
       "      <td>ООО МКК КНОПКАДЕНЬГИМосква</td>\n",
       "      <td>Опыт от 3 до 6 лет</td>\n",
       "      <td>Полная занятость, полный день</td>\n",
       "      <td>АдресМосква, Алтуфьевское шоссе, 27Показать на...</td>\n",
       "      <td>обязанности: развитие внутреннего сервиса взыс...</td>\n",
       "      <td>Ключевые навыкиMS SQLMS ExcelАнализ данных</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>21</th>\n",
       "      <td>https://hh.ru/vacancy/93676163?query=%D0%B0%D0...</td>\n",
       "      <td>Аналитик в Команду Технорисков</td>\n",
       "      <td></td>\n",
       "      <td>Сбер для экспертовМосква</td>\n",
       "      <td>Опыт от 1 года до 3 лет</td>\n",
       "      <td>Полная занятость, полный день</td>\n",
       "      <td></td>\n",
       "      <td>команда технорисков сбера развива...</td>\n",
       "      <td>None</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                  url  \\\n",
       "0   https://hh.ru/vacancy/90217739?query=%D0%B0%D0...   \n",
       "6   https://hh.ru/vacancy/90055162?query=%D0%B0%D0...   \n",
       "7   https://hh.ru/vacancy/91331861?query=%D0%B0%D0...   \n",
       "11  https://hh.ru/vacancy/93208814?query=%D0%B0%D0...   \n",
       "21  https://hh.ru/vacancy/93676163?query=%D0%B0%D0...   \n",
       "\n",
       "                                title               salary  \\\n",
       "0                  Системный аналитик                        \n",
       "6                  Системный аналитик                        \n",
       "7                       Тест-аналитик  200 000 – 300 000 ₽   \n",
       "11  Бизнес-аналитик (debt collection)         от 120 000 ₽   \n",
       "21     Аналитик в Команду Технорисков                        \n",
       "\n",
       "                                company                      exp  \\\n",
       "0   Russ OutdoorМосква, Динамо и еще 3        Опыт от 3 до 6 лет   \n",
       "6        АО Эксперт РАМосква, Таганская  Опыт от 1 года до 3 лет   \n",
       "7           Diamond Personnel R&CМосква       Опыт от 3 до 6 лет   \n",
       "11           ООО МКК КНОПКАДЕНЬГИМосква       Опыт от 3 до 6 лет   \n",
       "21             Сбер для экспертовМосква  Опыт от 1 года до 3 лет   \n",
       "\n",
       "                             format  \\\n",
       "0   Полная занятость, гибкий график   \n",
       "6     Полная занятость, полный день   \n",
       "7     Полная занятость, полный день   \n",
       "11    Полная занятость, полный день   \n",
       "21    Полная занятость, полный день   \n",
       "\n",
       "                                              address  \\\n",
       "0                                                       \n",
       "6   АдресМосква, Таганская, Николоямская улица, 13...   \n",
       "7                                                       \n",
       "11  АдресМосква, Алтуфьевское шоссе, 27Показать на...   \n",
       "21                                                      \n",
       "\n",
       "                                                 desc  \\\n",
       "0   russ outdoor — крупнейшая в россии компания ко...   \n",
       "6   «эксперт ра» – крупнейшее рейтинговое агентств...   \n",
       "7   для крупного банка подбираем - тест-аналитика ...   \n",
       "11  обязанности: развитие внутреннего сервиса взыс...   \n",
       "21               команда технорисков сбера развива...   \n",
       "\n",
       "                                                 keys  \n",
       "0   АдресМосква, Динамо, Петровский парк, Савёловс...  \n",
       "6   Ключевые навыкиБизнес-процессыBPMNSQLAPIРазраб...  \n",
       "7                                                None  \n",
       "11         Ключевые навыкиMS SQLMS ExcelАнализ данных  \n",
       "21                                               None  "
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "text/plain": [
       "65"
      ]
     },
     "execution_count": 22,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "sql = df.loc[df.desc.str.contains('sql')] # sql в описаниях вакансий\n",
    "display(sql.head())\n",
    "sql.shape[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "id": "48abe784",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>url</th>\n",
       "      <th>title</th>\n",
       "      <th>salary</th>\n",
       "      <th>company</th>\n",
       "      <th>exp</th>\n",
       "      <th>format</th>\n",
       "      <th>address</th>\n",
       "      <th>desc</th>\n",
       "      <th>keys</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>21</th>\n",
       "      <td>https://hh.ru/vacancy/93676163?query=%D0%B0%D0...</td>\n",
       "      <td>Аналитик в Команду Технорисков</td>\n",
       "      <td></td>\n",
       "      <td>Сбер для экспертовМосква</td>\n",
       "      <td>Опыт от 1 года до 3 лет</td>\n",
       "      <td>Полная занятость, полный день</td>\n",
       "      <td></td>\n",
       "      <td>команда технорисков сбера развива...</td>\n",
       "      <td>None</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>26</th>\n",
       "      <td>https://hh.ru/vacancy/93680741?query=%D0%B0%D0...</td>\n",
       "      <td>Data аналитик</td>\n",
       "      <td></td>\n",
       "      <td>EmploycityМосква</td>\n",
       "      <td>Опыт от 3 до 6 лет</td>\n",
       "      <td>Полная занятость, полный день</td>\n",
       "      <td></td>\n",
       "      <td>международная компания которая разрабатывает н...</td>\n",
       "      <td>Ключевые навыкиSQLPythonTableauA/B тесты</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>30</th>\n",
       "      <td>https://hh.ru/vacancy/93671331?query=%D0%B0%D0...</td>\n",
       "      <td>Руководитель отдела аналитики</td>\n",
       "      <td></td>\n",
       "      <td>ООО МедиапоинтМосква</td>\n",
       "      <td>Опыт от 3 до 6 лет</td>\n",
       "      <td>Полная занятость, полный день</td>\n",
       "      <td>АдресМосква, Замоскворецкая линия, метро Техно...</td>\n",
       "      <td>в международную digital-платформу игровой тема...</td>\n",
       "      <td>Ключевые навыкиУправление командойОбучение и р...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>31</th>\n",
       "      <td>https://hh.ru/vacancy/92580946?query=%D0%B0%D0...</td>\n",
       "      <td>Data Analyst</td>\n",
       "      <td></td>\n",
       "      <td>ARKМосква</td>\n",
       "      <td>Опыт от 3 до 6 лет</td>\n",
       "      <td>Полная занятость, полный день</td>\n",
       "      <td></td>\n",
       "      <td>открыта вакансия data analyst у наших партнеро...</td>\n",
       "      <td>Ключевые навыкиSQLPySparkMS SQLPythonPower BIE...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>32</th>\n",
       "      <td>https://hh.ru/vacancy/92325010?query=%D0%B0%D0...</td>\n",
       "      <td>Data analyst</td>\n",
       "      <td>до 1 500 $</td>\n",
       "      <td>CLS GlobalМосква</td>\n",
       "      <td>Опыт от 1 года до 3 лет</td>\n",
       "      <td>Полная занятость, полный день</td>\n",
       "      <td>АдресМоскваПоказать на большой карте</td>\n",
       "      <td>привет! мы - cls global финтех-компания специа...</td>\n",
       "      <td>Ключевые навыкиPythonРабота с большим объемом ...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                  url  \\\n",
       "21  https://hh.ru/vacancy/93676163?query=%D0%B0%D0...   \n",
       "26  https://hh.ru/vacancy/93680741?query=%D0%B0%D0...   \n",
       "30  https://hh.ru/vacancy/93671331?query=%D0%B0%D0...   \n",
       "31  https://hh.ru/vacancy/92580946?query=%D0%B0%D0...   \n",
       "32  https://hh.ru/vacancy/92325010?query=%D0%B0%D0...   \n",
       "\n",
       "                             title      salary                   company  \\\n",
       "21  Аналитик в Команду Технорисков              Сбер для экспертовМосква   \n",
       "26                   Data аналитик                      EmploycityМосква   \n",
       "30   Руководитель отдела аналитики                  ООО МедиапоинтМосква   \n",
       "31                    Data Analyst                             ARKМосква   \n",
       "32                    Data analyst  до 1 500 $          CLS GlobalМосква   \n",
       "\n",
       "                        exp                         format  \\\n",
       "21  Опыт от 1 года до 3 лет  Полная занятость, полный день   \n",
       "26       Опыт от 3 до 6 лет  Полная занятость, полный день   \n",
       "30       Опыт от 3 до 6 лет  Полная занятость, полный день   \n",
       "31       Опыт от 3 до 6 лет  Полная занятость, полный день   \n",
       "32  Опыт от 1 года до 3 лет  Полная занятость, полный день   \n",
       "\n",
       "                                              address  \\\n",
       "21                                                      \n",
       "26                                                      \n",
       "30  АдресМосква, Замоскворецкая линия, метро Техно...   \n",
       "31                                                      \n",
       "32               АдресМоскваПоказать на большой карте   \n",
       "\n",
       "                                                 desc  \\\n",
       "21               команда технорисков сбера развива...   \n",
       "26  международная компания которая разрабатывает н...   \n",
       "30  в международную digital-платформу игровой тема...   \n",
       "31  открыта вакансия data analyst у наших партнеро...   \n",
       "32  привет! мы - cls global финтех-компания специа...   \n",
       "\n",
       "                                                 keys  \n",
       "21                                               None  \n",
       "26           Ключевые навыкиSQLPythonTableauA/B тесты  \n",
       "30  Ключевые навыкиУправление командойОбучение и р...  \n",
       "31  Ключевые навыкиSQLPySparkMS SQLPythonPower BIE...  \n",
       "32  Ключевые навыкиPythonРабота с большим объемом ...  "
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "text/plain": [
       "20"
      ]
     },
     "execution_count": 23,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "py = df.loc[df.desc.str.contains('python')] # python в описаниях вакансий\n",
    "display(py.head())\n",
    "py.shape[0]"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.11.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}