regression.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "from pandas import DataFrame, read_csv\n",
    "import pandas as pd\n",
    "from sklearn.model_selection import train_test_split\n",
    "from sklearn.metrics import r2_score\n",
    "from sklearn import linear_model\n",
    "from sklearn.preprocessing import OneHotEncoder\n",
    "\n",
    "np.set_printoptions(precision=2)\n",
    "\n",
    "df_cities = pd.read_csv(r'cities.csv', sep=',')\n",
    "df_vacancy = pd.read_csv(r'hh_vacancy.csv', sep=',')\n",
    "df_company = pd.read_csv(r'hh_company.csv', sep=',')\n",
    "\n",
    "print(df_vacancy)\n",
    "print(df_vacancy.shape)\n",
    "print(df_vacancy.info())\n",
    "\n",
    "# Разделение на обучающую и тестовую выборку по id, который соответствует порядку добавления вакаансий на сайт.\n",
    "count_df = len(df_vacancy)\n",
    "df_vacancy.sort_values(by='id', ascending=True, inplace=True)\n",
    "df_vacancy_test = df_vacancy[int(2*count_df/3):]\n",
    "df_vacancy_train = df_vacancy[:int(2*count_df/3)]\n",
    "\n",
    "# Первичный анализ данных и формирование признаков рекомендуется проводить на обучающей выборке.\n",
    "print(df_vacancy_train.describe())\n",
    "\n",
    "print(df_company.head())\n",
    "\n",
    "# Удаление записей с пропущенными значениями NaN.\n",
    "df_vacancy_train = df_vacancy_train[np.isfinite(df_vacancy_train['salary_from']) &\n",
    "                                    np.isfinite(df_vacancy_train['area_id']) &\n",
    "                                    np.isfinite(df_vacancy_train['employer_id']) &\n",
    "                                    np.isfinite(df_vacancy_train['specialization_id'])]\n",
    "\n",
    "# Выбор величин x и y\n",
    "train_y = df_vacancy_train['salary_from']\n",
    "train_X = df_vacancy_train[['area_id', 'employer_id', 'specialization_id']]\n",
    "\n",
    "# Обучение модели. Линейная регрессия\n",
    "reg = linear_model.LinearRegression()\n",
    "print(reg.fit(train_X, train_y))\n",
    "print (reg.coef_) #[-2.45e+00 -3.35e-03 -1.54e+03]\n",
    "\n",
    "# Точность на обучающей выборке.\n",
    "train_r2 = r2_score(train_y, reg.predict(train_X))\n",
    "print(train_r2) #0.06585492603413479\n",
    "\n",
    "# Подготовка тестовой выборки.\n",
    "df_vacancy_test = df_vacancy_test[np.isfinite(df_vacancy_test['salary_from']) &\n",
    "                                  np.isfinite(df_vacancy_test['area_id']) &\n",
    "                                  np.isfinite(df_vacancy_test['employer_id']) &\n",
    "                                  np.isfinite(df_vacancy_test['specialization_id'])]\n",
    "test_y = df_vacancy_test['salary_from']\n",
    "test_X = df_vacancy_test[['area_id', 'employer_id', 'specialization_id']]\n",
    "\n",
    "# Точность на тестовой выборке.\n",
    "test_r2 = r2_score(test_y, reg.predict(test_X))\n",
    "print(test_r2) #0.021286993703545587\n",
    "\n",
    "def adjusted_r2_score(test_y, test_X, predict_y):\n",
    "    '''Коэффициент детерминации, скорректированный на число признаков.'''\n",
    "    n=test_X.shape[0]       # количество наблюдений\n",
    "    p=test_X.shape[1] - 1   # количество признаков, включенных в модель\n",
    "    r2 = r2_score(test_y, predict_y)\n",
    "    adj_r2 = 1 - (1 - r2) * ((n - 1)/(n-p-1))\n",
    "    return adj_r2\n",
    "\n",
    "# Скорректированная точность на тестовой выборке.\n",
    "test_adj_r2 = adjusted_r2_score(test_y, test_X, reg.predict(test_X))\n",
    "print(test_adj_r2) #0.02064289169216249 плохое качество модели\n",
    "\n",
    "# можно попробовать убрать лишние колонки и заменить строки в некоторых колонках интовыми значениями\n",
    "# пробовать линейную, квадратичную, кубическую регрессии\n",
    "\n",
    "# One Hot Encoding \n",
    "# подразумевает создание 10 признаков, все из которых равны нулю за исключением одного.\n",
    "#  На позицию, соответствующую численному значению признака мы помещаем 1.\n",
    "onehot_encoder = OneHotEncoder(sparse=False)\n",
    "\n",
    "encoded_categorical_columns = pd.DataFrame(onehot_encoder.fit_transform(df_vacancy_train))\n",
    "print(encoded_categorical_columns.head())\n"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.2"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}