Тематическое исследование науки о данных: Преступность в США

Постановка задачи

С появлением таких продуктов, как самоуправляемые автомобили и чат-боты, использующие такие концепции, как LLM и обучение с подкреплением, все по праву очень усердно относятся к преимуществам ИИ для нашей жизни, в то время как другие осторожно опасаются некоторых его опасностей.

Я, как экономист, отношусь к последнему из-за смещения рабочих мест, которое вызовет революция ИИ, и сколько людей может потерять работу из-за ИИ и стать структурно безработными (в данном случае безработными из-за технологических инноваций). Одним из худших последствий этой массовой потери работы является то, что многие, к сожалению, обратятся к преступлению. Вот почему я использовал клиометрию (область, в которой сочетание экономических/эконометрических и математических методов используется для изучения экономической истории), чтобы посмотреть, как единственное известное мне реальное решение этой проблемы (всеобщий базовый доход) может улучшить эту проблему. . Я также рассмотрел, как доход и неравенство доходов могут повлиять на различные уровни преступности.

Нулевые гипотезы

Из базовой экономической и криминологической теории я вывел 6 нулевых гипотез (гипотеза, утверждающая, что объясняемые и объясняющие переменные не имеют корреляции) отношений между преступностью, доходом, неравенством доходов и универсальным базовым доходом.

Насильственные преступления практически не связаны с доходом.
Насильственные преступления будут практически не связаны с неравенством доходов.
Универсальный базовый доход не повлияет на насильственные преступления на Аляске.
Преступления против собственности практически не связаны с доходом.
Преступления против собственности будут практически не связаны с неравенством доходов.
Универсальный базовый доход не повлияет на преступления против собственности на Аляске.

Технический стек

Python: большая часть этого проекта проводилась на python в библиотеках pandas, matplotlib, sklearn, numpy, seaborn, statsmodel и scipy. Я использовал эти библиотеки для очистки данных, обработки данных, визуализации данных, исследовательского анализа данных и моделирования данных.
SQL: я использовал SQL для очистки данных и обработки данных, чтобы проверить, получаю ли я те же результаты от SQL, что и с Python.
Excel: я использовал Excel, чтобы объединить некоторые из моих окончательных таблиц в форму данных, которую я хотел, и сохранить данные.
Стата: Это использовалось для проверки регрессионного анализа и визуализации, которые я проводил на Python.

Шаги, которые необходимо выполнить

Импортированы и просмотрены все таблицы необработанных данных в Python из IPUMS CPS, центра аварийных ситуаций и Википедии с использованием read_csv() и head(), shape(), value_counts() и других методов.
Разделил данные по годам для значения Аляски и визуализировал, как будут выглядеть коэффициенты Джини в каждый год, используя scipy и matplotlib.
Создан новый фрейм данных, в который включены только уровни доходов ниже черты бедности.
Затем я преобразовал свои данные из необработанной формы в средний доход, коэффициент Джини и процент каждой расы в каждом штате. С данными о преступлениях не нужно было спорить, поскольку они уже были в том состоянии, которое я хотел.
Я повторил эту часть анализа, используя SQL, и благодаря этому получил хороший уровень владения SQL.
Наконец, я сохранил чистые данные, которые будут использоваться на этапе анализа, в Excel, а также добавил DC сюда, поскольку он был выбросом после первоначального моделирования данных. Затем я импортировал обработанные данные в Python.
Наконец, я построил модели линейной регрессии из точечных диаграмм, используя regplot, linear_regressor и statsmodel, чтобы проанализировать, что говорят мне чистые данные и что это может означать.

Вывод 1: Как доход влияет на уровень преступности?

Я не проводил многомерную регрессию для контроля таких факторов, как плотность населения, расовое разнообразие и уровень владения оружием, но я проанализировал влияние дохода на собственность и уровень насильственных преступлений. Я смог отвергнуть нулевую гипотезу (доказать, что эти результаты имеют статистическую значимость) на уровне 5% и, таким образом, продемонстрировал, что более высокий средний доход приводит к более высокому уровню имущественных и насильственных преступлений. Я склонен думать, что эти результаты не являются причинно-следственными и совершенно не имеют экономического значения, хотя очень часто высокий уровень преступности наблюдается в районах с высокой плотностью населения, таких как города. Тот факт, что эти результаты являются статистически значимыми, но не экономически значимыми, прекрасно иллюстрирует, почему «корреляция не равна причинно-следственной связи».

Вывод 2: Как неравенство доходов влияет на уровень преступности?

Насильственные преступления растут с увеличением неравенства доходов (измеряется коэффициентом Джини), но преступления против собственности снижаются. Эти данные статистически значимы также до уровня 5%, а также для преступлений против собственности на уровне 0,1%.
Единственное возможное объяснение того, почему это происходит с насильственными преступлениями, состоит в том, что, когда доход и неравенство в доходах одновременно увеличиваются, люди склонны к насилию, поскольку увеличение дохода в сочетании с увеличением неравенства в доходах означает, что в одном обществе есть как грязно богатые, так и грязно бедные люди. общества, и последний может действовать против первого. Тем не менее, есть много других причин насилия, включая фанатизм, психические заболевания и принадлежность к бандам, поэтому этот вывод также следует воспринимать с долей скептицизма.
Что касается преступлений против собственности, я думаю, самое главное, что следует отметить в моем исследовании, это то, что люди не так сильно заботятся о неравенстве доходов, если у них хороший уровень доходов.

Вывод 3: Эффект универсального базового дохода

Внедрение универсального базового дохода снизило насильственные преступления на 0,0058 и преступления против собственности на 0,1767 инцидентов на каждый доллар увеличения дохода.
Точно так же насильственные преступления снизились на 4,4128, а преступления против собственности - на 34,1578 инцидентов на каждый 1 пункт увеличения коэффициента Джини после введения всеобщего базового дохода.

Ограничения исследования

Многомерные регрессии намного лучше контролируют факторы, которые оказывают на это огромное влияние (плотность населения, демография, уровень владения оружием и т. д.), но я не мог так сильно регрессировать из-за нехватки времени.
Я не включил округ Колумбия в свой окончательный анализ, так как это сильно исказило бы мои результаты, учитывая, что это выброс.