Загрузите датасет по ценам на жилье Airbnb, доступный на kaggle.com: https://www.kaggle.com/dgomonov/new-york-city-airbnb-open-data; Используя Python, реализуйте скрипт mapper.py и reducer.py для расчета, и с помощью MapReduce расчитайте среднее значение и дисперсию по признаку “price” (возможно потребуются ассимптотические формулы для дисперсии); Подсчитайте среднее значение и дисперсию по признаку “price” в Hive; Сравните результаты, какой вариант предпочтительнее? Быстрее?

Для выполнения данной задачи, необходимо сначала загрузить датасет с ценами на жилье Airbnb в Нью-Йорке с сайта Kaggle. Затем создать скрипты mapper.py и reducer.py для расчета среднего значения и дисперсии по признаку "price" с использованием MapReduce.

Пример скрипта mapper.py:

#!/usr/bin/env python

import sys
import numpy as np

for line in sys.stdin:
    data = line.strip().split(",")
    if len(data) == 16 and data[0] != "id":
        price = float(data[9])
        print("price\t%s" % price)
        print("price_squared\t%s" % (price ** 2))

Пример скрипта reducer.py:

#!/usr/bin/env python

import sys
import numpy as np

sum_price = 0
sum_price_squared = 0
count = 0

for line in sys.stdin:
    key, value = line.strip().split("\t")
    if key == "price":
        sum_price += float(value)
        count += 1
    elif key == "price_squared":
        sum_price_squared += float(value)

mean = sum_price / count
variance = (sum_price_squared / count) - (mean ** 2)

print("Mean price: %f" % mean)
print("Variance of price: %f" % variance)

Далее необходимо выполнить MapReduce с использованием созданных скриптов.

Для подсчета среднего значения и дисперсии по признаку "price" в Hive, можно воспользоваться следующим запросом:

SELECT AVG(price), VARIANCE(price) FROM table_name;

Сравнение результатов и определение предпочтительного варианта зависит от объема данных и требуемой скорости выполнения. MapReduce может быть более эффективным для больших объемов данных, так как он распределяет вычисления на несколько узлов. Однако, для небольших объемов данных или для быстрого анализа, использование Hive может быть более удобным и простым способом.