1. Взаимосвязь между одноточечным кодированием, среднецелевым кодированием и масштабированием признаков имеет решающее значение при работе с категориальными переменными. Как эти методы кодирования взаимодействуют с масштабированием признаков для предотвращения чрезмерной подгонки моделей машинного обучения?

2. Сравнение методов кросс-валидации, градиентного спуска и регуляризации для предотвращения переподгонки и недообучения. Как эти методы дополняют друг друга при оптимизации функции потерь и улучшении производительности модели?

Кросс-валидация позволяет разделять выборку на несколько частей, что улучшает обобщаюшую способность и предотвращает переобчуние при маленьком наборе данных. градиетный спуск крайне потвержен к переобучению при сильно больших моделей или итераций, GD менее эффективен чем матричный метод нахождения локального минимума. Регуляризация могут негативно сказаться на недообучении или при слишком маленькой моделью т.к L1 и L2 отключает малозначимые нейроны или штрафуют модель за большие значения, что спосоствуют стойкости к переобучению.

кросс-валидации, градиентного спуска и регуляризации, не синергируют друг с другом, они могут работать как по отдельности так и все вместе, их эффективно будет аддитивно складываться (При этом общая эффективность каждого метода будет снижаться т.к не льзя достигнуть 100 и более %). Стабильно модели добовляет только кросс-валидация т.к 1 все данные участвуют в обучении модели, что повышает ее обощающую способность.

3. Взаимосвязь между градиентным спуском, производными и методами регуляризации показывает, что все они используются для оптимизации параметров модели. Однако как методы регуляризации L1 и L2 влияют на сходимость градиентного спуска и какой метод регуляризации более эффективен для предотвращения перебора при использовании несимметричных функций потерь?

L1 и L2 могут отрицательно влиять на градиетный спуск, а значит и на функцию ошибки, т.к при маленькой размером нейроннойсети L1 может занижать веса для значымыйх нейроннов или L2 сильно штрафовать значимые нейронны.

Я думаю, что L2 приносит больше влияние на предотвращения переобучения не зависимо от вида функции мотерь, потому что занижение весов незначимых функций предотвращает лишь от шума модели, но не влияет координально на переобучение.

4. Связь между матрицами, производными и градиентным спуском показывает, что все они используются для оптимизации параметров модели. Однако как свойства матриц, такие как разреженность и условное число, влияют на сходимость градиентного спуска, и какое свойство матрицы является более критичным при использовании ансамблевых методов?

Я думаю что число обусловленности будет плохо влиять на градиетны т.к такие матрцы сильно изменяются при небольшой возмущении, а разреженность может привести к затуханиэ GD.

Я думаю, что ранг матрицы является наиболее критичным свойством т.к оно позволяет моделям быть более гипкими при предсказании

5. Сравнение недообучения, переобучения и трансферного обучения показывает, что все они связаны с производительностью модели. Однако как недообучение и переобучение взаимодействуют с концепцией трансферного обучения и какой сценарий более вероятен при использовании предварительно обученных моделей на новом, несбалансированном наборе данных с несимметричными функциями потерь?

Я думаю, что переобученная модель может использоваться в трансферном обучении т.к модель хоть и переобучена она может классифицировать новые данные (для которых она не была предназначена). С необучением моедль невозможно использовать в трансферном обучении из-за недостатка данных вообщем.