Публикации по теме 'cross-entropy'
Изучение основ обучения с подкреплением и нейронных сетей | Реализация Python…
Как всегда, название звучит сложно, но, поверьте, это определенно не так.
Прежде всего, что такое обучение с подкреплением?
Обучение с подкреплением - это подход машинного обучения, с помощью которого интеллектуальные программы, также известные как АГЕНТЫ , предпринимают ДЕЙСТВИЯ в известной или неизвестной СРЕДЕ , чтобы постоянно адаптироваться и учиться через ОБРАТНАЯ СВЯЗЬ о своих предыдущих действиях.
Как видно на рисунке выше, после выполнения действия в среде..
Почему мы видим так много логарифмов в машинном обучении (лог)
Если вы перейдете к функциям потерь в алгоритмах машинного обучения, вы можете столкнуться со многими логарифмами. Почему?
Что такое логарифм Свойства логарифма. Почему мы используем это в машинном обучении
1. Что такое логарифм
Понимание энтропии
Интуитивное руководство
Предпосылка: Понимание ожидаемого значения дискретных случайных величин.
Представьте себе сценарий подбрасывания монеты со следующими исходами и соответствующими вероятностями.
| Outcome | Probability|
|-----------|------------|
| Heads ( H) | 1 |
| Tails ( T ) | 0 |
Эти значения указывают на то, что монета всегда выпадает орлом ( H ), и если мы знаем, что результатом всегда будет H , мы не испытываем никакого «сюрприза», когда..
Функции энтропии, кросс-энтропии и потерь
Когда мы говорим о функции потерь логистической регрессии, все мы знаем, что это кросс-энтропия. Но какова интуиция при использовании потери кросс-энтропии? Сегодня мы поговорим об энтропии, кросс-энтропии и функциях потерь с точки зрения теории информации .
«Теория информации занимается представлением данных в компактном виде (задача, известная как сжатие данных или исходное кодирование), а также их передачей и хранением, устойчивым к ошибкам».
Мы свяжем два понятия (энтропия и..
Что такое кросс-энтропия?
Краткое объяснение кросс-энтропии; что такое кросс-энтропия, как это работает и пример кода
Перекрестная энтропия - это функция потерь, часто используемая в задачах классификации.
Пару недель назад я принял довольно важное решение. Была поздняя ночь, и я лежал в постели и думал о том, как провел день. Поскольку я всегда анализировал свой выбор, я задал себе два действительно важных вопроса.
Стоит ли мне перестать есть картошку фри перед сном? Они довольно нездоровы .....
Вопросы по теме 'cross-entropy'
В чем разница между всеми этими потерями кросс-энтропии в Keras и TensorFlow?
В чем разница между всеми этими потерями кросс-энтропии?
Керас говорит о
Двоичная кросс-энтропия
Категориальная кросс-энтропия
Разреженная категориальная кросс-энтропия
В то время как TensorFlow имеет
Кросс-энтропия...
4116 просмотров
schedule
23.11.2021
Как работает потеря двоичной кросс-энтропии на автоэнкодерах?
Я написал ванильный автоэнкодер, используя только слой Dense . Ниже мой код:
iLayer = Input ((784,))
layer1 = Dense(128, activation='relu' ) (iLayer)
layer2 = Dense(64, activation='relu') (layer1)
layer3 = Dense(28, activation ='relu')...
13863 просмотров
schedule
22.10.2021
Реализация Softmax Cross Entropy в исходном коде Tensorflow на Github
Я пытаюсь реализовать потерю кросс-энтропии Softmax в python. Итак, я рассматривал реализацию Softmax Cross-Entropy loss в репозитории GitHub Tensorflow. Я пытаюсь понять это, но я попадаю в цикл из трех функций, и я не понимаю, какая строка кода в...
319 просмотров
schedule
12.11.2021
мне применять softmax перед кросс-энтропией?
pytorch учебник ( https://pytorch.org/tutorials/beginner/blitz/cifar10_tutorial.html#sphx-glr-beginner-blitz-cifar10-tutorial-py ) обучает сверточную нейронную сеть (CNN) на наборе данных CIFAR.
class Net(nn.Module):
def...
2279 просмотров
schedule
23.02.2022
Мультиклассовая сегментация в Керасе
Я пытаюсь реализовать мультиклассовую сегментацию в Keras:
входное изображение в оттенках серого (т. е. 1 канал)
наземное правдивое изображение имеет 3 канала, каждый пиксель представляет собой горячий вектор длиной 3
прогнозирование является...
47 просмотров
schedule
25.02.2022
Почему сигмоидная и кроссентропия Keras / tensorflow имеет низкую точность?
У меня есть следующая простая нейронная сеть (только с 1 нейроном) для проверки точности вычислений sigmoid активации и binary_crossentropy Кераса:
model = Sequential()
model.add(Dense(1, input_dim=1, activation='sigmoid'))...
5947 просмотров
schedule
12.04.2022
Входные размеры кросс-энтропии Pytorch
Я пытаюсь разработать двоичный классификатор с помощью BertModel и Pytorch от Huggingface. Модуль классификатора выглядит примерно так:
class SSTClassifierModel(nn.Module):
def __init__(self, num_classes = 2, hidden_size = 768):...
773 просмотров
schedule
15.04.2022
Модель TensorFlow получает потерю 0
import tensorflow as tf
import numpy as np
def weight(shape):
return tf.Variable(tf.truncated_normal(shape, stddev=0.1))
def bias(shape):
return tf.Variable(tf.constant(0.1, shape=shape))
def output(input,w,b):
return tf.matmul(input,w)+b
x_columns =...
4244 просмотров
schedule
11.06.2022
Интуиция за категориальной перекрестной энтропией
Я пытаюсь сделать категориальную функцию потери перекрестной энтропии, чтобы лучше понять интуицию, стоящую за ней. Пока моя реализация выглядит так:
# Observations
y_true = np.array([[0, 1, 0], [0, 0, 1]])
y_pred = np.array([[0.05, 0.95, 0.05],...
106 просмотров
schedule
07.08.2022
Tenorflow вычисляет перекрестную энтропию только с одинарной точностью?
Я пытаюсь полностью понять вычисление перекрестной энтропии в TensorFlow. В следующем фрагменте кода с помощью numpy я генерирую случайные двойные данные двойной точности x , преобразовываю их в logits для двоичной классификации (т.е. только один...
255 просмотров
schedule
21.08.2022
Подходит ли кросс-энтропия с Softmax для классификации по нескольким меткам?
Как упоминалось здесь , перекрестная энтропия не является подходящей функцией потерь для многокомпонентная классификация. У меня вопрос: «Верно ли это и для кросс-энтропии с softmax?». Если да, то как его можно сопоставить с этой частью...
5166 просмотров
schedule
31.03.2023
Почему RNN используют кроссэнтропию как функцию потерь
Я очень новичок в нейронных сетях, и мне было интересно, почему все примеры RNN, особенно char-rnns, используют функцию кросс-энтропийных потерь в качестве функции потерь. Я гуглил, но не нашел никаких обсуждений этой функции в этом контексте. Меня...
2931 просмотров
schedule
30.01.2023
Эквивалентность PyTorch для softmax_cross_entropy_with_logits
Мне было интересно, есть ли эквивалентная функция потерь PyTorch для softmax_cross_entropy_with_logits TensorFlow?
10979 просмотров
schedule
29.06.2023
Можно ли преобразовать код тензорного потока в код теано?
У меня есть функция, которая использует некоторые функции тензорного потока. Мне нужна эта функция в Theano, потому что на платформе, которую я хочу использовать, установлен только Theano, а не тензорный поток. Я работаю в основном с Keras, поэтому...
630 просмотров
schedule
30.06.2023
Как выполнить пакетное вычисление кросс-энтропии для сетей с указателями?
В сетях указателей логиты вывода превышают длину входов. Работа с такими пакетами означает заполнение входных данных до максимальной длины пакетных входов. Теперь все в порядке, пока мы не посчитаем потери. В настоящее время я делаю следующее:...
347 просмотров
schedule
28.07.2023
Keras: реализация взвешенной бинарной кроссэнтропии
Я новичок в Keras (и ML в целом), и я пытаюсь обучить двоичный классификатор. Я использую взвешенную двоичную перекрестную энтропию в качестве функции потерь, но я не уверен, как я могу проверить правильность моей реализации.
Является ли это...
3782 просмотров
schedule
24.03.2023
Ошибка перекрестной энтропии остается неизменной для различных значений
Я использую Cross Entropy с Softmax в качестве функции потерь для своей нейронной сети. Функция перекрестной энтропии, которую я написал, выглядит следующим образом:
def CrossEntropy(calculated,desired):
sum=0
n=len(calculated)
for i...
32 просмотров
schedule
22.06.2023
потеря перекрестной энтропии периодически возрастает и падает в image-net
Я обучаю свою мобильную сеть v3 с помощью tfrecords, созданных с помощью модели тензорного потока . Потери в обучении относительно шагов показаны ниже. Длина блока по оси x составляет 20 тыс. Шагов (примерно 2 эпохи из-за размера пакета = 128 и...
106 просмотров
schedule
27.04.2023
Почему потери уменьшаются, но снижается и точность (Pytorch, LSTM)?
Я построил модель с LSTM - Линейные модули в Pytorch для задачи классификации (10 классов). Я обучаю модель и для каждой эпохи выводю потери и точность в обучающем наборе . Вывод выглядит следующим образом:
эпоха: 0 начало! Убыток:...
946 просмотров
schedule
05.01.2023
Разница между логистической потерей и перекрестной потерей энтропии
Я смущен логистическими потерями и потерями кросс-энтропии в сценарии двоичной классификации. Согласно Википедии ( https://en.wikipedia.org/wiki/Loss_functions_for_classification ), логистическая потеря определяется как:
где v=y*y_hat...
424 просмотров
schedule
03.04.2023
