Вопросы по теме 'activation-function'
Как сделать пользовательскую функцию активации только с Python в Tensorflow?
Предположим, вам нужно создать функцию активации, которая невозможна с использованием только предварительно определенных строительных блоков тензорного потока, что вы можете сделать?
Таким образом, в Tensorflow можно создать свою собственную...
26222 просмотров
schedule
24.11.2021
Рекомендации по использованию ReLU в качестве функции активации
Я реализую нейронную сеть и хотел использовать ReLU в качестве функции активации нейронов. Кроме того, я обучаю сеть с помощью SDG и обратного распространения. Я тестирую нейронную сеть с парадигматической проблемой XOR, и до сих пор она правильно...
5216 просмотров
schedule
24.03.2022
Керас - Нан в сводной гистограмме LSTM
Я написал модель LSTM с использованием Keras и предварительной активации LeakyReLU:
# ADAM Optimizer with learning rate decay
opt = optimizers.Adam(lr=0.0001, beta_1=0.9, beta_2=0.999, epsilon=1e-08, decay=0.0001)
# build the model...
1427 просмотров
schedule
22.04.2022
Уровни расширенной активации в Keras Functional API
При настройке нейронной сети с помощью Keras вы можете использовать либо модель Sequential , либо Functional API . Насколько я понимаю, первый легко настраивается и управляется, работает как линейный стек слоев, и что функциональный подход полезен...
3506 просмотров
schedule
24.05.2022
О влиянии функций активации в CNN на время вычислений
В настоящее время я читаю следующую статью: «SqueezeNet: точность уровня AlexNet с в 50 раз меньшим количеством параметров и размером модели ‹0,5 МБ».
В этом 4.2.3 (уровень функции активации) есть следующее утверждение:
Разветвления функции...
155 просмотров
schedule
29.08.2022
Пользовательская активация с параметром
Я пытаюсь создать функцию активации в Keras, которая может принимать параметр beta следующим образом:
from keras import backend as K
from keras.utils.generic_utils import get_custom_objects
from keras.layers import Activation
class...
1809 просмотров
schedule
29.08.2022
Производная ReLU с NumPy
import numpy as np
def relu(z):
return np.maximum(0,z)
def d_relu(z):
z[z>0]=1
z[z<=0]=0
return z
x=np.array([5,1,-4,0])
y=relu(x)
z=d_relu(y)
print("y = {}".format(y))
print("z = {}".format(z))
Приведенный выше код...
5235 просмотров
schedule
20.09.2022
Почему добавление еще одного слоя в пример простой нейронной сети Tensorflow ломает его?
Вот основной пример сети Tensorflow (на основе MNIST), полный код, который дает точность примерно 0,92:
import numpy as np
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
mnist =...
1054 просмотров
schedule
29.09.2022
Как заменить операции relu6 на обычные relu в контрольной точке Tensorflow?
На самом деле, прямой вопрос: мне нужно преобразовать имеющуюся у меня модель Tensorflow в формат, который не поддерживает relu6, а просто обычный relu. Моя модель представлена в виде 3 файлов ckpt (контрольных точек) (данные, индекс и метафайлы)....
425 просмотров
schedule
10.07.2023
Имеет ли смысл иметь несколько нейронов типа функции активации в одном слое?
Мне интересно, существует ли какой-либо случай или потребность в наличии нескольких типов нейронов, которые имеют разные функции активации друг для друга, смешанные в одном слое, и если да, то как реализовать это с помощью фреймворка Tensorflow...
833 просмотров
schedule
31.01.2023
Роль функции активации в расчете функции стоимости для искусственных нейронных сетей
У меня есть некоторые трудности с пониманием роли функций активации и функций стоимости. Давайте рассмотрим простой пример. Допустим, я строю нейронную сеть (искусственную нейронную сеть). У меня есть 5 переменных «x» и одна переменная «y».
Если...
121 просмотров
schedule
05.05.2023
Как ReLu работает с выходным доменом с нулевым центром?
В проблеме, которую я пытаюсь решить, мой выходной домен центрирован по нулю, между -1 и 1. При поиске функций активации я заметил, что ReLu выводит значения от 0 до 1, что в основном означает, что ваш вывод все отрицательный или все положительный....
478 просмотров
schedule
16.06.2023
Кусочная функция активации в тензорном потоке и математическая операция вещания
Я пытаюсь реализовать и протестировать функцию активации, которую я прочитал в статье.
Я использую Keras с бэкэндом tensorflow и хочу передать функцию активации методу подгонки моей модели. Вот математическая форма функции:
кусочная формула...
632 просмотров
schedule
23.03.2023
Как изменить уровень активации в предварительно обученном модуле Pytorch?
Как изменить уровень активации предварительно обученной сети Pytorch? Вот мой код:
print("All modules")
for child in net.children():
if isinstance(child,nn.ReLU) or isinstance(child,nn.SELU):
print(child)
print('Before changing...
2185 просмотров
schedule
01.10.2023
когда нам не нужна функция активации?
Я написал очень простую модель тензорного потока, в которой я хочу предсказать число:
import tensorflow as tf
import numpy as np
def HW_numbers(x):
y = (2 * x) + 1
return y
x = np.array([1.0,2.0,3.0,4.0,5.0,6.0,7.0], dtype=float)
y =...
234 просмотров
schedule
09.02.2023
Как использовать разные функции активации в одном слое Keras?
Я работаю над Keras на Python, и у меня есть нейронная сеть (см. Код ниже). В настоящее время он работает только с активацией ReLu.
По экспериментальным причинам я хотел бы иметь несколько нейронов на ReLu, а некоторые на softmax (или на любую...
6138 просмотров
schedule
03.12.2023
Почему пользовательская функция активации вызывает в сети нулевые потери и низкую точность?
Я пытался создать настраиваемую функцию активации с помощью tflearn, внося следующие изменения:
добавить мою пользовательскую функцию активации в activation.py
def my_activation(x):
return tf.where(x >= 0.0, tf.div( x**2 , x +...
375 просмотров
schedule
06.02.2024
