Нейросети. Обработка естественного языка

sequence import pad_sequences

# Подготовка данных (пример)

texts = ["Этот фильм был ужасным.", "Я очень доволен этим продуктом.", "Сюжет был интересным."]

labels = [0, 1, 1] # 0 – негативный сентимент, 1 – позитивный сентимент

# Токенизация текстов и преобразование в числовые последовательности

tokenizer = Tokenizer()

tokenizer.fit_on_texts(texts)

sequences = tokenizer.texts_to_sequences(texts)

word_index = tokenizer.word_index

# Подготовка последовательностей к обучению

max_sequence_length = max([len(seq) for seq in sequences])

sequences = pad_sequences(sequences, maxlen=max_sequence_length)

# Создание модели BiRNN

model = Sequential()

model.

model.add(Bidirectional(LSTM(64)))

model.add(Dense(1, activation='sigmoid'))

# Компилирование модели

model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])

# Обучение модели

X = np.

y = np.array(labels)

model.fit(X, y, epochs=5)

# Прогнозирование

new_texts = ["Это лучший фильм, который я видел!", "Не стоит тратить время на это.", "Продукт среднего качества."]

new_sequences = tokenizer.texts_to_sequences(new_texts)

new_sequences = pad_sequences(new_sequences, maxlen=max_sequence_length)

predictions = model.predict(new_sequences)

for i, text in enumerate(new_texts):

sentiment = "позитивный" if predictions[i] > 0.

print(f"Текст: '{text}' – Сентимент: {sentiment}")

```

Результат выполнения кода, представленного выше, будет включать в себя обучение модели на небольшом наборе данных (трех текстах) и прогнозирование сентимента для трех новых текстов. Каждый из новых текстов будет ассоциирован с позитивным или негативным сентиментом на основе предсказаний модели. Результаты будут выводиться на экран.

Этот вывод показывает результаты обучения модели (значения потерь и точности на каждой эпохе обучения) и, затем, результаты прогнозирования сентимента для новых текстов. Модель выдает "позитивный" или "негативный" сентимент на основе порогового значения (обычно 0.5) для выхода сигмоидальной активации.

Этот код демонстрирует основные шаги, необходимые для создания BiRNN модели для задачи сентимент-анализа текста.