Тематическое моделирование с помощью Gensim (Python)
Тематическое моделирование – это метод извлечения тем из текста. Latent Dirichlet Allocation (LDA) – популярный алгоритм моделирования тем реализованные в том числе в пакете Gensim. Основная задача алгоритмов ТМ, заключается в том что бы полученные темы были хорошего качество, понятными, самозначимыми и разделенными. Достижение этих целей во многом зависит от качества предварительной обработки текста и стратегии поиска оптимального количества тем. В этой статье я попытаюсь рассказать как достичь этого.
Введение
Одним из основных задач обработки естественного языка является автоматическое извлечение тем из больших объемов текста. Примерами большого объема текстов могут служить тексты из социальных сетей, отзывы, новости, электронные письма и т. д.
Знание того, о чем говорят люди, и понимание их проблем и мнений очень ценно для бизнеса, администраторов, политических кампаний. Очень трудно а иногда не возможно прочитать большие объемы теста человеком. Поэтому, требуется автоматизированный алгоритм, который может читать текстовые документы и автоматически выводить темы из текста.
В этой статье мы рассмотрим пример набора данных «20 групп новостей» и используем LDA для извлечения обсуждаемых тем.
Мы рассмотрим латентное размещение Дирихле (LDA) реализованного в пакете Gensim вместе с реализацией Маллета. Известно, что реализация Маллета работает быстрее и дает лучшую сегрегацию тем.
Мы также извлечем процентный вклад каждой темы, чтобы понять, насколько важна тема.
Начальные условия – Загрузить nltk стоп-слова и spacy модель
Для предварительной обработки текста нам понадобятся стоп-слова из NLTK и модель en из пакета spacy. Позже мы будем использовать spacy модель для лемматизации.
Лемматизация – это не что иное, как преобразование слова в его корневое слово. Например: лемма слова «machines» – это «machine». Аналогично, «walking» -> «walk», «mice» -> «mouse» и так далее.
# Run in python console
import nltk; nltk.download('stopwords')
# Run in terminal or command prompt
python3 -m spacy download en
Импорт пакетов
Основные пакеты, используемые в этой статье, – это re, gensim, spacy и pyLDAvis. Помимо этого мы также будем использовать matplotlib, numpy и pandas для обработки и визуализации данных. Давайте импортировать их.
import re
import numpy as np
import pandas as pd
from pprint import pprint
# Gensim
import gensim
import gensim.corpora as corpora
from gensim.utils import simple_preprocess
from gensim.models import CoherenceModel
# spacy for lemmatization
import spacy
# Plotting tools
import pyLDAvis
import pyLDAvis.gensim # don't skip this
import matplotlib.pyplot as plt
%matplotlib inline
# Enable logging for gensim - optional
import logging
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.ERROR)
import warnings
warnings.filterwarnings("ignore",category=DeprecationWarning)
Что делает LDA?
Подход LDA к тематическому моделированию заключается в том, что каждый документ рассматривается как набор тем в определенной пропорции. И каждая тема как набор ключевых слов, опять же, в определенной пропорции.
После того, как вы укажете алгоритму количество тем, все, что он сделает, – это отобразит распределение тем в документах и распределение ключевых слов по темам.
Тема – это не что иное, как набор доминирующих ключевых слов. Просто взглянув на ключевые слова, вы сможете определить, о чем эта тема.
Ниже приведены ключевые факторы для получения хороших разделительных тем:
- Качество обработки текста.
- Разнообразие тем, о которых говорится в тексте.
- Выбор алгоритма моделирование тем.
- Количество тем, указанных в алгоритме.
- Алгоритмы настройки параметров.
Подготовьте стоп-слова
Мы уже скачали стоп-слова. Давайте импортируем их и сделаем их доступными в stop_words.
# NLTK Stop words
from nltk.corpus import stopwords
stop_words = stopwords.words('english')
stop_words.extend(['from', 'subject', 're', 'edu', 'use'])
Импорт текстов из групп новостей
Воспользуемся набором данных из 20 групп новостей. Версия набора данных которую мы будем использовать содержит около 11 тысяч сообщений в группах новостей по 20 различным темам. Все сообщения находятся в файле newsgroups.json.
Файл импортируется с использованием pandas.read_json, и результирующий набор данных имеет 3 столбца, как показано.
# Import Dataset
df = pd.read_json('https://raw.githubusercontent.com/selva86/datasets/master/newsgroups.json')
print(df.target_names.unique())
df.head()
['rec.autos' 'comp.sys.mac.hardware' 'rec.motorcycles' 'misc.forsale' 'comp.os.ms-windows.misc' 'alt.atheism' 'comp.graphics' 'rec.sport.baseball' 'rec.sport.hockey' 'sci.electronics' 'sci.space' 'talk.politics.misc' 'sci.med' 'talk.politics.mideast' 'soc.religion.christian' 'comp.windows.x' 'comp.sys.ibm.pc.hardware' 'talk.politics.guns' 'talk.religion.misc' 'sci.crypt']
Удалим электронные адреса и символы новой строки
Как вы можете видеть в тексте много электронных адресов, символов новой строки и лишних пробелов, все это весьма отвлекает. Давайте избавимся от них с помощью регулярных выражений.
# Convert to list
data = df.content.values.tolist()
# Remove Emails
data = [re.sub('\S*@\S*\s?', '', sent) for sent in data]
# Remove new line characters
data = [re.sub('\s+', ' ', sent) for sent in data]
# Remove distracting single quotes
data = [re.sub("\'", "", sent) for sent in data]
pprint(data[:1])
['From: (wheres my thing) Subject: WHAT car is this!? Nntp-Posting-Host: ' 'rac3.wam.umd.edu Organization: University of Maryland, College Park Lines: ' '15 I was wondering if anyone out there could enlighten me on this car I saw ' 'the other day. It was a 2-door sports car, looked to be from the late 60s/ ' 'early 70s. It was called a Bricklin. The doors were really small. In ' 'addition, the front bumper was separate from the rest of the body. This is ' 'all I know. (..truncated..)]
После удаления адресов и лишних пробелов текст по-прежнему выглядит грязно. Он не готов к употреблению LDA. Вам нужно разбить каждое предложение на список слов с помощью токенизации, одновременно убирая весь грязный текст в процессе.
simple_preprocess от Gensim отлично подходит для этого.
Токенизация слов и очистка текста
Давайте преобразуем каждое предложение в список слов, удалив знаки препинания и ненужные символы.
Gensim simple_preprocess() отлично подойдет для этого. Кроме того, установим deacc = True, чтобы удалить знаки препинания.
def sent_to_words(sentences):
for sentence in sentences:
yield(gensim.utils.simple_preprocess(str(sentence), deacc=True)) # deacc=True removes punctuations
data_words = list(sent_to_words(data))
print(data_words[:1])
[['from', 'wheres', 'my', 'thing', 'subject', 'what', 'car', 'is', 'this', 'nntp', 'posting', 'host', 'rac', 'wam', 'umd', 'edu', 'organization', 'university', 'of', 'maryland', 'college', 'park', 'lines', 'was', 'wondering', 'if', 'anyone', 'out', 'there', 'could', 'enlighten', 'me', 'on', 'this', 'car', 'saw', 'the', 'other', 'day', (..truncated..))]]
Создание биграмм и триграмм
Биграммы – это два слова, часто встречающиеся в документе вместе. Триграммы – это 3 часто встречающихся слова вместе.
Некоторые примеры в нашем примере: «front_bumper», «oil_leak», «maryland_college_park» и т. д.
Модель фраз Gensim может создавать и реализовывать биграммы, триграммы, квадрограммы и многое другое. Двумя важными аргументами фраз являются min_count и threshold. Чем выше значения этих параметров, тем сложнее объединить слова в биграммы.
# Build the bigram and trigram models bigram = gensim.models.Phrases(data_words, min_count=5, threshold=100) # higher threshold fewer phrases. trigram = gensim.models.Phrases(bigram[data_words], threshold=100) # Faster way to get a sentence clubbed as a trigram/bigram bigram_mod = gensim.models.phrases.Phraser(bigram) trigram_mod = gensim.models.phrases.Phraser(trigram) # See trigram example print(trigram_mod[bigram_mod[data_words[0]]])
['from', 'wheres', 'my', 'thing', 'subject', 'what', 'car', 'is', 'this', 'nntp_posting_host', 'rac_wam_umd_edu', 'organization', 'university', 'of', 'maryland_college_park', 'lines', 'was', 'wondering', 'if', 'anyone', 'out', 'there', 'could', 'enlighten', 'me', 'on', 'this', 'car', 'saw', 'the', 'other', 'day', 'it', 'was', 'door', 'sports', 'car', 'looked', 'to', 'be', 'from', 'the', 'late', 'early', 'it', 'was', 'called', 'bricklin', 'the', 'doors', 'were', 'really', 'small', 'in', 'addition', 'the', 'front_bumper' (..truncated..)]
Удалим стоп-слова, сделаем биграммы и лемматизируем
Модель биграмм создана. Давайте определим функции для удаления стоп-слов, создания биграмм и лемматизации и вызываем их последовательно.
# Define functions for stopwords, bigrams, trigrams and lemmatization
def remove_stopwords(texts):
return [[word for word in simple_preprocess(str(doc)) if word not in stop_words] for doc in texts]
def make_bigrams(texts):
return [bigram_mod[doc] for doc in texts]
def make_trigrams(texts):
return [trigram_mod[bigram_mod[doc]] for doc in texts]
def lemmatization(texts, allowed_postags=['NOUN', 'ADJ', 'VERB', 'ADV']):
"""https://spacy.io/api/annotation"""
texts_out = []
for sent in texts:
doc = nlp(" ".join(sent))
texts_out.append([token.lemma_ for token in doc if token.pos_ in allowed_postags])
return texts_out
Давайте вызовим функции по порядку.
# Remove Stop Words
data_words_nostops = remove_stopwords(data_words)
# Form Bigrams
data_words_bigrams = make_bigrams(data_words_nostops)
# Initialize spacy 'en' model, keeping only tagger component (for efficiency)
# python3 -m spacy download en
nlp = spacy.load('en', disable=['parser', 'ner'])
# Do lemmatization keeping only noun, adj, vb, adv
data_lemmatized = lemmatization(data_words_bigrams, allowed_postags=['NOUN', 'ADJ', 'VERB', 'ADV'])
print(data_lemmatized[:1])
[['where', 's', 'thing', 'car', 'nntp_post', 'host', 'rac_wam', 'umd', 'organization', 'university', 'maryland_college', 'park', 'line', 'wonder', 'anyone', 'could', 'enlighten', 'car', 'see', 'day', 'door', 'sport', 'car', 'look', 'late', 'early', 'call', 'bricklin', 'door', 'really', 'small', 'addition', 'front_bumper', 'separate', 'rest', 'body', 'know', 'anyone', 'tellme', 'model', 'name', 'engine', 'spec', 'year', 'production', 'car', 'make', 'history', 'whatev', 'info', 'funky', 'look', 'car', 'mail', 'thank', 'bring', 'neighborhood', 'lerxst']]
Создадим словарь и корпус.
Двумя основными входными данными для тематической модели LDA являются словарь (id2word) и корпус. Давайте создадим их.
# Create Dictionary id2word = corpora.Dictionary(data_lemmatized) # Create Corpus texts = data_lemmatized # Term Document Frequency corpus = [id2word.doc2bow(text) for text in texts] # View print(corpus[:1])
[[(0, 1), (1, 2), (2, 1), (3, 1), (4, 1), (5, 1), (6, 5), (7, 1), (8, 1), (9, 2), (10, 1), (11, 1), (12, 1), (13, 1), (14, 1), (15, 1), (16, 1), (17, 1), (18, 1), (19, 1), (20, 1), (21, 1), (22, 2), (23, 1), (24, 1), (25, 1), (26, 1), (27, 1), (28, 1), (29, 1), (30, 1), (31, 1), (32, 1), (33, 1), (34, 1), (35, 1), (36, 1), (37, 1), (38, 1), (39, 1), (40, 1), (41, 1), (42, 1), (43, 1), (44, 1), (45, 1), (46, 1), (47, 1), (48, 1), (49, 1), (50, 1)]]
Gensim создает уникальный идентификатор для каждого слова в документе. Созданный корпус, показанный выше, является отображением (word_id, word_frequency).
Например, (0, 1) выше подразумевает, что слово c id 0 встречается один раз в первом документе. Аналогично, слово c id 1 встречается дважды и так далее.
Это используется в качестве входных данных для модели LDA.
Если вы хотите увидеть, какому слову соответствует данный идентификатор, передайте этот идентификатор как ключ к словарю.
id2word[0]
'addition'
Или вы можете увидеть удобочитаемую форму самого корпуса.
# Human readable format of corpus (term-frequency) [[(id2word[id], freq) for id, freq in cp] for cp in corpus[:1]]
[[('addition', 1),
('anyone', 2),
('body', 1),
('bricklin', 1),
('bring', 1),
('call', 1),
('car', 5),
('could', 1),
('day', 1),
('door', 2),
('early', 1),
('engine', 1),
('enlighten', 1),
('front_bumper', 1),
('maryland_college', 1),
(..truncated..)]]
Давайте перейдем к основному шагу: построение тематической модели.
Построим тематическую модель
У нас есть все необходимое для обучения модели LDA. В дополнение к корпусу и словарю необходимо также указать количество тем.
Кроме того, alpha и eta являются гиперпараметрами, которые влияют на разреженность тем. Согласно документации Gensim, оба значения по умолчанию равны 1.0 / num_topics.
chunksize – это количество документов, которые будут использоваться в каждом обучающем чанке. update_every определяет, как часто параметры модели должны обновляться, а passes – это общее количество проходов обучения.
# Build LDA model
lda_model = gensim.models.ldamodel.LdaModel(corpus=corpus,
id2word=id2word,
num_topics=20,
random_state=100,
update_every=1,
chunksize=100,
passes=10,
alpha='auto',
per_word_topics=True)
Просмотр тем в модели LDA
Вышеупомянутая модель LDA построена на 20 различных темах, где каждая тема представляет собой комбинацию ключевых слов, и каждое ключевое слово вносит определенный вес в тему.
Вы можете увидеть ключевые слова для каждой темы и вес (важность) каждого ключевого слова, используя lda_model.print_topics().
[(0, '0.016*"car" + 0.014*"power" + 0.010*"light" + 0.009*"drive" + 0.007*"mount" ' '+ 0.007*"controller" + 0.007*"cool" + 0.007*"engine" + 0.007*"back" + ' '0.006*"turn"'), (1, '0.072*"line" + 0.066*"organization" + 0.037*"write" + 0.032*"article" + ' '0.028*"university" + 0.027*"nntp_post" + 0.026*"host" + 0.016*"reply" + ' '0.014*"get" + 0.013*"thank"'), (2, '0.017*"patient" + 0.011*"study" + 0.010*"slave" + 0.009*"wing" + ' '0.009*"disease" + 0.008*"food" + 0.008*"eat" + 0.008*"pain" + ' '0.007*"treatment" + 0.007*"syndrome"'), (3, '0.013*"key" + 0.009*"use" + 0.009*"may" + 0.007*"public" + 0.007*"system" + ' '0.007*"order" + 0.007*"government" + 0.006*"state" + 0.006*"provide" + ' '0.006*"law"'), (4, '0.568*"ax" + 0.007*"rlk" + 0.005*"tufts_university" + 0.004*"ei" + ' '0.004*"m" + 0.004*"vesa" + 0.004*"differential" + 0.004*"chz" + 0.004*"lk" ' '+ 0.003*"weekly"'), (5, '0.029*"player" + 0.015*"master" + 0.015*"steven" + 0.009*"tor" + ' '0.009*"van" + 0.008*"king" + 0.008*"scripture" + 0.007*"cal" + ' '0.007*"helmet" + 0.007*"det"'), (6, '0.028*"system" + 0.020*"problem" + 0.019*"run" + 0.018*"use" + 0.016*"work" ' '+ 0.015*"do" + 0.013*"window" + 0.013*"driver" + 0.013*"bit" + 0.012*"set"'), (7, '0.017*"israel" + 0.011*"israeli" + 0.010*"war" + 0.010*"armenian" + ' '0.008*"kill" + 0.008*"soldier" + 0.008*"attack" + 0.008*"government" + ' '0.007*"lebanese" + 0.007*"greek"'), (8, '0.018*"money" + 0.018*"year" + 0.016*"pay" + 0.012*"car" + 0.010*"drug" + ' '0.010*"president" + 0.009*"rate" + 0.008*"face" + 0.007*"license" + ' '0.007*"american"'), (9, '0.028*"god" + 0.020*"evidence" + 0.018*"christian" + 0.012*"believe" + ' '0.012*"reason" + 0.011*"faith" + 0.009*"exist" + 0.008*"bible" + ' '0.008*"religion" + 0.007*"claim"'), (10, '0.030*"physical" + 0.028*"science" + 0.012*"direct" + 0.012*"st" + ' '0.012*"scientific" + 0.009*"waste" + 0.009*"jeff" + 0.008*"cub" + ' '0.008*"brown" + 0.008*"msg"'), (11, '0.016*"wire" + 0.011*"keyboard" + 0.011*"md" + 0.009*"pm" + 0.008*"air" + ' '0.008*"input" + 0.008*"fbi" + 0.007*"listen" + 0.007*"tube" + ' '0.007*"koresh"'), (12, '0.016*"motif" + 0.014*"serial_number" + 0.013*"son" + 0.013*"father" + ' '0.011*"choose" + 0.009*"server" + 0.009*"event" + 0.009*"value" + ' '0.007*"collin" + 0.007*"prediction"'), (13, '0.098*"_" + 0.043*"max" + 0.015*"dn" + 0.011*"cx" + 0.009*"eeg" + ' '0.008*"gateway" + 0.008*"c" + 0.005*"mu" + 0.005*"mr" + 0.005*"eg"'), (14, '0.024*"book" + 0.009*"april" + 0.007*"group" + 0.007*"page" + ' '0.007*"new_york" + 0.007*"iran" + 0.006*"united_state" + 0.006*"author" + ' '0.006*"include" + 0.006*"club"'), (15, '0.020*"would" + 0.017*"say" + 0.016*"people" + 0.016*"think" + 0.014*"make" ' '+ 0.014*"go" + 0.013*"know" + 0.012*"see" + 0.011*"time" + 0.011*"get"'), (16, '0.026*"file" + 0.017*"program" + 0.012*"window" + 0.012*"version" + ' '0.011*"entry" + 0.011*"software" + 0.011*"image" + 0.011*"color" + ' '0.010*"source" + 0.010*"available"'), (17, '0.027*"game" + 0.027*"team" + 0.020*"year" + 0.017*"play" + 0.016*"win" + ' '0.010*"good" + 0.009*"season" + 0.008*"fan" + 0.007*"run" + 0.007*"score"'), (18, '0.036*"drive" + 0.024*"card" + 0.020*"mac" + 0.017*"sale" + 0.014*"cpu" + ' '0.010*"price" + 0.010*"disk" + 0.010*"board" + 0.010*"pin" + 0.010*"chip"'), (19, '0.030*"space" + 0.010*"sphere" + 0.010*"earth" + 0.009*"item" + ' '0.008*"launch" + 0.007*"moon" + 0.007*"mission" + 0.007*"nasa" + ' '0.007*"orbit" + 0.006*"research"')]
Как это интерпретировать?
Тема 0 представлена в виде 0.016 «car» + 0,014 «power» + 0,010 «light» + 0,009 «drive» + 0,007 «mount» + 0,007 «controller» + 0,007 «cool» + 0,007 «engine» + 0,007 «back»+« 0,006 «turn».
Это означает, что топ-10 ключевых слов, из которых состоит эта тема: «car», «power», «light» и т. д., А вес «car» в теме 0 составляет 0,016.
Веса отражают, насколько важно ключевое слово для этой темы.
Глядя на эти ключевые слова, вы можете догадаться, о чем эта тема может быть? Вы можете предположить, что это «cars» или «automobiles».
Аналогичным образом, вы можете просмотреть оставшиеся ключевые слова тем.
Вычислим сложность модели и ее когерентности
Cложность (Perplexity) модели и согласованность (Coherence) темы предоставляют удобную меру для оценки того, насколько хорошо выполнено тематическое моделирование. По моему опыту, оценка согласованности темы, обычно более полезна.
# Compute Perplexity
print('\nPerplexity: ', lda_model.log_perplexity(corpus)) # a measure of how good the model is. lower the better.
# Compute Coherence Score
coherence_model_lda = CoherenceModel(model=lda_model, texts=data_lemmatized, dictionary=id2word, coherence='c_v')
coherence_lda = coherence_model_lda.get_coherence()
print('\nCoherence Score: ', coherence_lda)
Perplexity: -8.86067503009 Coherence Score: 0.532947587081
Визуализация темы и ключевых слов
Теперь, когда модель LDA создана, следующим шагом является изучение созданных тем и связанных с ними ключевых слов. Нет лучшего инструмента, чем интерактивная диаграмма пакета pyLDAvis.
# Visualize the topics pyLDAvis.enable_notebook() vis = pyLDAvis.gensim.prepare(lda_model, corpus, id2word) vis
Что означает вывод pyLDAvis?
Каждый пузырь на левом графике представляет тему. Чем больше пузырь, тем больше распространена эта тема.
Хорошая тематическая модель будет иметь довольно большие непересекающиеся пузыри, разбросанные по всей диаграмме, а не сгруппированные в одном квадранте.
Модель со слишком большим количеством тем, как правило, имеет много перекрытий, пузырьки небольшого размера, сгруппированные в одной области диаграммы.
Если вы наведете курсор на один из пузырей и справа обновятся полосы графиков. Эти слова являются ключевыми словами, они формируют выбранную тему.
В итоге мы успешно создали красивую тематическую модель.
Учитывая наши предварительные знания о количестве естественных тем в документе, найти лучшую модель было довольно просто.
Далее мы улучшим эту модель, используя версию алгоритма LDA Маллета, а затем сосредоточимся на том, как найти оптимальное количество тем при любом большом объеме текста.
Построение модели LDA Mallet
До сих пор вы видели встроенную версию алгоритма LDA от Gensim. Версия алгоритма LDA Маллета, часто дает лучшее качество тем.
Gensim предоставляет оболочку для реализации LDA Mallet из самого Gensim. Вам нужно только скачать zip-файл, разархивировать его и указать путь к файлам Mallet в распакованном каталоге gensim.models.wrappers.LdaMallet.
# Download File: http://mallet.cs.umass.edu/dist/mallet-2.0.8.zip mallet_path = 'path/to/mallet-2.0.8/bin/mallet' # update this path ldamallet = gensim.models.wrappers.LdaMallet(mallet_path, corpus=corpus, num_topics=20, id2word=id2word)
# Show Topics
pprint(ldamallet.show_topics(formatted=False))
# Compute Coherence Score
coherence_model_ldamallet = CoherenceModel(model=ldamallet, texts=data_lemmatized, dictionary=id2word, coherence='c_v')
coherence_ldamallet = coherence_model_ldamallet.get_coherence()
print('\nCoherence Score: ', coherence_ldamallet)
[(13,
[('god', 0.022175351915726671),
('christian', 0.017560827817656381),
('people', 0.0088794630371958616),
('bible', 0.008215251235200895),
('word', 0.0077491376899412696),
('church', 0.0074112053696280414),
('religion', 0.0071198844038407759),
('man', 0.0067936049221590383),
('faith', 0.0067469935676330757),
('love', 0.0064556726018458093)]),
(1,
[('organization', 0.10977647987951586),
('line', 0.10182379194445974),
('write', 0.097397469098389255),
('article', 0.082483883409554246),
('nntp_post', 0.079894209047330425),
('host', 0.069737542931658306),
('university', 0.066303010266865026),
('reply', 0.02255404338163719),
('distribution_world', 0.014362591143681011),
('usa', 0.010928058478887726)]),
(8,
[('file', 0.02816690014008405),
('line', 0.021396171035954908),
('problem', 0.013508104862917751),
('program', 0.013157894736842105),
('read', 0.012607564538723234),
('follow', 0.01110666399839904),
('number', 0.011056633980388232),
('set', 0.010522980454939631),
('error', 0.010172770328863986),
('write', 0.010039356947501835)]),
(7,
[('include', 0.0091670556506405262),
('information', 0.0088169700741662776),
('national', 0.0085576474249260924),
('year', 0.0077667133447435295),
('report', 0.0070406099268710129),
('university', 0.0070406099268710129),
('book', 0.0068979824697889113),
('program', 0.0065219646283906432),
('group', 0.0058866241377521916),
('service', 0.0057180644157460714)]),
(..truncated..)]
Coherence Score: 0.632431683088
Просто изменив алгоритм LDA, мы увеличили показатель когерентности с .53 до .63.
Как найти оптимальное количество тем для LDA?
Мой подход к поиску оптимального количества тем состоит в том, чтобы построить множество моделей LDA с разными значениями количества тем (k) и выбрать ту, которая дает наибольшее значение когерентности.
Выбор ‘k’, обозначающий конец быстрого роста согласованности тем, обычно предлагает значимые и интерпретируемые темы. Выбор более высокого значения иногда может дать более детальные подтемы.
Если вы видите, что одни и те же ключевые слова повторяются в нескольких темах, это, вероятно, признак того, что “k” слишком велико.
сompute_coherence_values () (см. Ниже) обучает несколько моделей LDA и предоставляет модели и соответствующие им оценки когерентности.
def compute_coherence_values(dictionary, corpus, texts, limit, start=2, step=3):
"""
Compute c_v coherence for various number of topics
Parameters:
----------
dictionary : Gensim dictionary
corpus : Gensim corpus
texts : List of input texts
limit : Max num of topics
Returns:
-------
model_list : List of LDA topic models
coherence_values : Coherence values corresponding to the LDA model with respective number of topics
"""
coherence_values = []
model_list = []
for num_topics in range(start, limit, step):
model = gensim.models.wrappers.LdaMallet(mallet_path, corpus=corpus, num_topics=num_topics, id2word=id2word)
model_list.append(model)
coherencemodel = CoherenceModel(model=model, texts=texts, dictionary=dictionary, coherence='c_v')
coherence_values.append(coherencemodel.get_coherence())
return model_list, coherence_values
# Can take a long time to run. model_list, coherence_values = compute_coherence_values(dictionary=id2word, corpus=corpus, texts=data_lemmatized, start=2, limit=40, step=6)
# Show graph
limit=40; start=2; step=6;
x = range(start, limit, step)
plt.plot(x, coherence_values)
plt.xlabel("Num Topics")
plt.ylabel("Coherence score")
plt.legend(("coherence_values"), loc='best')
plt.show()
# Print the coherence scores
for m, cv in zip(x, coherence_values):
print("Num Topics =", m, " has Coherence Value of", round(cv, 4))
Num Topics = 2 has Coherence Value of 0.4451 Num Topics = 8 has Coherence Value of 0.5943 Num Topics = 14 has Coherence Value of 0.6208 Num Topics = 20 has Coherence Value of 0.6438 Num Topics = 26 has Coherence Value of 0.643 Num Topics = 32 has Coherence Value of 0.6478 Num Topics = 38 has Coherence Value of 0.6525
Если показатель когерентности продолжает увеличиваться, возможно, имеет смысл выбрать модель, которая имеет наивысшее когерентность.
Я выберу модель с 20 темами.
# Select the model and print the topics optimal_model = model_list[3] model_topics = optimal_model.show_topics(formatted=False) pprint(optimal_model.print_topics(num_words=10))
[(0, '0.025*"game" + 0.018*"team" + 0.016*"year" + 0.014*"play" + 0.013*"good" + ' '0.012*"player" + 0.011*"win" + 0.007*"season" + 0.007*"hockey" + ' '0.007*"fan"'), (1, '0.021*"window" + 0.015*"file" + 0.012*"image" + 0.010*"program" + ' '0.010*"version" + 0.009*"display" + 0.009*"server" + 0.009*"software" + ' '0.008*"graphic" + 0.008*"application"'), (2, '0.021*"gun" + 0.019*"state" + 0.016*"law" + 0.010*"people" + 0.008*"case" + ' '0.008*"crime" + 0.007*"government" + 0.007*"weapon" + 0.007*"police" + ' '0.006*"firearm"'), (3, '0.855*"ax" + 0.062*"max" + 0.002*"tm" + 0.002*"qax" + 0.001*"mf" + ' '0.001*"giz" + 0.001*"_" + 0.001*"ml" + 0.001*"fp" + 0.001*"mr"'), (4, '0.020*"file" + 0.020*"line" + 0.013*"read" + 0.013*"set" + 0.012*"program" ' '+ 0.012*"number" + 0.010*"follow" + 0.010*"error" + 0.010*"change" + ' '0.009*"entry"'), (5, '0.021*"god" + 0.016*"christian" + 0.008*"religion" + 0.008*"bible" + ' '0.007*"life" + 0.007*"people" + 0.007*"church" + 0.007*"word" + 0.007*"man" ' '+ 0.006*"faith"'), (..truncated..)]
Это темы для выбранной модели LDA.
Поиск доминирующей темы в каждом тексте
Одно из практических применений тематического моделирования – определить, о чем идет речь в данном документе.
Чтобы найти это, мы находим номер темы, который имеет самый высокий процентный вклад в этом документе.
Функция format_topics_sentences(), приведенная ниже, хорошо объединяет эту информацию в презентабельную таблицу.
def format_topics_sentences(ldamodel=lda_model, corpus=corpus, texts=data):
# Init output
sent_topics_df = pd.DataFrame()
# Get main topic in each document
for i, row in enumerate(ldamodel[corpus]):
row = sorted(row, key=lambda x: (x[1]), reverse=True)
# Get the Dominant topic, Perc Contribution and Keywords for each document
for j, (topic_num, prop_topic) in enumerate(row):
if j == 0: # => dominant topic
wp = ldamodel.show_topic(topic_num)
topic_keywords = ", ".join([word for word, prop in wp])
sent_topics_df = sent_topics_df.append(pd.Series([int(topic_num), round(prop_topic,4), topic_keywords]), ignore_index=True)
else:
break
sent_topics_df.columns = ['Dominant_Topic', 'Perc_Contribution', 'Topic_Keywords']
# Add original text to the end of the output
contents = pd.Series(texts)
sent_topics_df = pd.concat([sent_topics_df, contents], axis=1)
return(sent_topics_df)
df_topic_sents_keywords = format_topics_sentences(ldamodel=optimal_model, corpus=corpus, texts=data)
# Format
df_dominant_topic = df_topic_sents_keywords.reset_index()
df_dominant_topic.columns = ['Document_No', 'Dominant_Topic', 'Topic_Perc_Contrib', 'Keywords', 'Text']
# Show
df_dominant_topic.head(10)
Поиск наиболее представительного документ для каждой темы
Иногда просто ключевых слов темы может быть недостаточно, чтобы понять, о чем тема. Таким образом, чтобы помочь понимании темы, вы можете найти документы, к которым данная тема внесла максимальный вклад, и определить тему, прочитав этот документ.
# Number of Documents for Each Topic topic_counts = df_topic_sents_keywords['Dominant_Topic'].value_counts() # Percentage of Documents for Each Topic topic_contribution = round(topic_counts/topic_counts.sum(), 4) # Topic Number and Keywords topic_num_keywords = df_topic_sents_keywords[['Dominant_Topic', 'Topic_Keywords']] # Concatenate Column wise df_dominant_topics = pd.concat([topic_num_keywords, topic_counts, topic_contribution], axis=1) # Change Column names df_dominant_topics.columns = ['Dominant_Topic', 'Topic_Keywords', 'Num_Documents', 'Perc_Documents'] # Show df_dominant_topics
Распределение тем по документам.
Наконец, мы хотим понять объем и распределение тем, чтобы понять, насколько широко это обсуждалось.
# Number of Documents for Each Topic topic_counts = df_topic_sents_keywords['Dominant_Topic'].value_counts() # Percentage of Documents for Each Topic topic_contribution = round(topic_counts/topic_counts.sum(), 4) # Topic Number and Keywords topic_num_keywords = df_topic_sents_keywords[['Dominant_Topic', 'Topic_Keywords']] # Concatenate Column wise df_dominant_topics = pd.concat([topic_num_keywords, topic_counts, topic_contribution], axis=1) # Change Column names df_dominant_topics.columns = ['Dominant_Topic', 'Topic_Keywords', 'Num_Documents', 'Perc_Documents'] # Show df_dominant_topics
Заключение
Мы начали с рассказа о том, что можно сделать с помощью тематическое моделирование. Мы создали базовую модель тем с использованием LDA Gensim и визуализировали темы с помощью pyLDAvis. Затем мы построили реализацию LDA для Mallet. Вы увидели, как найти оптимальное количество тем, используя оценки когерентности, и как вы можете прийти к логическому пониманию того, как выбрать оптимальную модель.
Наконец, мы увидели, как агрегировать и представлять результаты.
Оригинал: Topic Modeling with Gensim (Python)
