Probé el clasificador ingenuo de Bayes y está funcionando.muy mal. SVM funciona un poco mejor pero sigue siendo horrible. La mayoría de los artículos que leí sobre SVM y bayes ingenuos con algunas variaciones (n-gramo, POS, etc.) pero todos dan resultados cercanos al 50% (los autores de los artículos hablan de un 80% o más, pero no puedo obtener la misma precisión) en datos reales).
¿Hay algún método más poderoso, excepto el análisis lexixal? SVM y Bayes suponen que las palabras se independizan. Estos enfoques llamados "bolsa de palabras". ¿Y si suponemos que las palabras están asociadas?
Por ejemplo: use un algoritmo de prioridad para detectar que si las oraciones contienen "malo y horrible", entonces el 70% de probabilidad de que la oración sea negativa. También podemos usar la distancia entre palabras y así sucesivamente.
¿Es buena idea o estoy inventando la bicicleta?
Respuestas
4 para la respuesta № 1Algoritmos como SVM, Naive Bayes y maximo.Las entropías son algoritmos supervisados de aprendizaje automático y la salida de su programa depende del conjunto de capacitación que haya proporcionado. Para el análisis de sentimientos a gran escala, prefiero usar un método de aprendizaje no supervisado en el que se puedan determinar los sentimientos de los adjetivos agrupando documentos en partes orientadas a lo mismo, y etiquetar los grupos como positivos o negativos. Más información se puede encontrar en este documento. http://icwsm.org/papers/3--Godbole-Srinivasaiah-Skiena.pdf
Espero que esto te ayude en tu trabajo :)
3 para la respuesta № 2
Aquí estás confundiendo un par de conceptos. Ni Naive Bayes ni SVM están vinculados al enfoque de bolsa de palabras. Ni SVM ni el enfoque BOW tienen una suposición de independencia entre términos.
Aquí hay algunas cosas que puedes probar:
- incluye signos de puntuación en tus bolsas de palabras; especialmente ! y? puede ser útil para el análisis de sentimientos, mientras que muchos extractores de características orientados a la clasificación de documentos los desechan
- lo mismo para las palabras de parada: palabras como "yo" y "mi" pueden ser indicativas de texto subjetivo
- construir un clasificador de dos etapas; primero determine si se expresa alguna opinión, luego si es positiva o negativa
- Pruebe un SVM de núcleo cuadrático en lugar de uno lineal para capturar interacciones entre características.
0 para la respuesta № 3
Puedes encontrar algún material útil en Análisis sentimnetal utilizando python.. Esta presentación resume el Análisis de Sentimiento en 3 simples pasos.
- Etiquetado de datos
- Preprocesamiento y
- Modelo de aprendizaje
0 para la respuesta № 4
El análisis del sentimiento es un área de investigación en curso. Y hay mucha investigación en curso ahora. Para obtener una descripción general de los enfoques más recientes y exitosos, generalmente le aconsejo que eche un vistazo a las tareas compartidas de SemEval. Por lo general, todos los años se realiza una competencia en Análisis de Sentimiento en Twitter. Puede encontrar el documento que describe la tarea y los resultados para 2016 aquí (aunque podría ser un poco técnico): http://alt.qcri.org/semeval2016/task4/data/uploads/semeval2016_task4_report.pdf
A partir de ahí, puede consultar los documentos que describen los sistemas individuales (como se menciona aquí).