Dobrý algoritmus pre sentimentovú analýzu - algoritmus, sentiment-analýza

Vyskúšal som klasifikátor naivných zálivov a funguje toveľmi zle. SVM funguje trochu lepšie, ale stále hrozne. Väčšina príspevkov, ktoré som čítal o SVM a naive bayes s niektorými variáciami (n-gram, POS atď.), Ale všetky z nich dávajú výsledky takmer 50% (autori článkov hovoria o 80% a vysokých, ale nemôžem získať rovnakú presnosť. o skutočných údajoch).

Existujú silnejšie metódy okrem lexixálnych analýz? SVM a Bayes predpokladajú, že slová sú nezávislé. Tento prístup sa nazýval „vrece slov“. Čo ak predpokladáme, že slová sú spojené?

Napríklad: Použite algoritmus apriory na zistenie, že ak vety obsahujú „zlú a hroznú“, potom 70% pravdepodobnosť, že veta je negatívna. Môžeme tiež použiť vzdialenosť medzi slovami atď.

Je to dobrý nápad alebo vymýšľam bicykel?

odpovede:

Algoritmy ako SVM, Naive Bayes a maximumentropické sú dohliadané algoritmy strojového učenia a výstup vášho programu závisí od výcvikovej sady, ktorú ste poskytli. Pre analýzu sentimentu vo veľkom meradle uprednostňujem metódu učenia bez dozoru, pri ktorej je možné určiť sentimenty prídavných mien zoskupením dokumentov do rovnakých častí a označiť zhluky pozitívne alebo negatívne. Viac informácií nájdete v tomto dokumente. http://icwsm.org/papers/3--Godbole-Srinivasaiah-Skiena.pdf

Dúfam, že vám to pomôže pri práci :)

Mýlite si tu niekoľko pojmov. Ani Naive Bayes, ani SVM nie sú viazaní na prístup slovníka. Ani SVM, ani prístup BOW nemajú medzi pojmami predpoklad nezávislosti.

Tu je niekoľko vecí, ktoré môžete vyskúšať:

• vložte do svojich vreciek interpunkčné znamienka; esp. ! a? môžu byť užitočné pri analýze sentimentu, zatiaľ čo mnoho extraktorov funkcií zameraných na klasifikáciu dokumentov ich odhadzuje
• to isté pre zastavovacie slová: slová ako „ja“ a „moje“ môžu naznačovať subjektívny text
• postaviť dvojstupňový klasifikátor; Najprv určte, či je vyjadrený akýkoľvek názor, potom či je pozitívny alebo negatívny
• skúste kvadratický jadro SVM namiesto lineárneho, aby ste zachytili interakcie medzi prvkami.

Nájdete tu niekoľko užitočných materiálov Sentimnetálna analýza pomocou pythonu, Táto prezentácia sumarizuje analýzu sentimentu ako 3 jednoduché kroky

• Údaje o označovaní
• Predspracovanie a
• Modelové učenie

Analýza sentimentu je oblasťou prebiehajúceho výskumu. A práve teraz prebieha veľa výskumov. Pre prehľad najaktuálnejších a najúspešnejších prístupov by som vám vo všeobecnosti odporúčal pozrieť sa na spoločné úlohy SemEval. Zvyčajne každý rok organizujú v Twitteri súťaž o analýzu sentimentov. Tu nájdete dokument popisujúci úlohu a výsledky za rok 2016 (môže to však byť trochu technické): http://alt.qcri.org/semeval2016/task4/data/uploads/semeval2016_task4_report.pdf

Odtiaľto sa môžete pozrieť v dokumentoch popisujúcich jednotlivé systémy (ako sú tam uvedené).