/ / Розбір величезного XML у Ruby не обробляє повний файл на сервері - ruby, ubuntu, nokogiri

Розбір величезного XML у Ruby не обробляє повний файл на сервері - ruby, ubuntu, nokogiri

Мені потрібно проаналізувати файл XML 3MB за допомогою Nokogiri та Httparty для аналізу вмісту з посилань у XML.

Він чудово працює, коли я роблю це на своєму ПК Windows 7, але, коли я запускаю один і той же сценарій у VPS, він, здається, не обробляє його повністю.

Це через обмеження максимального часу виконання сценарію Ruby на сервері? Якщо це так, як я можу збільшити його в Ubuntu?

Відповіді:

2 для відповіді № 1

Ніхто не скаже тобі, чому це відбувається без журналів. Ви переглядали їх?

Що стосується VPS та xml, то це можливоперевищує максимальну доступну пам'ять на сервері (що буде швидко, якщо у вас кілька клієнтів, всі вони завантажують XML-файли). Я не знаю, як ви використовуєте Nokogiri, але мій порад - перевірити, чи використовуєте ви SAX-аналізатор (http://www.rubydoc.info/github/sparklemotion/nokogiri/Nokogiri/XML/SAX/Parser)

Врешті-решт, ви будете використовувати менше ресурсів (пам'ять,час виконання), але є недолік - parsers SAX набагато важче писати, особливо якщо структура xml є складною, але це може бути сусло (шукайте тести "Nokogiri DOM vs SAX")