Próbuję indeksować duże obiekty - obiekty zwiele relacji (około 100 000) - do indeksu ElasticSearch, ale obiekty nie pasują do pamięci. Czasami limit PostgreSQL jest przekroczony, czasami PHP. I nie mogę już zwiększać limitów.
Zapisy są pobierane jeden po drugim, na żądanie. Rozmiar strony został zminimalizowany do 1.
Framework to Symfony3, pakiet to FOSElasticaBundle.
Jakieś błyskotliwe pomysły? Napisz indeksowany obiekt na dysk?
Odpowiedzi:
-1 dla odpowiedzi nr 1Cóż, jest to znany problem, indeksowanie za pomocą php / ORM jest powolne. Powinieneś rzucić okiem na Importer Java JDBC elasticsearch który jest o wiele szybszy.