/ / Какви са предимствата на SpecificMutableRow в Spark SQL? - scala, jvm, apache-spark, apache-spark-sql

Какви са предимствата на SpecificMutableRow в Spark SQL? - скала, jvm, apache-spark, apache-spark-sql

От коментарите изглежда:

Родителски клас за променливи контейнерни обекти, които се използват повторно при промяна на стойностите което води до по-малко боклук.

и

Тип ред, който съдържа специализиран масивобекти на контейнери от тип MutableValue, избрани въз основа на типовете данни на всяка колона. Целта е да се намали боклука при модифициране на стойности на примитивни колони.

Източник - https://github.com/apache/spark/blob/master/sql/catalyst/src/main/scala/org/apache/spark/sql/catalyst/expressions/SpecificMutableRow.scala

Може ли някой да обясни как е ефикасен? Само фактът, че избягва бокса?

Отговори:

2 за отговор № 1

Той избягва бокса в хранилището, но това е най-полезно, когато се комбинира с друг специфичен интерфейс (т.е. четец на паркет или оценка на генерирания код).

Другото предимство е, че се използва повторно (за разлика от общия ред). Така че за много операции той може да работи с редица данни, без да разпределя никакви обекти.