titan elasticsearch nie korzystając z indeksu - indeksowania, elastycznego wyszukiwania, tytanu, gremlinu

W naszej dużej bazie danych Titan Graph zauważam następujące zachowanie:

         ,,,/
(o o)
-----oOOo-(_)-oOOo-----
14:16:35 WARN  org.apache.hadoop.util.NativeCodeLoader  - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
gremlin> g = TitanFactory.open("/home/willem/workspace/ovc/src/main/resources/titan-cassandra-es.properties")
14:16:44 WARN  com.thinkaurelius.titan.graphdb.configuration.GraphDatabaseConfiguration  - Local setting cache.db-cache-time=0 (Type: GLOBAL_OFFLINE) is overridden by globally managed value (180000).  Use the ManagementSystem interface instead of the local configuration to control this setting.
==>titangraph[com.thinkaurelius.titan.diskstorage.cassandra.astyanax.AstyanaxStoreManager:[10.1.0.200]]
gremlin> g.indexQuery("mediaSerialNBStringIdx","v.mediaSerialNB:EB*").vertices().count()
==>937
gremlin> g.V().has("mediaSerialNB",PREFIX,"EB").count()
14:17:17 WARN  com.thinkaurelius.titan.graphdb.transaction.StandardTitanTx  - Query requires iterating over all vertices [(mediaSerialNB PREFIX EB)]. For better performance, use indexes

Więc bezpośrednio adresując indeks za pomocąindexQuery (...) korzysta z indeksu, ale pozostawiając go optymalizatorowi zapytań, nie dostrzega faktu, że w tym konkretnym polu jest obiekt MixedIndex.

To jest Titan 0.5.3 działający z elasticsearch 1.2.2.

Oto cechy indeksu:

gremlin> m = g.getManagementSystem()
==>com.thinkaurelius.titan.graphdb.database.management.ManagementSystem@6a26cb53
gremlin> m.getGraphIndex("mediaSerialNBStringIdx").isMixedIndex()
==>true
gremlin> m.getGraphIndex("mediaSerialNBStringIdx").getFieldKeys()
==>mediaSerialNB
gremlin> m.getGraphIndex("mediaSerialNBStringIdx").getBackingIndex()
==>search
gremlin> k = m.getPropertyKey("mediaSerialNB")
==>mediaSerialNB
gremlin> m.getGraphIndex("mediaSerialNBStringIdx").getIndexStatus(k)
==>INSTALLED

Czy fakt, że status indeksu to „ZAINSTALOWANY”, a nie „WŁĄCZONY”, daje mi wskazówkę? Jeśli tak, to w jaki sposób mogę pomóc elasticsearch, aby to umożliwić?

Czytając o reindeksowaniu, znalazłem:

mgmt.updateIndex(rindex, SchemaAction.ENABLE_INDEX);

Ale oto nasza baza danych mówi nam:

gremlin> mediaSerialNBKey = g.getPropertyKey("mediaSerialNB")
==>mediaSerialNB
gremlin> mediaSerialNBStringIdx = m.getGraphIndex("mediaSerialNBStringIdx")
==>com.thinkaurelius.titan.graphdb.database.management.TitanGraphIndexWrapper@7c54dcff
gremlin> mediaSerialNBStringIdx.getParametersFor(mediaSerialNBKey)
==>mapping->STRING
==>mapped-name->4h6t
==>status->INSTALLED
gremlin> m.updateIndex(mediaSerialNBStringIdx, SchemaAction.ENABLE_INDEX)
Update action [ENABLE_INDEX] does not apply to any fields for index [com.thinkaurelius.titan.graphdb.database.management.TitanGraphIndexWrapper@7c54dcff]

Odpowiedzi:

5 dla odpowiedzi № 1

Tak, musisz mieć włączony indeks. Aby to zrobić, indeks musi być w stanie ZAREJESTROWANY, a nie ZAINSTALOWANY, jak ma to miejsce w Twoim przypadku. Zwykle przejście to następuje automatycznie, gdy wszystkie instancje tytana korzystające z tego samego zaplecza pamięci potwierdzają zmiany indeksu.

Możliwe jest jednak, że masz pewne instancje, które nie są już aktywne. Możesz wyświetlić listę wszystkich instancji w konsoli gremlin:

m=g.getManagementSystem()
m.getOpenInstances()

Jeśli są jakieś martwe instancje, należy je ręcznie usunąć za pomocą

mgmt.forceCloseInstance("dead-instance-id")
mgmt.commit()

Możesz znaleźć więcej w dokumentacji, sekcja 27.2.

Z mojego doświadczenia najlepiej jest wyłączyć wszystkie instancje oprócz sesji gremlin przed wykonaniem konserwacji indeksu.

Teraz możesz ręcznie zarejestrować indeks (patrz sekcja 28.7.1):

m = g.getManagementSystem()
mediaSerialNBStringIdx = m.getGraphIndex("mediaSerialNBStringIdx")
m.updateIndex(mediaSerialNBStringIdx, SchemaAction.REGISTER_INDEX)
m.commit()

Sprawdzić:

m = g.getManagementSystem()
k = m.getPropertyKey("mediaSerialNB")
m.getGraphIndex("mediaSerialNBStringIdx").getIndexStatus(k)
// should return REGISTERED

Teraz możesz z powodzeniem włączyć swój indeks:

m = g.getManagementSystem()
mediaSerialNBStringIdx = m.getGraphIndex("mediaSerialNBStringIdx")
m.updateIndex(mediaSerialNBStringIdx, SchemaAction.ENABLE_INDEX)
m.commit()

---