Remover duplicatas do MongoDB

oi eu tenho um ~ 5 milhões de documentos em mongodb (replicação) cada documento 43 campos. como remover o documento duplicado. eu tentei

db.testkdd.ensureIndex({ duration : 1 , protocol_type : 1 , service : 1 , flag : 1 , src_bytes : 1 , dst_bytes : 1 , land : 1 , wrong_fragment : 1 , urgent : 1 , hot : 1 , num_failed_logins : 1 , logged_in : 1 , num_compromised : 1 , root_shell : 1 , su_attempted : 1 , num_root : 1 , num_file_creations : 1 , num_shells : 1 , num_access_files : 1 , num_outbound_cmds : 1 , is_host_login : 1 , is_guest_login : 1 , count : 1 , srv_count : 1 , serror_rate : 1 , srv_serror_rate : 1 , rerror_rate : 1 , srv_rerror_rate : 1 , same_srv_rate : 1 , diff_srv_rate : 1 , srv_diff_host_rate : 1 , dst_host_count : 1 , dst_host_srv_count : 1 , dst_host_same_srv_rate : 1 , dst_host_diff_srv_rate : 1 , dst_host_same_src_port_rate : 1 , dst_host_srv_diff_host_rate : 1 , dst_host_serror_rate : 1 , dst_host_srv_serror_rate : 1 , dst_host_rerror_rate : 1 , dst_host_srv_rerror_rate : 1 , lable : 1 }, {unique: true, dropDups: true} ) 

executar este código eu recebo um erro “errmsg”: “nome do namespace gerado a partir do índice ..

 { "ok" : 0, "errmsg" : "namespace name generated from index name \"project.testkdd.$duration_1_protocol_type_1_service_1_flag_1_src_bytes_1_dst_bytes_1_land_1_wrong_fragment_1_urgent_1_hot_1_num_failed_logins_1_logged_in_1_num_compromised_1_root_shell_1_su_attempted_1_num_root_1_num_file_creations_1_num_shells_1_num_access_files_1_num_outbound_cmds_1_is_host_login_1_is_guest_login_1_count_1_srv_count_1_serror_rate_1_srv_serror_rate_1_rerror_rate_1_srv_rerror_rate_1_same_srv_rate_1_diff_srv_rate_1_srv_diff_host_rate_1_dst_host_count_1_dst_host_srv_count_1_dst_host_same_srv_rate_1_dst_host_diff_srv_rate_1_dst_host_same_src_port_rate_1_dst_host_srv_diff_host_rate_1_dst_host_serror_rate_1_dst_host_srv_serror_rate_1_dst_host_rerror_rate_1_dst_host_srv_rerror_rate_1_lable_1\" is too long (127 byte max)", "code" : 67 } 

como pode resolver o problema?

A syntax “dropDups” para criação de índice foi “obsoleta” desde o MongoDB 2.6 e removida no MongoDB 3.0 . Não é uma boa idéia, na maioria dos casos, usar isso, já que a “remoção” é arbitrária e qualquer “duplicata” pode ser removida. O que significa que o que é “removido” pode não ser o que você realmente deseja remover.

De qualquer forma, você está correndo em um erro “comprimento do índice”, já que o valor da chave do índice aqui seria mais longo que é permitido. De um modo geral, você não está “destinado” a indexar 43 campos em qualquer aplicativo normal.

Se você deseja remover as “duplicatas” de uma coleção, sua melhor opção é executar uma consulta de agregação para determinar quais documentos contêm dados “duplicados” e, em seguida, percorrer essa lista removendo “todos menos um” do _id “exclusivo” valores da coleção de destino. Isso pode ser feito com operações “em massa” para máxima eficiência.

OBSERVAÇÃO : acho difícil acreditar que seus documentos realmente contenham 43 campos “exclusivos”. É provável que “tudo que você precisa” seja simplesmente identificar apenas os campos que tornam o documento “exclusivo” e, em seguida, siga o processo descrito abaixo:

 var bulk = db.testkdd.initializeOrderedBulkOp(), count = 0; // List "all" fields that make a document "unique" in the `_id` // I am only listing some for example purposes to follow db.testkdd.aggregate([ { "$group": { "_id": { "duration" : "$duration", "protocol_type": "$protocol_type", "service": "$service", "flag": "$flag" }, "ids": { "$push": "$_id" }, "count": { "$sum": 1 } }}, { "$match": { "count": { "$gt": 1 } } } ],{ "allowDiskUse": true}).forEach(function(doc) { doc.ids.shift(); // remove first match bulk.find({ "_id": { "$in": doc.ids } }).remove(); // removes all $in list count++; // Execute 1 in 1000 and re-init if ( count % 1000 == 0 ) { bulk.execute(); bulk = db.testkdd.initializeOrderedBulkOp(); } }); if ( count % 1000 != 0 ) bulk.execute(); 

Se você tem uma versão do MongoDB “menor” que 2.6 e não tem operações em massa, então você pode tentar com o padrão .remove() dentro do loop também. Também observando que .aggregate() não retornará um cursor aqui e o looping deve mudar para:

 db.testkdd.aggregate([ // pipeline as above ]).result.forEach(function(doc) { doc.ids.shift(); db.testkdd.remove({ "_id": { "$in": doc.ids } }); }); 

Mas certifique-se de examinar seus documentos de perto e include apenas “apenas” os campos “exclusivos” que você espera que façam parte do agrupamento _id . Caso contrário, você acaba removendo nada, já que não há duplicatas.