Articles of scala

Executando Java dá “Erro: não foi possível abrir` C: \ Arquivos de Programas \ Java \ jre6 \ lib \ amd64 \ jvm.cfg ‘”

Depois de anos trabalhando OK, de repente estou recebendo esta mensagem ao tentar iniciar o JVM: Error: could not open `C:\Program Files\Java\jre6\lib\amd64\jvm.cfg’ Eu tentei desinstalar e recebi uma mensagem dizendo que uma DLL estava faltando (não especificado) Tentei reinstalar tudo, sem sucesso. Ao mesmo tempo, ao tentar iniciar o Scala, recebo: \Java\jdk1.6.0_25\bin\java.exe was unexpected at […]

Scala: mesclar mapa

Como posso mesclar mapas como abaixo: Map1 = Map(1 -> Class1(1), 2 -> Class1(2)) Map2 = Map(2 -> Class2(1), 3 -> Class2(2)) Depois de mesclado. Merged = Map( 1 -> List(Class1(1)), 2 -> List(Class1(2), Class2(1)), 3 -> Class2(2)) Pode ser List, Set ou qualquer outra coleção que tenha atributo de tamanho.

Spark UDF com varargs

É uma única opção listar todos os argumentos até 22, como mostrado na documentação? https://spark.apache.org/docs/1.5.0/api/scala/index.html#org.apache.spark.sql.UDFRegistration Alguém descobriu como fazer algo semelhante a isso? sc.udf.register(“func”, (s: String*) => s…… (escrevendo function de concatação personalizada que pula nulos, tinha 2 argumentos no momento) obrigado

Como definir uma function de agregação personalizada para sumr uma coluna de vetores?

Eu tenho um DataFrame de duas colunas, ID do tipo Int e Vec do tipo Vector ( org.apache.spark.mllib.linalg.Vector ). O DataFrame parece com o seguinte: ID,Vec 1,[0,0,5] 1,[4,0,1] 1,[1,2,1] 2,[7,5,0] 2,[3,3,4] 3,[0,8,1] 3,[0,0,1] 3,[7,7,7] …. Eu gostaria de fazer um groupBy($”ID”) seguida, aplicar uma agregação nas linhas dentro de cada grupo, sumndo os vetores. A […]

val e object dentro de uma class scala?

Qual é a diferença entre declarar um campo como val , lazy val e object dentro de uma class scala, como no trecho a seguir: class A class B { val a1 = new A { def foo = 1 } object a2 extends A { def foo = 1 } lazy val a3 = […]

Incluindo Valores Nulos em um Apache Spark Join

Eu gostaria de include valores nulos em uma associação do Apache Spark. O Spark não inclui linhas com nulo por padrão. Aqui está o comportamento padrão do Spark. val numbersDf = Seq( (“123”), (“456”), (null), (“”) ).toDF(“numbers”) val lettersDf = Seq( (“123”, “abc”), (“456”, “def”), (null, “zzz”), (“”, “hhh”) ).toDF(“numbers”, “letters”) val joinedDf = numbersDf.join(lettersDf, […]

Multiplicação de Matriz no Apache Spark

Eu estou tentando executar a multiplicação de matrizes usando o Apache Spark e Java. Eu tenho duas perguntas principais: Como criar um RDD que possa representar a matriz no Apache Spark? Como multiplicar dois desses RDDs?

Por que objects singleton são mais orientados a objects?

Em programação em Scala: um guia abrangente passo a passo , o autor disse: Uma maneira pela qual o Scala é mais orientado a objects do que o Java é que as classs no Scala não podem ter membros estáticos. Em vez disso, o Scala tem objects singleton. Por que um object singleton é mais […]

Padrões para propriedades ausentes no jogo 2 formatos JSON

Eu tenho um equivalente do seguinte modelo em jogo scala: case class Foo(id:Int,value:String) object Foo{ import play.api.libs.json.Json implicit val fooFormats = Json.format[Foo] } Para a seguinte ocorrência Foo Foo(1, “foo”) Eu pegaria o seguinte documento JSON: {“id”:1, “value”: “foo”} Esse JSON é persistido e lido em um armazenamento de dados. Agora meus requisitos foram alterados […]

Ordem de linearização em Scala

Eu tenho dificuldades em entender a ordem de linearização em Scala ao trabalhar com traços: class A { def foo() = “A” } trait B extends A { override def foo() = “B” + super.foo() } trait C extends B { override def foo() = “C” + super.foo() } trait D extends A { override […]