Articles of scala

Solte no interpretador durante a localização arbitrária do código scala

Eu venho de um fundo em Python, onde em qualquer ponto do meu código eu posso adicionar import pdb; pdb.set_trace() e em tempo de execução eu vou ser deixado em um intérprete interativo naquele local. Existe um equivalente para scala, ou isso não é possível em tempo de execução?

Dividir 1 coluna em 3 colunas em faísca scala

Eu tenho um dataframe no Spark usando scala que tem uma coluna que eu preciso dividir. scala> test.show +————-+ |columnToSplit| +————-+ | abc| | def| +————-+ Eu preciso dessa coluna dividida para ficar assim: +————–+ |col1|col2|col3| | a| b| c| | d| e| f| +————–+ Estou usando o Spark 2.0.0 obrigado

Matriz de impressão em Scala

Estou tendo problemas com a operação básica do Scala e isso está me deixando louco. val a = Array(1,2,3) println(a) and result is [I@1e76345 println(a.toString()) and result is [I@1e76345 println(a.toString) and result is [I@1e76345 Alguém pode me dizer como imprimir matriz sem escrever minha própria function para fazer isso porque isso é bobo. Obrigado!

Por que as funções scala estão limitadas a 22 parâmetros?

Não que eu tenha realmente chegado perto desse limite, mas sempre me perguntei: por que eles param no Function22 / Tuple22 . Restrição de JVM? Escolha arbitrária?

Como passar o parâmetro -D ou a variável de ambiente para o trabalho do Spark?

Desejo alterar a configuração do Typesafe de um job do Spark no ambiente dev / prod. Parece-me que a maneira mais fácil de conseguir isso é passar -Dconfig.resource=ENVNAME para o trabalho. Então a biblioteca de configuração do Typesafe fará o trabalho por mim. Existe maneira de passar essa opção diretamente para o trabalho? Ou talvez […]

Stackoverflow devido à longa linhagem RDD

Eu tenho milhares de pequenos arquivos no HDFS. Precisa processar um subconjunto de arquivos um pouco menor (que é novamente em milhares), fileList contém uma lista de caminhos de arquivos que precisam ser processados. // fileList == list of filepaths in HDFS var masterRDD: org.apache.spark.rdd.RDD[(String, String)] = sparkContext.emptyRDD for (i line.startsWith(“#####”)).map(line => (filePath, line)) masterRDD […]

Qual é a regra para parênteses na invocação do método Scala?

Não é um método que converte algo em uma lista? Se sim, por que não posso usar parênteses com isso? Eu devo estar perdendo algo mais fundamental aqui. Aqui está o exemplo: val l = Array(1,2,3).toList // works fine val l = Array(1,2,3).toList() // gives the error below Não há argumentos suficientes para o método […]

Scala como posso contar o número de ocorrências em uma lista

val list = List(1,2,4,2,4,7,3,2,4) Eu quero implementá-lo assim: list.count(2) (retorna 3).

Encontrando parâmetros de tipo via reflection no Scala 2.10?

Usando tags de tipo, consigo ver os parâmetros de algum tipo: scala> import scala.reflect.runtime.universe._ import scala.reflect.runtime.universe._ scala> typeOf[List[Int]] res0: reflect.runtime.universe.Type = List[Int] Mas eu simplesmente não consigo descobrir como programaticamente tirar esse “Int” de lá, de uma maneira geral. (Eu tenho andado por aí no REPL por uma hora agora, tentando permutações no Type, para […]

Obtenha uma instância de object complementar com a nova API de reflection Scala

Com a nova API de reflection do Scala, é possível obter uma referência ao object complementar de uma class? Estou pensando em algo ao longo destas linhas: trait Base { def companion: MetaBase = someReflectionMagic(this).asInstanceOf[MetaBase] } trait MetaBase { // stuff } // — class Foo extends Base object Foo extends MetaBase assert(new Foo.companion == […]