Articles of scala

Por que “evitar sobrecarga de método”?

Por que Jorge Ortiz aconselha a evitar sobrecarga de método?

Como analisar JSON no Scala usando classs Scala padrão?

Eu estou usando a compilation na class JSON no Scala 2.8 para analisar o código JSON. Eu não quero usar o Liftweb ou qualquer outro devido à minimização de dependencies. O jeito que estou fazendo parece imperativo, existe uma maneira melhor de fazer isso? import scala.util.parsing.json._ … val json:Option[Any] = JSON.parseFull(jsonString) val map:Map[String,Any] = json.get.asInstanceOf[Map[String, […]

Spark – carrega o arquivo CSV como DataFrame?

Eu gostaria de ler um CSV em faísca e convertê-lo como DataFrame e armazená-lo em HDFS com df.registerTempTable(“table_name”) Eu tentei: scala> val df = sqlContext.load(“hdfs:///csv/file/dir/file.csv”) Erro que recebi: java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [49, 59, 54, 10] at parquet.hadoop.ParquetFileReader.readFooter(ParquetFileReader.java:418) at org.apache.spark.sql.parquet.ParquetRelation2$MetadataCache$$anonfun$refresh$6.apply(newParquet.scala:277) at […]

Uso de def, val e var em scala

class Person(val name:String,var age:Int ) def person = new Person(“Kumar”,12) person.age = 20 println(person.age) Essas linhas de código geram 12 , mesmo que person.age=20 tenha sido executado com sucesso. Achei que isso acontece porque usei def em def person = new Person(“Kumar”,12) . Se eu usar var ou val, a saída é 20 . Eu […]

Qual é a diferença entre JavaConverters e JavaConversions no Scala?

Em scala.collection , existem dois objects muito semelhantes JavaConversions e JavaConverters . Qual é a diferença entre esses dois objects? Por que ambos existem? Quando eu quero usar um contra o outro?

Por que esse código Spark faz o NullPointerException?

Eu tenho um problema ao executar um aplicativo Spark. Código fonte: // Read table From HDFS val productInformation = spark.table(“temp.temp_table1”) val dict = spark.table(“temp.temp_table2″) // Custom UDF val countPositiveSimilarity = udf[Long, Seq[String], Seq[String]]((a, b) => dict.filter( (($”first”.isin(a: _*) && $”second”.isin(b: _*)) || ($”first”.isin(b: _*) && $”second”.isin(a: _*))) && $”similarity” > 0.7 ).count ) val result […]

Qual é a motivação para a atribuição de Scala que avalia a unidade em vez do valor atribuído?

Qual é a motivação para a atribuição de Scala que avalia a unidade em vez do valor atribuído? Um padrão comum na programação de E / S é fazer coisas assim: while ((bytesRead = in.read(buffer)) != -1) { … Mas isso não é possível no Scala porque … bytesRead = in.read(buffer) .. retorna Unit, não […]

Em Scala, o que é um “inicializador inicial”?

No post recente de Martin Odersky sobre níveis de habilidade de programador em Scala, na seção Designer de Bibliotecas de Especialistas , ele inclui o termo “inicializadores antecipados” . Estes não são mencionados em Programação no Scala . O que eles são?

Como carregar o arquivo local em sc.textFile, em vez de HDFS

Estou seguindo o ótimo tutorial então eu estou tentando a 46m: 00s para carregar o README.md mas falhar no que estou fazendo é isto: $ sudo docker run -i -t -h sandbox sequenceiq/spark:1.1.0 /etc/bootstrap.sh -bash bash-4.1# cd /usr/local/spark-1.1.0-bin-hadoop2.4 bash-4.1# ls README.md README.md bash-4.1# ./bin/spark-shell scala> val f = sc.textFile(“README.md”) 14/12/04 12:11:14 INFO storage.MemoryStore: ensureFreeSpace(164073) called […]

Validação de parâmetros de methods em Scala, com compreensão e mônadas

Estou tentando validar os parâmetros de um método para nulidade mas não encontro a solução … Alguém pode me dizer como fazer? Estou tentando algo assim: def buildNormalCategory(user: User, parent: Category, name: String, description: String): Either[Error,Category] = { val errors: Option[String] = for { _ <- Option(user).toRight("User is mandatory for a normal category").right _ <- […]