数字类型
Datetime类型
DateType:代表包含字段年,月,日的值
复杂类型
containsNull
用来指明ArrayType
中的值是否有null值valueContainsNull
用来指明MapType
中的值是否有null值StructType(fields):表示一个拥有StructFields (fields)
序列结构的值
StructType
中的一个字段,字段的名字通过name
指定,dataType
指定field的数据类型,nullable
表示字段的值是否有null值。Spark的所有数据类型都定义在包org.apache.spark.sql
中,你可以通过import org.apache.spark.sql._
访问它们。
数据类型 | Scala中的值类型 | 访问或者创建数据类型的API |
---|---|---|
ByteType | Byte | ByteType |
ShortType | Short | ShortType |
IntegerType | Int | IntegerType |
LongType | Long | LongType |
FloatType | Float | FloatType |
DoubleType | Double | DoubleType |
DecimalType | scala.math.BigDecimal | DecimalType |
StringType | String | StringType |
BinaryType | Array[Byte] | BinaryType |
BooleanType | Boolean | BooleanType |
TimestampType | java.sql.Timestamp | TimestampType |
DateType | java.sql.Date | DateType |
ArrayType | scala.collection.Seq | ArrayType(elementType, [containsNull]) 注意containsNull默认为true |
MapType | scala.collection.Map | MapType(keyType, valueType, [valueContainsNull]) 注意valueContainsNull默认为true |
StructType | org.apache.spark.sql.Row | StructType(fields) ,注意fields是一个StructField序列,相同名字的两个StructField不被允许 |
StructField | The value type in Scala of the data type of this field (For example, Int for a StructField with the data type IntegerType) | StructField(name, dataType, nullable) |