Skip to main content

Bigquery

Aanmaak dataset​

Maak (uiteraard opnieuw met Terraform) een dataset en tabel aan in Bigquery.

Aanmaak tabel​

De tabel moet uiteraard de waardes kunnen bewaren die door de cloud functie doorgestuurd worden.

Gebruik daarvoor deze structuur:

  schema = <<EOF
[
    {
    "name": "timestamp",
    "type": "TIMESTAMP"
    },
    {
    "name": "name",
    "type": "STRING",
    "mode": "NULLABLE"
    },
    {
    "name": "id",
    "type": "STRING",
    "mode": "NULLABLE"
    },
    {
    "name": "url",
    "type": "STRING",
    "mode": "NULLABLE"
    },
    {
    "name": "text",
    "type": "STRING",
    "mode": "NULLABLE"
    },
    {
    "name": "total_capacity",
    "type": "INT64",
    "mode": "NULLABLE"
    },
    {
      "name": "occupation",
      "type": "INT64",
      "mode": "NULLABLE"
   }
]
EOF

Opgelet: voorzie ook partitionering op dag-basis. Op die manier zullen queries achteraf sneller en efficiënter verlopen.