kanga333.log

雑な記録

golangで末尾の改行を削除する際はstrings.TrimSpace使う

無駄にハマって時間を費やしたので備忘。 とあるCSVをパースするバッチをgolangで書いていて以下のようなコードを書いていた。 csv := strings.TrimRight(record, "\n") columns := strings.Split(csv, ",") でも上記のコードだと何故かcolumnsの最後の要素…

golangで設定ファイルを環境変数に対応させる

背景 goでagentを作っている yamlから設定を読ませる作りにした コンテナで動かすことも考えて、環境変数で設定差し込みたいなぁ 対応 ここに全て書いてあった。 go: Using environment variables in configuration files - M. Tarık Yurt ioutilでReadFile…

Hiveによるデータの洗い替え処理の検証

目的 Hiveによってデータを洗い替えする際の処理パターンを検討する はじめに Hive、というよりHDFSにおいてデータはimmutableな物として扱ったほうが良い。 パフォーマンスの観点から追記や更新を表現するような処理パターンは避けた方が無難である。 なぜ…

2017年の振り返り

年の瀬なので2017年を振り返ってみる。 2017年の抱負 2017年は以下のような抱負を掲げていた。 今年は草を生やして行きたいです。— かんが (@kanga333) 2016年12月31日 実際はどうだったかというと 微妙な結果だ。 反省 今年は2度のタイミングで"Write Code …

PostgreSQLをレプリ構成で立てるまでの記録

あらすじ こんな便利な時代に自前でPostgreSQLを立てる必要が出た。悲しきオンプレのさだめよ。 当方PostgreSQL素人なのでいちから構築手順をメモしていく。 要件 ミドルウェアが利用するPostgreSQLでそんなにパフォーマンスも容量もいらない。 でも、ちゃん…

kyoto tycoonのDocker Imageを作る

あらすじ 私の所属する会社は未だバリバリにkyoto tycoon(kt)というkvsを使っている。 このktをいっちょDocker化したるか!と思ったら色々ハマったので備忘兼ねて記録を残す。 すでにDockernizeしてる人がいた ネットを漁ると、すでにDocker化している方がい…