2017-03-11 JAWS DAYS 2017
http://jawsdays2017.jaws-ug.jp/
AWS User Group Japan の年に一度の大イベント。
昨年に続き今年も参加しました。
やはりこの熱気はすごい。
スライド見るだけではなく、現地で感じることが大事だと思う。
■赤ドクロ Presents 『AWSで開発するならこれやっときゃいいよ的な話』
EFSの話でてたけど、東京リージョンまだきてないんだよね・・・AWSさん、お願いします。
The Twelve Factor App の話。
https://12factor.net/ja/
本来はクラウドとは関係ないが、クラウドではより重要になってくるプラクティス。
DevOps はCultureが大事で、続いてPractice, Tool。
■AWS SECURITY DEATH \m/ ~セキュ鮫様からのお告げ~ by Security-JAWS
Security Groupはステートフルなので戻り通信の設定は不要
Network ACLはステートレスなのでin/out両方設定が必要
Shield(DDos対策)
CloudFrontでオプションを有効化すれば使える
CloudFront, ELB/ALB、Route53に有効
コスト:Basicは無料 Advancedは 300$/月
※DDosに該当する通信の転送量はかからない
AWS WAF
CloudFront, ELB, ALBに仕込める
デメリット
正規表現でルール書けない、細かいカスタマイズが難しい
POST通信の中身がみれない(遮断はできる)
設計段階でのセキュリティ考慮が大事
AWS Config 構成管理
ELBはALBのみ対応。Classic ELBは非対応
監査・コンプライアンス、トラブルシュート用途に
コストはお安め
AWS Config Rules
構成管理設設定をチェックするツール
AWSが用意するマネージドルールとLambdaで定義するカスタムルールがある
EC2 Systems Manager
→OSの中の情報をマネージメントコンソールで確認
■コミュニティで拓く、パラレルキャリアへの道
5社で働くってすごい。。。
関係者への「期待値コントロール」大事
■知らない間に使われていませんか? ~AWSの利用監査対策~
CloudWatch Logs
CloudTrail→CloudWatch Logs連携
AWS CIS・・・不正操作の代表的なものを挙げている
「オオカミ少年」にならないよう、バランスが必要
カスタム通知
CloudTrail→CloudWatch Logs→Lambda→SNS
Lambdaでメール本文を日本語化してSNSでメール送信してる
ログの集約、検索、レポート
「sumologic」を利用(AWSのパートナーになっている)
無料枠あり
CloudTrail、S3、ELB、Inspector等と連携
Deep Securityのログも見れる
Bastion監査も似たような仕組みで実施
(誰がSSH接続したか、失敗形跡など)
■武闘派CIO3人が、ホンネで語るITの現実
去年も長谷川さんのトークセッション聞いたけどほんと面白い。
AmazonGoすごい。
「学び方を学ぶ」
「忍者の草飛び」
…最初は低い草を飛ぶ、草が成長してだんだん高くなるやつ
なんか忍者ハットリくんだか、藤子不二雄系の漫画で見た記憶ある
「客を捕まえてから新規事業提案」が鉄則
CIOはゴールキーパー的役割
同じ過ちを3回した場合と自分ごとにしない人には叱る
■AWSデータベースアップデート 2017
Redis
オリジナルではなく、Amazonが改修いれたものを使っている
海外ではRedisに永続データを入れるケースが増えている
Aurora
r3.xlarge以上になると、MySQLとのパフォーマンス差が顕著に
PostgreSQL Aurora
Performance Insight
クエリパフォーマンスをマネージメントコンソールで見れる
他のエンジンにも展開予定あり
オンラインDDLが爆速(NULL許可でカラム追加の場合)
今後のアップデート
Online Point in Time Restore
Database cloning
コピーしてもボリュームコスト2倍にならない。差分分のみ増える
Aurora Auditing
MySQLのAuditプラグインよりパフォーマンス劣化が小さい
Index構築も速い
空間Indexも速い
DMS
fan in(複数DBを1つに)、fan out(1つのDBを複数DBに)も可能
オンプレ→AWSだけでなく、AWS→オンプレもできる
評価レポート・・・移行のしやすさを評価したもの
Athena
S3のファイルをSQLで直接検索
LTSV,CSV,JSON等対応。gz圧縮対応
裏はPrestoで動いている
Amazon QuickSight
S3、RDSにつないでグラフ生成。13種類
今後のリリース予定
Amazon Glue・・・マネージドなETL
2017-03-02 GitLab Meetup Tokyo
こちらも参加してきました。
GitLabってぶっちゃけどのくらい使われてるのかな・・・と思ってたんですが
イベント参加者100名超えているところをみると
実はかなり使われてるっぽく、ちょっと勇気づけられた。
LT発表してたけど、結構有名な大手メーカーで使ってるってのがまた意外だった。
もっと日本語情報が充実してくると嬉しい。
以下、参加時のmemo
~~~~~
■@tnir 「GitレポジトリからCI/CD・コンテナ化を含めた開発統合プラットフォームとしてのGitLabと今後の展開」
セルフホスティングの他の製品
GitBucket
Gogs
GitHost.io てのもある
インストールはomubus-gitlabが一番楽
次回開催決定 4/11(火)@リクルート
■@catatsuy 「GitLabの実践的な運用」
複数台構成はきほんできない
RedisやDBは別にできる
強めのサーバおすすめ(メモリ食う)
Redisはふっとんでも問題あるデータではない。キャッシュやセッションデータのみ
mysqlはおすすめではない・・・そもそもRailsとmysqlがつらい
バックアップはDBでかくなりがちなので、バックアップ別にしたほうがよい
バージョンアップ時は最低DBだけバックアップをとっておこう
■@hiroponz 「GitLabコミュニティへのコントリビュート(仮)」
近い将来多言語化するかも?
■GitLab LT
@jeffi7 「わりと大きい会社でGitLabをホスティングしてみた話」
わりとというか、かなり大手ですよね。すごい。
専門部署があるところは強いよなぁと思ったり。
(片手間でメンテするのはきつい…)
2017-02-28 第46回 脆弱性診断ええんやで
security-testing.doorkeeper.jp
前回に引き続き参加。
今回はOWASP TOP10の2番目、「認証とセッション管理の不備」
今回は本題よりも余談でちょいちょい出ていた、ほんまかいな!?的なネタが面白かった。
(いや、本題もためになったんですけどね)
プリペアードステートメントのPREPAREに外部由来の変数まるっと渡して(当然インジェクションできる)それで「プリペアードステートメント使ってるから安全」なんて言い張る輩なんているのか…根本的にエンジニアに向いてないよな、その人…
— 林 正紀 (のりぃ) (@m_norii) 2017年2月28日
Cookieの有効期限20年!?
— 林 正紀 (のりぃ) (@m_norii) 2017年2月28日
eval() に外部由来変数そのまま渡すとか、狂気の沙汰すぎる…
— 林 正紀 (のりぃ) (@m_norii) 2017年2月28日
今日の脆弱性の勉強会、本題よりアンチパターン集のほうが趣がありすぎる…
— 林 正紀 (のりぃ) (@m_norii) 2017年2月28日
その他、以下はセミナー中に取ったメモ。
あまり体系的にまとめてないけど。
~~~~~
検索キーワード
Let’s know owasp
工程別活用可能な資料
OWASPの歩き方
■認証とセッション管理の不備
ASVS要件
https://jpcertcc.github.io/OWASPdocuments/ASVS/OWASPApplicationSecurityVerificationStandard3.0.pdf
無線LANが普及した結果、一般ユーザは無線LAN接続に抵抗なくなった
→キャリアや有名企業になりすましたアクセスポイントをしかけて通信を盗める
→ネットワークの盗聴、セッションIDの奪取はリスクが高まっている
※有線LAN前提ではネットワーク盗聴はその敷地内に侵入する必要があるので
リスクは高くなかった
・セッションの寿命はできるだけ短く。ブラウザ閉じたら終了が望ましい
・オレオレセッションID生成はダメ、絶対。
md5ハッシュは元文字列が辞書由来の単語であれば、Googleなどで検索できてしまう
セキュリティ業界の常識として、暗号化/復号方式は公開されなければいけない
(オレオレ暗号化は遠くない先に破られる)
※狙われなければ破られないけど…
・ログイン成功したらでセッションIDを再生成する
→攻撃者はログイン前のセッションIDを把握できる(している)ので
■LT
サイバー攻撃の被害にあった場合
・被害が明確なら、拡大防止のためサーバ隔離(クラウドなら停止)
・「情報セキュリティ事故対応ガイドブック」(IPA)
・相談可能な組織
・ラック(緊急対応サービス「サイバー119」)
・三井物産セキュアディレクション
・アクティブディフェンス研究所
・オレンジセキュアサービス(トラブルレスキュー)
2017-02-22 TechLION vol.29
TechLION vol.29
http://techlion.jp/vol29
伊藤直也さんと柄沢聡太郎さん。
この2人のトークが面白くないわけがない、ってことで、早々にエントリーしてたくらい楽しみだったイベント。
期待を裏切らずすごい楽しかった。
いろいろ知見はあったんだけど
後半マネジメントのパートは特に自分の立場と重ねて聞くと、学びが多々あった。
採用時に大事にしていることは、その人が事業に共感できること。 #techlion
— 林 正紀 (のりぃ) (@m_norii) 2017年2月22日
エンジニアであっても、技術はすっげぇできます、でも御社のサービスには興味ありません、では流石に厳しいと。
これは自分が過去の採用面接で取ってきた人と重ね合わせても全く同じ印象。
メルカリはメルカリやってない人は取らないっていってたな。
あと、最後のQ&Aで、評価についての質問がでたところのくだり。
定量的な評価は無理。大事なことは納得感。 #techlion
— 林 正紀 (のりぃ) (@m_norii) 2017年2月22日
いかに事前に期待値を伝えるか。 #techlion
— 林 正紀 (のりぃ) (@m_norii) 2017年2月22日
定量的な評価をすることがはたして幸せになるのか。 #techlion
— 林 正紀 (のりぃ) (@m_norii) 2017年2月22日
うちの会社もちょうど評価シーズンなので、
その手のイベントをやっているけど
正直なかなか難しいと思っている。
僕の意見も、定量的な評価に寄せすぎるのは危険だと思っていて
定量をクリアするのが目的になってしまう人が少なからずいるから。
ただ、政治的な理由で、どうしてもそういったものを付けなければいけないことはあるので
それはもう「必要悪」と割り切って、あとは定性的な部分を 1on1 でしっかり伝える、しかないんじゃないかなと思っている。
そういえば、最近読んだこの本も面白かった。
開発現場がアジャイルなら、評価もアジャイルに、てのはわかりやすい話だなと思った。
自分も6社いままで渡り歩いてきて、満足できる評価制度に出会ったことがない。
もしかしたら、この本にあるようなドラスティックな方針転換がそろそろ必要なのかもしれない。
2017-02-03 第2回 セキュリティ共有勉強会
https://intra-security.connpass.com/event/47638/
#intra_security
参加してきました。
いつもどおり、雑多なmemo。
@a_okusan:添付ファイルと暗号化とその意味
メールの添付はやめてクラウド使おうという話。
ただ、世の中には無意味にクラウドアレルギーな人がいるんすよなぁ。。。
そこをどう説得するかが大事な気がする。
@5470v8:CSIRTでなくても回る仕組みづくり(仮題)
とても良い発表だったのだが、
残念ながらご本人の意向であまりこういうところには書かないでほしいようなので。
資料は修正した後に公開する、といっていたような記憶があるので、それに期待。
q09029 : 社会人による衛生開発の実情と情報リスクの共有
なんかすごいことしてる人がいるんだな、とちょっと面食らった。
アマチュア無線は暗号化しちゃいけないだね。
@1samuraiboy:セキュリティ投資の必要性を経営層に納得してもらった方法
セキュリティ意識を高めた3つの方法
現状を認識してもらう
事例共有・・・やっぱこれが鉄板だよな。うん。
経営陣に通じる言葉で話す。
ビジネス的にどうなるか?を話す。
経営陣が知りたいこと
うちのセキュリティ対策は大丈夫か。
@usiusi360:脆弱性スキャナVulsを使ってDevSecOpsを実践!
脆弱性チェックの自動化。。。確かに人力はつらい
「見えないことはコントロールできない」
Vuls特徴
非破壊で安全にスキャン
日本語レポート、すげぇ大事。
いいな。使ってみたい。
OSC Tokyo 3/10(金)に発表あるとのこと。行きたいけど平日か。。。
仕掛けとしては、yum等のchange logをみてるんだ。なので、負荷はあまり無いとのこと
(sudo権限必要)
・・・てことは、手動でソースから入れたやつとかは厳しそう。
メールは1通1通くるらしい、たくさんくるとあれだな。。。
エージェントモードのメリット
→SSHが不要なこと。SSH直接できないサーバをスキャンするとか。
LT
(1)インフラ屋がPostfixのTLS化で困った話
https://speakerdeck.com/hirofumihida/trouble-with-enabling-tls-on-postfix
(2)メールフィルタの話
https://docs.google.com/presentation/d/1-UHs3ch6lTv9-Lv8WIhS5-ryyIWnDV7q5Zlb5IxB9Ng/edit#slide=id.p
サンドボックスのパターンのものを入れた
質疑応答で聞いたんだけど、やっぱそれでもぬけるケースも多いんだなぁ。
2017-02-01 MySQL Casual Talks vol.10
https://mysql-casual.connpass.com/event/48473/
参加してきた。
途中でPCのバッテリーが切れてしまって、あまりmemoできなかった。。。
@myfinder
MySQL Casual 運営についての話
Slack運営について
意外と日本語圏外の人もいる
@meijik
MySQLの限界に挑戦する(?!)
超大作なSQLや再起なストアドは限界を見る可能性があると。
@tmtms
MySQLの文字コード事情 2017版
http://www.slideshare.net/tmtm/mysql-2017
とても丁寧でわかりやすかった。
それにしても、絵文字の照合問題を考えると
現行は utf8mb4_bin しか選択できないかなぁ。と思った。
utf8mb4_japanese_ci(?)に期待。
あと、クライアントがutf8(not mb4)だと、サーバ側がutf8mb4でも化けるの
よくよく考えりゃそりゃそうなんだが、前ハマったのそれか。。。と既視感があった。
@mita2
MySQL Group Replication - MySQL Casual Talk vol.10
http://www.slideshare.net/satoshimitani71/mysql-group-replication-mysql-casual-talk-vol10
Group Replication良さげだがまだハマりどころがありそう。
もう少しこなれてからかな。
@yoku0825
MySQLアンチパターン
https://yoku0825.blogspot.jp/2017/02/mysql-casual-talks-vol10mysql.html
安定のyokuさんw
今回も楽しませてもらいました。
個人的には、いくつか身に覚えがあるところがあり、gkbr
あと、SQLの可読性問題、これを気にもっと認識されてほしい。
@soudai1025
Webサービスが成長するとロックで苦労する話
soudaiさんの発表も聞いてて楽しい。
ロックはほんとねぇ。。。はまりますよねぇ。。。
ソシャゲやってたときはほんと辛かった。。。
@bizstationcorp
Transactd 高速・高機能なNoSQLプラグイン
http://www.slideshare.net/bizstation/transactd-nosql
知らなかったけど、使い所絞ればパフォーマンスでそう。
RDSでも使えるのかしら。
@bringer1092
Zabbix+group replication
http://www.slideshare.net/bringer1/zabbixgroup-replication-71666508
構成方法がかなりの苦労を感じた。。。
うちのZabbixも。。。そろそろ。。。なぁ。。。
@songmu
Test::mysqldの話
やぱデータも込みでTestしたいってのは完全にAgree。
ただ、そもそもこういうシステムテストする文化が根づいてないとなぁ。。。うーむ。
@i_rethi
Advent Calendarの補足的な話
低レイヤーの話。自分が苦手なところであまり理解できなかった。くぅ。
@kamipo
知って得しない Active Record Issues (MySQL編)
http://kamipo.github.io/talks/20170201-mysqlcasual10/#/title
kamipoさんのコントリビュート力すげぇ。。。
2017-01-30 SRE Tech Talks #2
SRE Tech Talks #2
https://eventdots.jp/event/609456
参加しました。
雑だけど個人memo。
■株式会社メルカリ - SRE 久保達彦 @cubicdaiya
On-call Engineering
https://speakerdeck.com/cubicdaiya/on-call-engineering
SRE 当番制のもろもろの仕組みをエンジニアリングで解決
Slack botにて。勤怠、緊急連絡
PagerDuty APIとGoogle Apps Script(スプレッドシート)を活用
質疑応答
・だいたい4,5人で回している
・頻度は1ヶ月に1回も無いくらい(直近は2、3ヶ月前)
■サイボウズ株式会社 運用本部・サービス運用部・SRE 深谷敏邦 @toshi_pp
cybozu.com のデータバックアップとリストア、それを活用したリハーサル
SREとバックアップ
できるだけ安全にやるために
事前レビュー
ペアオペレーション
(第6感で「危ない」と気づく人がいるw)
バックアップ。あると「安心感」
DM Thin Provisioning(dm-thinp)を活用
バックアップを実際に使うことは99%使わない
アップデートのリハーサルで利用
■クックパッド株式会社 インフラストラクチャー部 SRE グループ長 星 北斗 @kani_b
cookpad.com 全 HTTPS 化の軌跡
SRE/情シス/セキュリティ がグループ別れている
SREグループは9名
動機
セキュリティ、非SSLなログインフォーム(ポップアップダイアログなど)
暗号化の必要性
保護したい情報は利用者が決められるべき
前提として通信は暗号化する
外圧:ATS、Chrome、検索エンジンなど
新技術:HTTP2、ServiceWorker、使い分けの煩雑化→使い分けは事故の元
懸念
広告・・・HTTPS対応してないものもあった
対応
とにかくmixedコンテンツへの対応がほぼんど
CSP使うとエレガントに対応できる
protocol-relative なURL(//から始まるやつ)に変更
全社への説明重要 色んな人をまきこむので、コミュニケーション重要
httpd.confのURL rewriteへの対応
集計系に影響する可能性あり
セキュアクッキーとHSTS対応が残ってる
■株式会社ミクシィ XFLAG™スタジオ ゲーム開発室 SREグループ 清水 勲 @isaoshimizu
SREグループができてこの半年間やってきたこと
https://speakerdeck.com/isaoshimizu/sregurupugadekitekofalseban-nian-jian-yatutekitakoto
PagerDuty使っている
MySQLチューニング
innodb_io_capacity
innodb_spin_wait_delay
OSアップデート
THP と NUMAの設定要注意
■さくらインターネット株式会社 技術本部エンジニア 山田修司 @uzyexe
Arukasの運用事例と、末永くインフラ運用していくためのTips
Arukas:Docker Hostingサービス
利益と信頼関係の両立
「Hope is not a storategy」(SRE本)
PagerDutyを利用
「インフラに強いエンジニアが少ない」「アプリエンジニアの方が多い」
品質のために「入場制限」をかける
可用性における問題:ヒューマンエラー