とにかく、ひたすら

普段の生活で考えたことを「とにかく、ひたすら」書きためていきます。主に読書感想、ライフハック、英語学習や野球を扱います。

「ビッグデータの正体」でビッグデータを学ぶ

ビッグデータって何?というのを学ぼうと思い「ビッグデータの正体」という本を読みました。正体暴いてやります。

ビッグデータの正体 情報の産業革命が世界のすべてを変える

ビッグデータの正体 情報の産業革命が世界のすべてを変える

 

 

ビッグデータの正体 情報の産業革命が世界のすべてを変える

ビッグデータの正体 情報の産業革命が世界のすべてを変える

  • 作者: ビクター・マイヤー=ショーンベルガー,ケネス・クキエ
  • 出版社/メーカー: 講談社
  • 発売日: 2013/07/05
  • メディア: Kindle版
  • この商品を含むブログを見る
 

 

ビッグデータは限りなくすべてのデータを扱う

大量のデータを扱える技術、環境、ノウハウが培われる以前は、必要最小限のデータを使って、最大の知見を得るという統計学が非常に重要だったようです。

つまり、統計的なサンプリングで一部のデータを使って分析をするということですね。

選挙時の出口調査とか内閣支持率みたいなのはこれですかね。無作為にサンプリングするというのが重要ですね。この「無作為」というのが意外と難しいんだと、本書でも述べられていました。 

それが、コンピュータの計算能力の向上や、データ格納容量の増加、大量データを扱うノウハウ、仕組みが確立してきたことで、「無作為にデータをサンプリングするのが難しいなら、データを全部集めて、全データを分析すればいい!」となったんですね。

量さえあれば精度は重要ではない

全部のデータを扱うとなると、私なんかは、「悪意のあるデータなんかが入ったりするんじゃないの?」「その分析結果って正確なの?信じて判断していいの?」とか考えてしまいます。

それに対してのビッグデータの位置付けとしては、次のように本書では述べられてました。

数字から精度を読み取るのではなく、確率を読み取るのがビッグデータ

正確=メリットという考え方を改める必要がある

反省します。

分析するツールがいくら発達しても、その結果をどのように解釈するかは最終的には人に依存するということですね。

「データは確率的には XXXX という戦略をとる方がうまくいくと示しています。」と言われて判断するこれからの経営者は、ビッグデータに関するある程度の知識が求められそうですね。そうした人に助言できるような、データサイエンティストと呼ばれるような人たちは今後も重宝されるんでしょうね。

 

スポンサーリンク

 

因果関係ではなくて相関関係が重要になる

ビッグデータは相関関係を示すためのもので、因果関係を示すものではないということのようです。

なるほどです。「ロジカルシンキング=因果関係を見つける」と考えがちですが、ビッグデータはそういう類のものではないと理解する必要がありますね。

「XXXX が良いとデータは示しているのはわかったけど、それはなぜ?」という質問をするのはナンセンスなんですね。それに対する答えは、「データがそう言っているから」でしかないということです。  

データのインプットが大事

クズのデータからはクズの結果しか出ない

という引用がありました。

アウトプットしたい内容にふさわしいデータかどうかの見極めが大事なんですね。

これは、先日読んだ下記にも書いていた気がします。 

tossk.hatenablog.com 

ビッグデータを正しく扱える人材、制度が必要

ビッグデータを使う人にはビッグデータを正しく扱うための能力や制度が必要になります。

人間の行動の予測が正確になっていく。実際の行為ではなく、予測される行為で人を判断する誘惑にかられる。

怖いですね。

もし、自分の過去の行動データが、「この人は犯罪を犯す可能性がある」と判断してしまった場合、このデータを扱う人(例えば警察)が、「事件が起こる前に捕まえよう」 と判断してしまったり、それを許すような法制度だとしたら、せっかく世の中を便利にするための技術によって生きにくくなってしまいます。

事前に起こる問題を防止するという点では良いとも考えられますが、ビッグデータはあくまで「起こる可能性がある」ことを示すので、起こった事実ではないですからね。

ビッグデータを正しく扱う制度が必要です。 

ビジネスに役立つデータ分析(R 統計分析)を学ぶ年末

年末で時間があるので、以前から興味があった Rによる統計分析について勉強を始めました。全くの初心者です。新しいプログラミング言語を学ぶのも数年ぶりというレベルです。

下記の書籍を使いましたが、初心者には丁度良い内容でした。

楽しいR ビジネスに役立つデータの扱い方・読み解き方を知りたい人のためのR統計分析入門

楽しいR ビジネスに役立つデータの扱い方・読み解き方を知りたい人のためのR統計分析入門

 

 

 

学ぶより慣れろというモットーという印象を持ちました。

相関分析、クラスター分析、ロジスティック回帰など実際のビジネスで使われる手法を、実際のサンプルデータと、サンプルコマンドを使って学んでいける章立てになっています。

私のような超初心者向けに、統計学の入門についても要所要所で解説してくれています。この本をとっかかりに、Rの入門書や、統計学の入門書にステップアップしていきたいと思います。年始も時間はありますしね。

 

書籍の中では、 環境準備としてWindows 環境へのインストール、セットアップ方法、コマンド実行例が紹介されていますが、私は MAC OS 上で実行しました。

最初のインストールさえしてしまえば、コマンドのよみかえは全く問題ない範囲です。(サンプルデータのパスのよみかえくらい) 

 

スポンサーリンク

 

Rのインストール

下記のサイトで、お使いのMAC OS のバージョンにあったものをダウンロードします。

R for Mac OS X

ファイルをクリックして、お馴染みのインストール画面に従って進めるだけです。

 

Rの起動

ランチャーに表示されているRを実行すると次のような画面が出てきます。これで、本の内容を進める準備は完了です。

 

f:id:toru-ssk:20151231155030p:plain

 

目次

第1章
とっつきにくいけど実はExcel 以上に賢いヤツ
フリー統計解析ソフトウェア「R」を触ってみよう

 

第2章
Rで分析を始める前に
データに異常値がないかを確認しよう

 

第3章
時系列データを分析すると何がわかる?
時系列分析を使ったデータ分解で「変動要因」の特定に挑戦!

 

第4章
Rのパッケージを使って
イケてるグラフをサクッと作成しよう

 

第5章
正しい分析手法を選ばないと時間のムダ
顧客属性とコンバージョンデータを使って、打ち手を効率よく考える

 

第6章
「ダミー変数」でデータをまとめてクラスター分析
単位が違うデータは「標準化/基準化」でGo!

 

第7章
どれだけ○○したら◎◎できるのか?
数値による定量化で「因果関係」を分析する

 

第8章
総まとめ!
コンバージョンに影響を与えたコンテンツは何かを分析してみよう

 

付録
豊澤栄治(ロックオン)×井端康(アトラエ)
ツールを使いこなすだけでなく、さらに高いレベルを目指したい。

 

スポンサーリンク

 

Evernoteを活用した 出かける前のチェックリスト

寒い地域に2日間の出張、暑い地域に5日間の旅行、などいろんなシチュエーションで出張や旅行に出ることがあると思います。

 

今まではその都度、直前になって、「何を持っていけば良かったっけ?」と持ち物リストを作って荷造りをしたり、必要な手続きをしていました。

 

でも、次のような経験はないでしょうか?

  • 「新聞配達を停止する以外に、家を空ける前に何かすることなかったっけ?」
  • 「そういえば電気消したかな?」
  • 「もしかしたら、エアコンつけたままだったかも?」

こういうことを考え出すと不安な気持ちを抱えたまま出発することになるので、せっかくの楽しい旅なのに楽しくない。もちろん、すぐ忘れるので不安な気持ちの最初の数分くらいですが、それでもせっかくの楽しみな旅や、やる気を出して出かけないといけない出張なのに、これではスタートに失敗していますよね。

 

そこで参考にしたのが、Evernoteで、あらかじめいろんな種類のチェックリストを作っておくというものです。

参考にしたのはこちら

基礎シリーズ: チェックリストの使い方 - Evernote日本語版ブログ

 

例えば、旅行に出かけるときに参考にする持ち物はこんな感じです。

 

f:id:toru-ssk:20150226223950p:plain

 (スキンケアクリームって男なのに女子力高い!って思われそうですが、ホテルの部屋とか乾燥するので、乾燥肌の私には厳しいんですよねー)

 

スポンサーリンク

 

 

ただし、これ以外にも持って行く必要のあるものが増える場合もあるので、リストはそのまま使わずに、毎回使用時に、これ以外に必要なものがないかをチェックします。

旅をしていて、「あー、あれ忘れた!」というときには、リストを更新します。

Evernote で作っているので、リストもその場で更新できます。

 

おそらく、「面倒くさい!」「そんなことしなくても現地で買えばいい!」「リストを考えるのも楽しいのに!」と考える人もいると思います。

そこは、考え方だと思いますが、私は余計な心配したくないので、毎回こういうものに頼らせてもらっています。

 

以上、ありがとうございました!