Top

投稿日: 2018年10月10日 2019年5月23日
投稿者: morita

data-analyzer.net
スモールデータのホームページへようこそ！

非数学的

　パソコン性能の向上、マイニングツールとマイニングテクニックの進歩、インターネット上でのデータ公開の普及が進んだ結果、ビッグデータあるいはマイニングということばが日常的に使われるようになりました。小学生時代から算数・数学が苦手な私ですら分析・マイニングツールを活用すれば「なんか知らんけど」結果を導き出すことができるわけです。

　その流れに乗ってか、かくして私自身もデータ分析・マイニングが生業となりました。小売店や飲食店の売上・顧客データなどを分析してレポートすることを主な業務にしています。

　生業とはいえ分析・マイニングツールが何をどのように計算しているのか？いまだに多くの疑問があります。この疑問についてインプットするデータを変化させてアウトプットの変化を観察する推論方法で「なんか知らん」ことを「なんとか知ろう」と考えました。（数学の学びなおしは、はじめからあきらめました。）

　ところがこのような推論方法でアウトプットの変化を観察しようにも、インプットデータがビッグになるとデータの内容を少々変えたところでアウトプットがまったくと言ってよいほど変化しない！のです。分析対象データがビッグ、分析対象データの期間が長いほど短期間の変動が、売上高が大きいほど特殊な商品の売上変動がビッグなデータに飲み込まれてしまいます。スモールな世界で起こっているダイナミズムがビッグな世界では表現されないという現象です。

　そこで、ビッグだと変化しないのならばスモールなら変化するだろうと考えました。分析・マイニングするまでもなく一見すれば結果がみえるほどのスモールデータをインプットしアウトプットがどのように変化するのかを観察することで分析・マイニングツールが何をしているのかを推論し、さまざまな分析手法が活用できるであろうシーンを、非数学的・・・よくいえば実践的・・・に解説しています。

スモールデータもうひとつの意味

　ビッグデータを分析すると必ず妙なデータが含まれてることがわかります。例えば、国語は100点、算数は20点のテスト。平均という分析手法なら60点だから妙なデータではありません。ところが、国語を横軸、算数を縦軸にした散布図にこのデータをプロットすると妙なデータだということがわかります。

　分析・解析的に、このような妙なデータはエラー値とか外れ値として除外しても構わないとされているようですが、実践的には非常に重要な意味をもつことがあります。

　データ分析結果は経営判断に活用されることが多く、国語は100点、算数は20点のテスト結果から合計平均が60点だからＯＫとするのか、もっと算数をがんばろうとするのか、経営者がどのような判断を下すのかは自由です。ただ判断する材料として平均60点という分析結果しかないばあい経営者の選択肢は狭まります。

　スモールデータもうひとつの意味は、ビッグのなかにあるスモールな領域、平均、標準偏差、トレンドから距離がある領域のことです。　

このサイトについて

プライバシーポリシーをご覧ください。

・使用している分析ツール
　使用しているマイクロソフトエクセル・パワーポイント、タブロー、画像制作ソフト等の有償ツールについてすべて正規ライセンスを所有しています。Ｒ、KHCorder等の無償オープンツールも活用させていただきます。

・掲載している画像
　各分析ツールからアプトプットされたもの、個人ＰＣのスクリーンショットを加工したもの、個人撮影したものを掲載しています。

・データ利用、引用、リンク
　データ利用、引用、リンクは、その元サイトのポリシーに抵触しないように活用させていただきます。また、引用元を明示してあります。
引用元のサイト等を運営されている皆様に感謝申し上げます。
　サンプルデータは自作、または、元データを加工・抽出したものです。スーパーマーケットのデータを多く使用しているのは、ポイントカード等で顧客管理をしている、顧客の来店・リピート頻度が高い、アイテム数が多いからです。各種分析手法を説明するのにはうってつけだからです。

新着情報

small data

KHcoder

KHcoder コーディング編

データで豆知識

非数学的

スモールデータもうひとつの意味

このサイトについて

KHcoder　コーディング編