Hexoでソースファイルもデプロイする

Knowledge ManagementHexo
Hexo

参考

方法

関連する記事 に記載された通り、extend_dirsを指定すればよい。 以下のようにした。

1
2
3
4
5
deploy:
  - type: git
    repo: <git repository url>
    branch: gh-pages
    extend_dirs: source
共有

IEEE BigData 2018の気になった論文を列挙する

ResearchMachine Learning
IEEE, Machine Learning, Paper

参考情報

全体の傾向

  • 基盤というより、アルゴリズム、アプリケーション層
  • 一部ユースケースを想像させるものもある

気になった論文リスト

L1 Scientific Data Management

  • BigD529 Cloud based Real-Time and Low Latency Scientific Event Analysis Chen Yang, Zhihui Du, and Xiaofeng Meng

L3 Semantic-based Data Mining

  • BigD483 A Data-Centric Approach for Image Scene Localization Abdullah Alfarrarjeh, Seon Ho Kim, Shivnesh Rajan, Akshay Deshmukh, and Cyrus Shahabi
  • BigD753 Improved Dynamic Memory Network for Dialogue Act Classification with Adversarial Training Yao Wan, Wenqiang Yan, Jianwe

L4 Big Data Applications: Machine Learning

  • BigD526 A Minimax Approach for Classification with Big-data Krishnan Raghavan, Jagannathan Sarangapani, and VA Samaranayake
  • BigD445 Transfer learning for time series classification Hassan Ismail Fawaz, Germain Forestier, Jonathan Weber, Lhassane Idoumghar, and Pierre-Alain Muller

L5 Novel Theoretical Models for Big Data

  • BigD357 Linear Models with Many Cores and CPUs: A Stochastic Atomic Update Scheme Edward Raff and Jared Sylvester
  • BigD580 Time Series Classification Using a Neural Network Ensemble Soukaina Filali Boubrahimi and Rafal Angryk

L6 Big Data Analytics Frameworks

  • BigD336 Online Density Estimation over Streaming Data: A Local Adaptive Solution Zhong Chen, Zhide Fang, Jiabin zhao, Wei Fan, Andrea Edwards, and Kun Zhang
  • BigD397 Learning-based Automatic Parameter Tuning for Big Data Analytics Frameworks Liang Bao, Xin Liu, and Weizhao Chen

L9 Recommendation Systems and Stream Data Management

  • BigD626 StreamGuard: A Bayesian Network Approach to Copyright Infringement Detection Problem in Large-scale Live Video Sharing Systems Daniel Zhang, Lixing Song, Qi Li, Yang Zhang, and Dong Wang
  • BigD600 BigSR: real-time expressive RDF stream reasoning on modern Big Data platforms Xiangnan Ren, Olivier Cure, Hubert Naacke, and GuohuiXiao

L11 Big Data Applications: Industry and Business

  • BigD528 Mining Illegal Insider Trading of Stocks: A Proactive Approach Sheikh Rabiul Islam, Sheikh Khaled Ghafoor, and William Eberle
  • BigD547 Profiling Driver Behavior for Personalized Insurance Pricing and Maximal Profit Bing He, Dian Zhang, Siyuan Liu, Hao Liu, Dawei Han, and Lionel M. Ni
  • BigD685 An Unsupervised Learning Based Approach for Mining Attribute Based Access Control Policies Leila Karimi and James Joshi
  • BigD285 Realtime Robustification of Interdependent Networks under Cascading Attacks Zhen Chen, Hanghang Tong, and Lei Ying
  • BigD643 Situation-Based Interaction Learning for Personality Prediction on Facebook Lei Zhang, Liang Zhao, Xuchao Zhang, Wenmo Kong, Zitong Sheng, and Chang-Tien Lu

L12 Big Data Applications: Health & Science Discovery

  • BigD653 Technology Enablers for Big Data, Multi-Stage Analysis in Medical Image Processing Shunxing Bao, Prasanna Parvathaneni, Yuankai Huo, Yogesh Barve, Andrew Plassard, Yuang Yao, Hongyang Sun, Ilwoo Lyu, David Zald, Bennett Landman, and Aniruddha Gokhale
  • BigD456 A Structured Learning Approach with Neural Conditional Random Fields for Sleep Staging Karan Aggarwal, Swaraj Khadanga, Shafiq Joty, Louis Kazaglis, and Jaideep Srivastava
  • BigD402 Dynamic Prediction of ICU Mortality Risk Using Domain Adaptation Tiago Alves, Alberto Laender, Adriano Veloso, and Nivio Ziviani
  • BigD353 Large-Scale Validation of Hypothesis Generation Systems via Candidate Ranking Justin Sybrandt, Micheal Shtutman, and Ilya Safro
  • BigD354 Are Abstracts Enough for Hypothesis Generation? Justin Sybrandt, Angelo Carrabba, Alexander Herzog, and Ilya Safro

L14 HPC Platforms for Big Data

  • BigD294 Column Cache: Buffer Cache for Columnar Storage on HDFS Takeshi Yoshimura, Tatsuhiro Chiba, and Hiroshi Horii
  • BigD431 Scalable Manifold Learning for Big Data with Apache Spark Frank Schoeneman and Jaroslaw Zola
  • BigD598 Mira: Sharing Resources for Distributed Analytics at Small Timescales Michael Kaufmann, Kornilios Kourtis, Adrian Schuepbach, and Martina Zitterbart

L17 Big Data Applications: Deep Learning

  • BigD406 Two Birds with One Network: Unifying Event Prediction and Time-to-failure Modeling Karan Aggarwal, Onur Atan, Ahmed Farahat, Chi Zhang, Kosta Ristovski, and Chetan Gupta
  • BigD292 Market Abnormality Period Detection via Comovement Attention Model Yue Wang, Chenwei Zhang, Shen Wang, Philip S. Yu, Lu Bai, and Lixin Cui
  • BigD298 Optimizing Taxi Carpool Policies via Reinforcement Learning and Spatio-Temporal Mining Ishan Jindal, Zhiwei (Tony) Qin, Xuewen Chen, Matthew Nokleby, and Jieping Ye

L18 Mobile and IoT Data

  • BigD371 Enabling of Predictive Maintenance in the Brownfield through Low-Cost Sensors, an IIoT-Architecture and Machine Learning Patrick Straus, Rene Wostmann, Markus Schmitz, and Jochen Deuse
  • BigD240 Using Smart Card Data to Model Commuters' Response Upon Unexpected Train Delays Xiancai Tian and Baihua Zheng
  • BigD542 Hot Spot Analysis for Big Trajectory Data Panagiotis Nikitopoulos, Aris-Iakovos Paraskevopoulos, Christos Doulkeridis, Nikos Pelekis, and Yannis Theodoridis
  • BigD722 Fusion of Terrain Information and Mobile Phone Location Data for Flood Area Detection in Rural Areas Takahiro Yabe, Kota Tsubouchi, and Yoshihide Sekimoto
  • BigD296 Benchmarking Anomaly Detection Algorithms in an Industrial Context: Dealing with Scarce Labels and Multiple Positive Types David Renaudie, Maria A. Zuluaga, and Rodrigo AcunaAgost

L22 Privacy and Security

  • BigD247 Distributed Machine Learning Meets Blockchain: A Decentralized, Secure, and Privacy-preserving Realization Xuhui Chen, Jinlong Ji, Changqing Luo, Weixian Liao, and Pan Li

S1 Big Data Infrastructure (1)

  • BigD291 Analyzing Alibaba's Co-located Datacenter Workloads Yue Cheng, Ali Anwar, and Xuejing Duan
  • BigD735 Spark-uDAPL: Cost-Saving Big Data Analytics on Microsoft Azure Cloud with RDMA Networks Xiaoyi Lu, Dipti Shankar, Haiyang Shi, and Dhabaleswar K. (DK) Panda
  • BigD381 Integrated Real-Time Data Stream Analysis and SketchBased Video Retrieval in Team Sports Lukas Probst, Fabian Rauschenbach, Heiko Schuldt, Philipp Seidenschwarz, and Martin Rumo

S5 Big Data Infrastructure (2)

  • BigD252 Serverless Big Data Processing using Matrix Multiplication as Example Sebastian Werner, Jorn Kuhlenkamp, Markus Klems, Johannes Muller, and Stefan Tai

S6 Big Data Applications (2)

  • BigD535 Short-term local weather forecast using dense weather station by deep neural network Kazuo Yonekura, Hitoshi Hattori, and Taiji Suzuki

S12 Recommendation Systems & Stream Data Mining

  • BigD383 Learning Fast and Slow - A Unified Batch/Stream Framework Jacob Montiel, Albert Bifet, Viktor Losing, Jesse Read, and Talel Abdessalem

I&G Regular3: Big Data Platforms & Frameworks

  • N211 Learning to Simplify Distributed Systems Management Christopher Streiffer, Ramya Raghavendra, Theophilus Benson, and Mudhakar Srivatsa
  • N259 Finding Data Should be Easier than Finding Oil Evgeny Kharlamov, Martin Skjaeveland, Theofilos Mailis, Ernesto Jimenez-Ruiz, Guohui Xiao, Ahmet Soylu, Hallstein Lie, and Arild Waaler

I&G Short3: Big Data Algorithms & Systems (2)

  • N222 Using Real-World Store Data for Foot Traffic Forecasting Soheila Abrishami and Piyush Kumar
  • N218 Distributed NoSQL Data Stores: Performance Analysis and a Case Study Abdeltawab Hendawi, Jayant Gupta, Liu Jiayi, Ankur Teredesai, Ramakrishnan Naveen, Shah Mohak, and Mohamed Ali
共有

dein on windows

Knowledge Managementvim
dein, vim, windows

参考

Windows環境でのKaoriya版のvimへのインストール

基本的な手順

基本的には、 windows10にdein.vimをインストールする手順を示したブログ に記載の方法で問題なかった。 ただし、vim81系でないと正常動作しないことに注意。（一度、うっかり74系で使ってしまった）

ただ_vimrcに追記する設定のうち、PATHはインストーラで出力されたものではなく、 「~」を使って相対PATH指定にした。

例:

1
2
3
4
" Required:
set runtimepath+=~/vimfiles/bundles/repos/github.com/Shougo/dein.vim

(snip)

設定

今のところの設定は、 dein.vimインストール手順や_vimrcをまとめたレポジトリ に格納した。→ _vimrc

END

共有

Autonomous Database of Oracle

ClippingCloud
Autonomous Database, Cloud, DB, Oracle

「AWSのDBより速くて安い」―ラリー・エリソン氏がAutonomous Databaseを全力で解説

Oracle Cloud Infrastructure第2世代の利点の説明。

Autonomous Databaseは人間によるチューニングよりも効果的だという話。

共有

WordからMarkdownを生成する

Knowledge ManagementDocumentation
Markdown, Word, pandoc

ドンピシャのQiitaの記事 があったので 手元の環境で真似したところ、悪くない結果が得られた。

コマンドだけ引用すると以下の通り。

1
pandoc hoge.docx -t markdown-raw_html-native_divs-native_spans -o hoge.md
共有

IEEE BigData 2017の気になったものメモ

ResearchMachine Learning
IEEE, Machine Learning, Paper

  • BigD635 Lei Huang, Weijia Xu, Si Liu, Venktesh Pandey, and Natalia Ruiz Juri, Enabling Versatile Analysis of Large Scale Traffic Video Data with Deep Learning and HiveQL

    • https://ieeexplore.ieee.org/document/8258041
    • HiveとSparkのプラットフォーム上で動く分析フレームワーク（？）
    • 論文では車の検知（シーン検知？）を試す例が載っているようだ。
    • 後で論文読む

（追々追記予定）

共有

不揮発性メモリに関連する情報源調査

ResearchNVM
NVM, Paper

まとまった情報が得られる情報源

  • http://pmem.io/
    • 引用: This site is dedicated to persistent memory programming.
  • https://docs.pmem.io/
    • 引用: Background information, getting started guide, etc
  • https://www.snia.org/
    • 引用: The SNIA is a non-profit global organization dedicated to developing standards and education programs to advance storage and information technology.
  • https://www.imcsummit.org/
    • 引用: The only industry-wide events, the In-Memory Computing Summits focus on IMC-related technologies and solutions.
  • https://www.usenix.org/
    • 引用: Since 1975, USENIX, the Advanced Computing Systems Association, has brought together the community of engineers, system administrators, scientists, and technicians working on the cutting edge of the computing world.

日本国内ニュースの例

  • https://pc.watch.impress.co.jp/docs/news/1122322.html
    • タイトル: Intel、DRAMを置き換える3D XPoint NVDIMMを年内投入
  • https://pc.watch.impress.co.jp/docs/news/1137634.html
    • タイトル: Intel、DRAMを超える高コスパメモリ「Optane DC Persistent Memory」を出荷。Googleが採用
  • https://tech.nikkeibp.co.jp/atcl/nxt/column/18/00001/00492/
    • タイトル: Persistent Memoryの能力引き出す、MSやSAPがインテルに協力
  • https://pc.watch.impress.co.jp/docs/news/1151589.html
    • タイトル: Micron、容量32GBのサーバー向けNVDIMM
  • http://jbpress.ismedia.jp/articles/-/55099
    • タイトル: 東芝メモリに期待！ NAND高密度化のイノベーション
  • https://pc.watch.impress.co.jp/docs/column/semicon/1160009.html
    • タイトル: 最先端マイコン/SoC向けで復活する相変化メモリ
  • http://techtarget.itmedia.co.jp/tt/news/1812/11/news05.html
    • タイトル: 東芝メモリ、YMTC、SK Hynixが語る、NANDフラッシュメモリの最新テクノロジ
  • https://pc.watch.impress.co.jp/docs/news/event/1157164.html
    • タイトル: 3次元クロスポイント構造で128Gbitの大容量不揮発性メモリをSK Hynixが開発

着目したカンファレンス、ペーパー

いくつかの項目については、ポイントとキーワードを記載する。

USENIX

Google schalarによる検索 等を利用して確認したいくつかの記事からピックアップする

  • Intel Andy Rudoffによるプログラミングモデルへの影響考察
    • 本文書ではDIMMなどシステムメモリバスに接続する不揮発性メモリを対象とする
      • なお、アクセスレイテンシがナノ秒オーダであることを前提とする
    • p.2にメモリアクセスのモデル図
    • CPUキャッシュを永続化領域に含むこともバッテリを積めば可能だが、それはいったんベンダの対応に任せる
    • （カーネルを経ずに）ユーザスペースでのフラッシュにより、永続化を行うことを「Optimized Flush」という。 ただしOptimized Flushは安全な時にのみ使われるべき
      • LinuxはDevice-DAXを提供。ファイルシステムを経由せずにアプリケーションが直接 不揮発性メモリを開ける
      • libpmemがいつOptimized Flushを使えるかのAPIを提供している ★要確認
    • いくつかの課題
      • アトミックな書き込み→読み出しについて（p.38）
        • インテルの場合8バイトまでならアトミックに扱える
        • 8バイトを超えるものはソフトウェアで担保必要
      • PM-Aware File Systemを用いる前提のため、スペースの管理が課題になる（p.38）
      • さらにロケーションに対して非依存であることもチャレンジ要素の一つ。 解決方法の見込みはいくつか存在（p.38）
    • 上記「いくつかの課題」の解決をもくろむライブラリ：NVML by Intel。
      • libpmem: Basic Persistence Support
      • libpmemobj: General-Purpose Allocations and Transactions
      • libpmemblk and libpmemlog: Support for Specific Use Cases
    • p.39にはlibpmemobj使用に関する簡単なC++の実装例
  • NoveLSM
    • LSM(Log-structured Merge Tree)-based KVSにおける不揮発性メモリの活用
    • 以下のオーバヘッドの改善を試みた
      • シリアライズ、デシリアライズ
      • コンパクション
      • ロギング
      • 並列読み出しの欠如
    • まずはLevelDBを改造して取り組んだ
    • （補足）ユースケースに関する議論はない
  • Caching or Not: Rethinking Virtual File System for Non-Volatile Main Memory
  • A persistent lock-free queue for non-volatile memory
  • LAWN: Boosting the performance of NVMM File System through Reducing Write Amplification
  • Persistent Octrees for Parallel Mesh Refinement Through Non-Volatile Byte-Addressable Memory
  • Memory and Storage System Design with Novolatile Memory Technologies
    • 概要：2015年にリリースされた招待論文であり、その当時の革新的なメモリとストレージのデザインを紹介するもの
      • 古い論文ではあるが、複数種類の不揮発性メモリに関する調査を実施したものであり、参考にはなる。 ★本記述は削除推奨
      • 本論文で取り扱う不揮発性メモリの種類：STT-MRAM、PCM、ReRAM
      • 不揮発性メモリの注意点は下記の通り
        • 耐久性、性能特性
      • 期待される役割は下記の通り
        • プロセッサキャッシュ、メインメモリ、ストレージ
        • さらに不揮発性メモリならではの使い方（MPPのチェックポイント置き場、など）も考えられる
    • SRAMとDRAMのスケーラビリティの限界（サイズアップ困難、消費電力（漏れ電力？）増大）に際したNVMのメリットを説明あり
    • 各アプローチが以下の各課題をどう解こうとしているかの解説。キーワードは以下の通り
      • スケーラビリティと効率
      • NVMの効果を最大化するためのリ・デザイン
    • STT-MRAM、PCM、ReRAMの特徴の紹介
    • 2.4節には各不揮発性メモリの比較
      • 不揮発性メモリの利点（従来のメモリと比べて…）p.4
        • PCMはスケールする
        • STT-MRAM、PCM、ReRAMは密度を高められやすい
        • リフレッシュ動作不要のため漏れ電力の面で有利。待機電力も低い。
      • 欠点 p.4
        • 3種類ともレイテンシが大きい。また書き込みの消費電力が大きい。（旧来のメモリと比べて）
        • PCM、ReRAMは耐久性が低い
    • 3章には製品の傾向が記載されている。
    • いくつかのデザインパターン ★要相談：という表現でよいか？
    • on-chipとoff-chip
      • on-chip: CMOSと不揮発性メモリを異なるダイに載せ、ダイをつなげられる
      • off-chip: いわゆるDIMMとして
    • インダストリではMicron、AMD、SK Hynixあたりが主に開発を手掛けていたことが言及されている
    • プロセッサキャッシュとして不揮発性メモリを用いるときの解説
      • SRAMはプロセッサキャッシュとして取り扱われる
        • STT-MRAMはキャッシュに適していると考えられる不揮発性メモリ。L2、L3キャッシュそれぞれに 用いてみる研究が行われ、一定の成果（性能、消費電力（漏れ電力？））が出ている、と考察
        • SRAMよりも消費電力（漏れ電力？）小さく、容量を大きくできる、というところがポイントである
      • 不揮発性メモリの高いレイテンシを補うため、SRAMとのハイブリッド構成も研究されている。
        • 書き込み側に低レイテンシなSRAM、読み出し側に低消費電力（漏れ電力）な不揮発性メモリ
        • 研究においては10-16%程度の性能改善（対SRAMのみ構成）が見られたと言及
      • CPUのプロセッサコアが多い場合、プロセッサコアとオフチップメモリ間のバンド幅が ボトルネックになりがちである。これに対し、ハイブリッドアーキテクチャを用い、 バンド幅の使い方を最適化する研究がある
        • 最大58%の性能改善があったと言及
      • PCMやReRAMは耐久性が低い。このためキャッシュに用いづらい。書き込み頻度を 抑える研究がある
    • メインメモリとして不揮発性メモリを用いるときの解説
      • メインメモリとして不揮発性メモリを用いる場合、期待するのはサイズの大きさと漏れ電力の小ささ。 *　ただ、PCMをそのまま使うと旧来のDRAMと比べて1.6倍遅く、2.2倍消費電力が大きい（書き込みの消費電力が大きな要因）
        • そこでいくつかの工夫を施す研究が存在している
          • 複数のバッファに分け、必要な部分だけ更新する手法
          • DRAMと組み合わせたPCM
            • 3倍は早くなった、との言及
          • プロセッサとメインメモリを同じチップに3Dスタックする手法
            • この手法は旧来のDRAMには難しい。電力と温度の関係で。
            • 旧来のDRAMと比べ、65%しか電力消費しないことを示した
      • そのほか、PCM、ReRAMの耐久性の低さに対する対策もいくつか研究されている
    • ストレージとして不揮発性メモリを用いる観点の議論
      • PCMの密度はディスクに匹敵するほど高くなる、と予測する研究もある。
      • NANDフラッシュ型のSSDの「ログリージョン」に不揮発性メモリを用いるというアイデアもある。
    • 不揮発性メモリ特有のデザイン
      • MPPのチェックポイント先としての利用
        • チェックポイントには25%程度のフットプリントになるのだが、これをPCMにすることにより、 4%に抑えることができた、というもの
      • 同様にチェックポイントを置く場所として活用するが、仮想メモリとしてアプリケーションに 見せる、という方式を取った研究もある。NVMをRAMディスクとして使う方式と比べ、 チェックポイント時間を15%減らせた、という結果が得られた
      • GPGPUにおいて消費電力の面で効率的なメモリヒエラルキーを実現できる
        • ある研究によると、STT-MRAMを用いた場合、4倍の密度を実現しながら、 3.5倍の消費電力（？）の低減に寄与した
    • Persistent Memoryとして不揮発性メモリを用いる
      • プロセッサの揮発性キャッシュと組みあわせたとき、Persistent Memory Systemを 実現するのは実は簡単ではない
        • ライトバックキャッシュやメモリコントローラによるリクエストのリオーダリングが生じるため。
        • 例えばリンクドリストにノードを追加するとき、先にノードのポインタを不揮発性メモリに書き、 その直後にクラッシュした場合、キャッシュ内にのみ存在したノードの値が失われる。 このため復旧が困難になる
        • ここではPersistent Memory Systemが満たすべき特性について記載。
          • Durability、Atomicity、Consistency
      • 旧来からあるファイルシステムやDBMSを改造
        • WAL、Copy-on-write（COW）
        • B-treeにCOWの仕組みを足した研究もある
        • ただWALとCOWはオーバヘッドがある。 そこでプロセッサのキャッシュとメインメモリのヒエラルキーを使い、 Atomicityを実現した研究もある。 ★要確認
      • ポイントはプロセッサで生じたリクエスト通りの並びで処理すること
        • ただメモリコントローラやキャッシュの仕組みが性能改善のために リオーダリングする可能性があること
        • そこで多くのPersistent Memory Systemは、キャッシュをライトスルーすることで、 順序を保証しようとする。つまり、プロセッサキャッシュをバイパスする。 また合わせてフラッシュ、メモリフェンス、msyncオペレーションを用いる
        • ただ、プロセッサキャッシュのバイパスは、データがメインメモリに到達するのを 待つしかなくなる またフラッシュやメモリフェンスはバーストを引き起こすし、キャッシュのフラッシュは 他のアプリケーションのワーキングメモリをはじき出す可能性がある
        • BPFSというファイルシステムは、エポックバリアを設けた。ただしデータ損失の可能性がある
        • p.8にいくつかの手法の比較表が載っている。
          • BPFS、Mnemosyne、…
      • In-place、Logging、…

Storage Developer Conference

Persistent Memory Summit 2019

https://www.snia.org/pm-summit

2019/1/24 @ Santa Clara, CA

  • Keynote: Realizing the Next Generation of Exabyte-scale Persistent Memory Centric Architectures and Memory Fabrics

    • Zvonimir Bandic, Senior Director, Research and Development Engineering, Western Digital Corporation
    • Big Data and Fast Data。アーキテクチャのダイバーシティ。（フォームファクタの差）
    • メモリファブリックのもたらす低レイテンシ（1.6 - 1.8 us）
    • メモリセントリックアーキテクチャ。つまり巨大なメモリに対し、多数の計算デバイスを接続するモデル p. 11
    • Persistent memoryのスケールアウト
    • さらなる低レイテンシ（500ns）のためにはプロトコルのイノベーションが必要

  • Persistent Memory Programming: The Current State and Future Direction Andy Rudoff, Member, SNIA NVM Programming Technical Work Group and Persistent Memory SW Architect, Intel Corporation

    • NVDIMMドライバを活用したプログラミングモデル

    • 標準ファイルシステムAPIを経由する場合、必ずファイルを開かないとならない。

    • DAXであればPMアウェアなファイルシステムAPIをスキップできる

    • https://pmem.io/pmdk/

    • https://github.com/pmem/pcj

      • PMDKのlibpmemobjを内部的に用いたJavaバインド

  • Persistent Memory over Fabrics (PMoF)

    • ユースケース

      • HA用のレプリケーション

    • リモートのPersistent Memoryを扱えるようになるとして、何を考えないといけないか

      • Streamline the API ... メモリオペレーションのように見せないといけない

      • 非同期的な管理

        • 永続化を明示的に管理する方法が必要
        • 既存のファブリックのプロトコルに対し、同期のタイミングを作りこむ必要がある

      • FAST DATA

  • Linux Persistent Memory Support - "Ask Me Anything"

  • Hype to Reality, a Panel Discussion with Leaders of Real World Persistent Memory Applications

  • Quick and Painless System Performance Acceleration Using NVDIMMs

    • p.2に2018時点でのPersistent Memoryの対応状況が示されている
    • まだまだ現実のワークロードで受け入れられる状態ではない
    • どうやったら適用が拡大するか？
      • ブロックエミュレーション
      • 複数層のアーキテクチャ
    • p.7にブロックIOのエミュレーションのイメージ図
      • Block Translation層が入っている
    • まとめ
      • ブロックエミュレーションとTieringによるNVDIMM利用は、アプリケーション変更せずに 性能面での恩恵を受けられる
      • より多くの適用につながるだろう、という考察

  • Future Media、Future Media2

    • カーボンナノチューブによるメモリ: NRAM
    • p.3に特長が書かれている
      • 読み書きはDRAM並み、スケーラブル、耐久性高い、漏れ電力も小さい（もしくはない）
      • 3Dスタックも可能との考察
    • p.6にNVDIMM-Nとの比較

  • Analysts Weigh In on Persistent Memory

    • いくつかのセッションで構成されていた。
    • How Persistent Memory Will Succeed
      • 3D NANDからの教訓 p.8
      • 結局DRAMと勝負になるくらい安くないと…
      • 「永続性」を使うためにはソフトウェアサポートが必要
        • そこでSNIAの出番
      • ただ、コストと性能の観点から用いる、というのが一般的
      • PCM ... 3D XPoint（Intel、Micron）
      • MRAM ... TSMC、サムスン、東京エレクトロン
      • FRAM
      • ReRAM ... TSMC、UMC
      • p.14に各種の比較が載っている
        • 補足：PCM（3D XPoint）の実際のレイテンシはもっと大きいのでは？と思ったが… ★要確認
    • Analyst Perspective - IT Client
      • 容量単価だけを気にするのであれば、テープを使うべき。
    • Persistent Memory Dinamics
      • 2008年あたりにStorage Class MemoryがHDDを置き換えると話題に上ったものの、 NAND型フラッシュSSDが流行り、SCMに対する市場の需要はいったん遅れた
      • 現在、バイトアドレッサビリティがSCMに足された
      • NVRAM
      • 2020年にはモバイルデバイスのDRAM、NANDを置き換えていくのではないか
      • トレンド
        • コグニティブコンピューティング
          • 大きなPersistent Memory
      • AIアルゴリズムはその計算時間を減らせるだろう
        • Processor In Memory

In-Memory Computing Summit

https://www.imcsummit.org/

IMC Summit Europe 2018

  • IN-MEMORY COMPUTING - UNLOCKING THE DIGITAL FUTURE
    • まとめ
      • ユースケースの具体例は載っていない
      • IMC（インメモリコンピューティング）の技術が2019年 - 2022年にかけて段階的に世の中に 受け入れられていく流れを説明
    • p.10にハーバードビジネススクールによるDigital Laggards、Digital LeadersのGross Marginなどに関する分析結果。
    • p.13にいわゆるHTAPにおけるビジネス分析、ビジネストランザクション、自動化された意思決定の関係
    • p.14に旧来の方式（Hadoop + RDBMS + ETL + ML/DL Engine + App）とIMC方式（IMC Platform + App）の比較
      • とてもシンプルになる、という考察
    • p.15：2021年にはインメモリDBMS、インメモリグリッドゲイン、ストリーム（分析）処理プラットフォーム、 他のIMC技術はインメモリコンピューティングに収れんされていく。ガートナーによる意見。
      • 2019年 - 2022年にかけてIMCに関する技術が世の中に受け入れられていく予想が記載されている。
  • Embracing the service consumption shift in banking
    • まとめ：INGのIMC（インメモリコンピューティング）についての概要
    • p.10 - 12に16Mトランザクション/日をさばくアーキテクチャ（SEPA DD）の説明
      • 一度Kafkaに入れて、IMC基盤に入れる
    • p.16にGridGain as a Serviceの説明。GridGainおよびAppをコンテナに入れてデプロイする。
  • Memory-Centric Architecture - a New Approach to Distributed Systems
    • IMCの進化の流れを説明
      • Distributed Cache
      • In-Memory Data Grids
      • In-Memory Databases
      • Distributed Databases
      • Memory-Centric Databases
    • 最初のローカルキャッシング
    • Distributed Cache
      • シェアードナッシング。シンプルなクライアント。
      • Memcached、Redis、AWS ElastiCache
      • p.7に欠点のリスト
    • In-Memory Data Grids
      • HazelCast、GigaSpaces、Apache Ignite
      • p.11に欠点のリスト
    • In-Memory Databases
      • In-Memory Data Grids for SQLとも考えられるようだ
      • VoltDB、SAP HANA
      • p.15に欠点のリスト
    • Distributed NoSQL Databases
      • SQLではない。トランザクションに対応していない。IMCではない。
    • Distributed SQL Databases
      • IMCではない。キーバリューAPIの欠如。イベントノーティフィケーションの欠如。
    • GridGain Memory-Centric Architecture
      • Memory Centric Storageがそれより下の永続化の層を隠蔽しているように見える
        • p.21に特長をまとめた図がある
      • Ignite Native Persistenceの利用（そのほかの永続化の仕組みも利用可能なようだ）
    • HTAP

IMC Summit San Francisco 2018

https://www.imcsummit.org/2018/us/

ユースケース

書籍

Storage Developer Conference

In-Memory Computing Summit 2016

他者の考察

Oracle

個人？

ミドルウェア関連

OS関連

共有

HexoのIcarusテーマを設定する

Knowledge ManagementHexo
Hexo, Icarus

設定ファイル

themes/icarus/_config.yml.example にサンプルがあるので、 コピーして用いる。

1
2
$ cp themes/icarus/_config.yml{.example,}
$ vim themes/icarus/_config.yml

設定内容

  • menuにTags、Categoriesを足した

  • logo画像を差し替えた

    • themes/icarus/source/css/images 以下にlogo.pngがあるので差し替えた。

  • プロフィール（例：アバター画像など）を差し替えた

    • アバター画像は. themes/icarus/source/css/images 以下にavatar.pngがあるので差し替えた。
共有

ロゴを作る

Knowledge ManagementHexo
Hexo, Web

参考

  • https://www.freelogodesign.org/ ★
  • https://www.logocrisp.com/logomaker/

備考

スモールビジネス向けのロゴメーカーSaaSはいくつか存在するようだ。 基本的にはフリーとしているが、高解像度なものを取得しようとすると有料、というモデルか。

共有

Hexoでicarusテーマを使う

Knowledge ManagementHexo
Hexo

参考

基本な手順

基本的な手順は、 HEXOテーマ「icarus」導入のあれこれ に記載されている通りで問題ない。

注意点

そのままだと普通の固定ページになるので、デモのようなページにしたい場合、 themes/icarus/source/categoriesにできているindex.mdを、themesと同じ階層にあるsourceフォルダ内のcategoriesフォルダに themes/icarus/source/tagsにできているindex.mdを、themesと同じ階層にあるsourceフォルダ内のtagsフォルダにコピー（元のindex.mdと差し替え）します。

という記述があったが、手元の環境ではthemes/icarus/_source/categories、themes/icarus/_source/tagsのように、sourceの前にアンダーバーが必要だった。 つまり、

  • themes/icarus/_source/categories -> source/categories
  • themes/icarus/_source/tags -> source/tags

のように、ディレクトリごとコピーしたところ、それぞれCategories、Tagsページが表示されるようになった。 ただ、Categoryはどう使うべきかいまだ決めかねている。

共有