Design high frequency trading system

Approximation of Algo trading.

Within this post I will outline how high frequency trading systems (algorithmic trading system) are designed. the post is an extraction from a developer conference held in april 2010.

You can take it as a rough design guide for users looking for a way to build their own trading system or to learn how such systems are working. there are serveral posts covering the issue and each post goes deeper into the technical details of the system.

So what actually is high frequency trading? the definition varies from the person that describes it. all will agree to the following bullets:

  • piece of software running on a system to trade (buy/sell) certain asset classes
  • trading activity above the execution abilities of human possible
  • direct connected to a brokerage firm, a stock exchange or other trading network

Source

По сути это сводится к определению оптимистического распределения приорных вероятностей по возможным вариантам среды и вынуждает агента на первых порах вести себя так, как если бы повсеместно были разбросаны замечательные познаграждения.

Стартапы

Поиск устойчивой и масштабируемой бизнес модели. Тестирования изначальных предположений о рынках с помощью прототипирования, привлечение пользователей для получения обратной связи и др. Новейшие подходы, которые позволяют достигать целей гораздо быстрее чем традиционные методы разработки.

Машинное обучение

Машинное обучение (aka Machine Learning) один из самых успешных разделов искусственного интеллекта (AI). Координально изменил Финансовые Рынки, Индустрию Рекламы. Используется практически во всех компаниях, бизнес модель которых расчитана на получение прибыли за счет информации: инвестиционные банки, поисковые системы, онлайн и оффлайн ритейлеры и т.д.

Машинное обучение и Стартапы

По статистике, количество данных накопленных человечеством увеличивается каждый год в 2 раза. Это происходит за счет все более и более детального сбора информации об окружающем мире начиная от трекинга пользователей мобильной связи, заканчивая котировками акций на биржах.
Информация создает огромные возможности, в том числе и для быстрого старта новых компаний.
Но есть и обратная сторона, такой темп сбора информации приведет к тому, что через 10 лет базы увеличатся в тысячу раз, а через 20 лет в миллион.
Машинное обучение – позволяет создавать умные алгоритмы, которые способны находить закономерности и выполнять сложные операции с большими массивами данных. Машинное обучение активно набирает обороты практически во всех индустриях – инвестиционном банкинге, авиакомпаниях, рекламе, связи и др.

Современные достижения и перспективы Робототехники и Искусственного Интеллекта

Директор лаборатории Искусственного Интеллекта Стенфорда Эндрю Энг рассказывает о современных достижениях и перспективах Искусственного Интеллекта. Значительную часть доклада он посвещает искусственным нейронным сетям.

AI: Planning

AI is the process of finding appropriate actions for an agent. Therefore planning is in some sense of a core of AI

Problem Solving Search over state space. Given a state space and problem description it can find a path to a goal. Those approaches are great for variety of environments, but they only work in an environment determinitsitic and fully observable.  In this approach planning is done ahead.

Continue reading

AI: Representation Logic

Representation – agents model of the world (could be increasingly complex. Representation uses tools of logic could be used by an agent to better model the world.

Propositional Logic

B (burglary occurring) E(earthquake) A(Alarm) M(Marry calls police) J(John calls police)

True False

( E v B ) => A ( Alarm is True whenever either Eathrquake or Burglary is True)

A=> (J ^ M) (When Alarm is True both Mary and John is True)

J <=> M (bioconditional: John calls when and only when Marry calls, John is equivalent to Mary)

J <=> !M (John isequivalent to not Marry)

Propositional logic either True or False with respect to a model of the world. Model is just a set of true/false values for all the propositional symbols.

Example: {B:True, E:False, …}

P => Q (P implies Q)

Continue reading

Machine Learning Algorithms

Supervised Learning

Linear Regression (Hypothesis, Uni-variable, Cost-function, Gradient Descent, Multivariable, Feature Scaling, Mean normalization)

Polynomial Regression

Normal Equation (Algorithm, Comparison with Gradient Descent, Case with Non-invertability matrix )

Logistic Regression for Classification (Hypothesis, Non-linear decision boundaries, Cost-function, Simplified cost-function and Gradient Descent)

Advanced Optimization

Advanced Algorithms (Conjugate Gradient, BFGS, L-BFGS)

Multi-class classification: One-vs-all

Regularization: Over-fitting problem, Cost-function, Linear Regression, Normal Equation, Logistic Regression, Advanced Algs)

Take away from AI-Class

Applications

Terminology

Supervised Learning

OCCAM’s RAZOR

Spam Detection (with Naive Bayes)

Maximum Likelihood

Laplace Smoothing

Advanced SPAM filtering

Handwriting classification

Overfitting prevetion

Linear Regression

Regularization

Perceptron Algorithm

Maximum Margin Algorithms (SVM, Boosting)

K-nearest neighbors (Algorithm, Problems)

Unsupervised Learning

Density estimation, Dimensionality Reduction, Blind sequence separation, Factor Analysis

Clustering

k-means (algorithm, problems)

Expectation minimization

Gaussians and Normal Distribution

Gaussian Learning

Algorithm

# of cluster calculation

Dimensionality Reduction

Spectral Clustering