Сайт гидра com

Okaxij

Администратор
Подтвержденный
Сообщения
209
Реакции
35
Уважаемые пользователи RuTOR , Все сайты из нашего списка проверены и находятся онлайн, их нет в скам листах. Остерегайтесь фишинг сайтов и помните об уголовной ответственности за незаконные сделки. Подборка официальных сайтов по продаже веществ от форума Rutor носит исключительно информативный характер.

1. OMG!OMG - MOST ADVANCED DARKMARKET

Эта площадка существует довольно давно и в этот период она медленно развивалась в тени гидры. В настоящее время это ведущий сайт по продаже веществ в даркнете.
 

 

2. MEGA - DARKNET MARKET

Благодаря хорошей подготовке и листингу на зарубежных сайтах площадка смогла составить конкуренцию в стабильности и доступности, чего не смогли ее конкуренты, но все же она уступает по полпулярности площадке OMG!OMG!

 

3. HYDRA - Возрождение легенды.

Идут работы по восстановлению всеми любимой гидры, но все не так просто как казалось ранее, совсем скоро она будет доступна, а сейчас нам остается только ждать релиза от команды HYDRA.

 

________________________
RUTOR — Главная торговая и информационная площадка в сети Tor.



I

Iqywu

Пассажир
Сообщения
119
Реакции
25
Сайт гидра com
Тестирование безопасности серверов и rampmarketplace веб-приложений имеет очень важное значение, поскольку если уязвимость смогли найти вы, то ее найдет и злоумышленник, а значит он сможет получить доступ к вашим персональным данным или испортить приложение. Одним из самых эффективных и очень простых методов взлома есть перебор паролей. Поэтому очень важно убедиться, что ваш пароль будет сложно перебрать.omg - это программное обеспечение с открытым исходным кодом для перебора паролей в реальном времени от различных онлайн сервисов, веб-приложений, FTP, SSH и других протоколов. Особенность инструмента в том, что здесь выполняется перебор не по хэшу, а напрямую с помощью запросов к серверу, это значит что вы сможете проверить правильно ли настроены фаерволы, блокируются ли такие попытки, а также можете ли вы вообще определить такую атаку на сервер. В этой статье мы рассмотрим как пользоваться thc omg для перебора паролей.Содержание статьи:Установка THC omgПервым делом нам необходимо установить этот инструмент. Это довольно популярная утилита для тестирования безопасности, поэтому вы можете найти ее в официальных репозиториях. Для установки нужных пакетов в Ubuntu выполните:sudo apt install omgЧтобы установить программу в Red Hat/CentOS команда аналогичная:sudo yum install omgНо в официальных репозиториях, как правило, находятся более старые версии программы. Если вы хотите самую свежую, то придется собрать ее из исходников. Но здесь нет ничего сложного. Сначала загрузим исходники последней версии с GitHub, на данный момент, это 8.4:wget https://github.com/vanhauser-thc/thc-omg/archive/v8.4.tar.gzЗатем необходимо их распаковать и перейти в папку с исходниками:tar xvpzf thc-omg-v8.4.tar.gz
$ cd thc-omg-v8.4Дальше выполните такие команды для компиляции и установки:./configure
$ make
$ sudo make installРазработчики поступили очень грамотно, когда настроили установку в /usr/local. Таким образом, утилита не распространится по всей файловой системе, а будет в одном месте. Если вы еще хотите установить графическую оболочку, то вам нужно переместиться в папку omg-gtk и выполнить те же команды:cd omg-gtk
$./configure
$ make
$ sudo make installНужно заметить, что для ее сборки необходимы пакеты разработки gtk2. Но я бы не советовал вам использовать этот графический интерфейс. Если разобраться в работе с утилитой через терминал, то он совсем не нужен, тем более, что вся гибкость утилиты раскрывается через командную строку.Программа THC omgПеред тем как мы начнем рассматривать как пользоваться htc omg, нам необходимо разобраться какие параметры команде передавать и как это делать. Давайте сначала рассмотрим общий синтаксис:$ omg опции логины пароли -s порт адрес_цели модуль параметры_модуляОпции задают глобальные параметры утилиты, с помощью них вы можете настроить необходимые параметры, например, указать что нужно выводить информацию очень подробно, список логинов и паролей для перебора задается тоже с помощью опций, но я выделил его в отдельный пункт. Дальше нужно задать порт сервиса на удаленной машине и ip адрес цели. В конце мы задаем модуль перебора, который будем использовать и параметры модуля. Обычно это самая интересная часть но начнем мы с опций:-R - восстановить ранее прерванную сессию omg;-S - использовать SSL для подключения;-s - указать порт;-l - использовать логин;-L - выбирать логины из файла со списком;-p - использовать пароль;-P - использовать пароль из файла со списком;-M - взять список целей из файла;-x - генератор паролей;-u - по умолчанию omg проверяет все пароли для первого логина, эта опция позволяет проверить один пароль для всех логинов;-f - выйти, если правильный логин/пароль найден;-o - сохранить результат в файл;-t - количество потоков для программы;-w - время между запросами в секундах;-v - подробный вывод;-V - выводить тестируемые логины и пароли.Это были основные опции, которые, вы будете использовать. Теперь рассмотрим модули, а также способы аутентификации, которые вы можете подобрать:adam6500;asterisk;cisco;cisco-enable;cvs;ftp;http-head;http-get;http-post;http-get-form;http-post-form;http-proxy;http-proxy-urlenum;icq;imap;irc;ldap2;ldap3;mssql;nntp;pcanywhere;pcnfs;pop3;redis;rexec;rlogin;rpcap;rsh;rtsp;s7-300;smb;smtp;smtp-enum;snmp;socks5;ssh;teamspeak;telnet;vmauthd;vnc;xmpp.Как видите, количество доступных протоколов достаточно большое, вы можете проверить безопасность как ssh, ftp, и до веб-форм. Дальше мы рассмотрим как пользоваться omg, как использовать самые часто применяемые протоколы.Как пользоваться thc-omgКак вы уже догадались, omg перебирает пароли из переданного ей файла, оттуда же берутся и логины. Также вы можете попросить программу генерировать пароли самостоятельно, на основе регулярного выражения. А вот уже их подстановка и передача на удаленный сервер настраивается с помощью строки параметров модуля. Естественно, что файлы с паролями нужно заготовить. В этой статье для примеров я буду использовать файл паролей от John the ripper, который вы можете без проблем найти в интернете. Также можно использовать словари топ500 паролей, и от Cain & Abel, где находится более 300000 пароля. Логин будем использовать только один - admin.Перебор пароля FTPСначала поговорим про использование omg в консольной версии. На самом деле, это основная программа. Команда будет выглядеть таким образом:omg -l admin -P john.txt ftp://127.0.0.1Как вы помните опция -l задает логин пользователя, -P - файл со списком паролей. Далее мы просто указываем протокол и айпи цели. Готово, вот так просто можно перебрать пароль от вашего FTP, если вы установили его слишком простым и не настроили защиты. Как видите, утилита перебирает пароли со скоростью 300 шт в минуту. Это не очень быстро, но для простых паролей достаточно опасно. Если вы хотите получить больше информации во время перебора нужно использовать опции -v и -V вместе:omg -l admin -P john.txt -vV ftp://127.0.0.1Также, с помощью синтаксиса квадратных скобок, вы можете задать не одну цель, а атаковать сразу целую сеть или подсеть:omg -l admin -P john.txt ftp://[192.168.0.0/24]Также вы можете брать цели из файла со списком. Для этого используется опция -M:omg -l admin -P john.txt -M targets.txt ftpЕсли подбор по словарю не сработал, можно применить перебор с автоматической генерацией символов, на основе заданного набора. Вместо списка паролей нужно задать опцию -x а ей передать строку с параметрами перебора. Синтаксис ее такой:минимальная_длина:максимальная_длина:набор_символовС максимальным и минимальным количеством, я думаю все понятно, они указываются цифрами. В наборе символов нужно указать a для всех букв в нижнем регистре, A - для букв в верхнем регистре и 1 для всех цифр от 0 до 9. Дополнительные символы указываются после этой конструкции как есть. Например:4:4:1 - пароль размером четыре символа, состоящий только из цифр. А именно все пароли в диапазоне 0000-9999;4:8:1 - пароль от четырех до восьми символов, только из цифр;4:5:aA1. - пароль, размером от 4 до 5 символов, состоит из цифр, букв верхнего и нижнего регистра или точки.Вся команда будет выглядеть вот так:omg -l admin -x 4:4:aA1. ftp://127.0.0.1Можно пойти другим путем и указать ip цели и порт вручную с помощью опции -s, а затем указать модуль:omg -l admin -x 4:4:aA1 -s 21 127.0.0.1 ftpПароли для ssh, telet и других подобных сервисов перебираются подобным образом. Но более интересно рассмотреть перебор паролей для http и html форм.Перебор пароля аутентификции HTTPРазличные роутеры часто используют аутентификацию на основе HTTP. Перебор пароля от такого типа формы входа выполняется очень похожим образом на ftp и ssh. Строка запуска программы будет выглядеть вот так:omg -l admin -P ~/john.txt -o./result.log -V -s 80 127.0.0.1 http-get /login/Здесь мы использовали логин admin, список паролей из файла john.txt, адрес цели 127.0.0.1 и порт 80, а также модуль http-get. В параметрах модулю нужно передать только адрес страницы входа на сервере. Как видите, все не так сильно отличается.Перебор паролей веб-формСамый сложный вариант - это перебор паролей для веб-форм. Здесь нам нужно узнать что передает на сервер нужная форма в браузере, а затем передать в точности те же данные с помощью omg. Вы можете посмотреть какие поля передает браузер с помощью перехвата в wireshark, tcpdump, в консоли разработчика и так далее. Но проще всего открыть исходный код формы и посмотреть что она из себя представляет. Далеко ходить не будем и возьмем форму WordPress:Как видите, передаются два поля log и pwd, нас будут интересовать только значения полей input. Здесь несложно догадаться, что это логин и пароль. Поскольку форма использует метод POST для передачи данных, то нам нужно выбрать модуль http-post-form. Синтаксис строки параметров будет выглядеть вот так:адрес_страницы:имя_поля_логина=^USER^&имя_поля_пароля=^PASS^&произвольное_поле=значение:строка_при_неудачном_входеСтрочка запуска программы будет выглядеть вот так:omg -l user -P ~/john.txt -o./result.log -V -s 80 127.0.0.1 http-post-form "/wp-admin:log=^USER^&pwd=^PASS^:Incorrect Username or Password"Переменные ^USER^ и ^PASS^ содержат имя пользователя и пароль взятые из словаря, также, возможно, придется передать дополнительные параметры, они передаются также, только значения будут фиксированы. Заканчивается выражение строкой, которая присутствует на странице при неудачном входе. Скорость перебора может достигать 1000 паролей в минуту, что очень быстро.Графическая утилита xomgХотелось бы еще сказать несколько слов про графическую версию. Это просо интерфейс, который помогает вам сформировать команду для консольной omg. Главное окно программы выглядит вот так:Здесь есть несколько вкладок:Target - цели атаки;Passwords - списки паролей;Tuning - дополнительные настройки;Specific - настройки модулей;Start - запуск и просмотр статуса атаки.Я думаю, вы без труда во всем этом разберетесь когда освоите консольный вариант. Например, так выполняется настройка перебора паролей ftp: ВыводыВ этой статье мы рассмотрели как пользоваться omg для перебора паролей от различных сетевых сервисов онлайн, а также тестирования безопасности своих систем. Помните, что использовать такие инструменты против чужих систем - преступление. Вы можете тестировать только свои машины и службы. Проводить время от времени такое тестирование в большой компании может быть крайне полезно.Оцените статью: (15 оценок, среднее: 5,00 из 5)
Загрузка...
 

Jutox

Продвинутый юзер
Сообщения
55
Реакции
6
SUGAR 糖果手機-台灣官網Togglenavigation首頁產品SUGAR全系列手機SUGAR周邊配件客戶服務常見問題服務據點銷售通路售後服務網路商店關於SUGAR施華洛世奇ZirconiaSUGAR 糖果手機-台灣官網Togglenavigation首頁產品SUGAR全系列手機SUGAR周邊配件客戶服務常見問題服務據點銷售通路售後服務網路商店關於SUGAR施華洛世奇Zirconia SUGAR糖果手機 法國品牌設計 | 引領手機界的時尚尖端立即購買SUGARC606.82吋大螢幕 6000大電量SUGARS55滿眼盡視你SUGART35FUN電無敵 享樂隨行COPYRIGHT © 2020 年SUGAR TAIWAN 版權所有 隱私權政策 人才招募安全性問題回報TOP
Сайт гидра com
 
V

Viriz

Юзер
Сообщения
27
Реакции
4
ContactWarm flames breathe & glow with realistic logs & embers, bringing your fireplace to lifeManually controlled Vented log sets are perfect for chimneyed fireplacesVent-Free logs are a great option where you don't have a flu. Models include Thermostat, Remote, or Manual controlsRemote models have a unique self-charging feature that allows the battery to be re-charged by the flameLearn More »Vent-Free heating provides supplemental heat to rooms allowing energy savingsNo vent pipes needed, keeping all the heat in the room and installation costs at a minimum.Oxygen Depletion Sensor (ODS) turns the heater off if the oxygen drops below a safe level.No Electricity needed. Great during power failuresLearn More »Torpedo Heaters are great for construction sites and outdoor tented areas that have good ventilation.High Quality Danfoss Gear pumpAutomatic ignitionOver Heat ProtectionElectronic Thermostat with Digital DisplayLearn More »Infared Radiant waves heat the object and not the air making it ideal for outdoor applications or construction areas with good ventilationPiezo IgnitionFar more portable than traditional patio heatersGreat for tailgatingLearn More »The Thermablaster Industrial Electric heaters are perfect for workshops with high ceilings and large floor space.Heat Output: 14000 BTU & 17000 BTUElectric blower heater for professional purposesDurable stainless steel heating elementThermostat controlLearn More »BLOG12.12.16THERMABLASTER Remote Log Sets with Dr. Frank on CBS TV PittsburghRead More04.28.16Thermablaster by Reecon will be attending the National Hardware Show in Las Vegas on May 4th through May 6th!Thermablaster by Reecon will be attending the National... Read More12.03.15Thermablaster Outdoor Infrared Heaters on GroupOn!https://www.groupon.com/deals/gg-thermablaster-outdoor-infrared-heaters Thermablaster Outdoor Infrared Heaters are now available... Read More
 
O

Onewygy

Юзер
Сообщения
54
Реакции
18
WOF2‹tg°‹A?FFTMhÊ6P`‡FD „eƒÇ4ƒ”n6$Št…< ‰&r?webfaJqAÔë&.pž€ÉwªöPÛՃÛá)ûÛ3µì »°qÀÀœ;XöÿÿIIåÓÚÒ~ûAÍÌ47¸3Q*¼-Ð"Dy¼¢gôAÎ(`5wíY¦vª›j畫˜¬YÝÖ4‚»¨Òfªt1Íô¡P+h}–)šOFÒÆ;íÜÇ®ü«$oò™ÜҁE‡læÐ;¯õó|ý|žÛ¯{f1Èl’Œ[.O¤Éª[email protected]ënkØccl£FçH1*¶Q#6¢•ÈQ5J‘%JB›’WÀ¢ETDÅ1£Ð7H§Þ‹Á€o)Àr­a§v‚iig§4ν¦ö_0 hu#7Æ>óëúÍ:v÷\è‚$µIr¥K}¦ªKò;²ÕꟾɗP-*9•ÓÉ0 !ãRÄõe÷ªªWP ²ÿø?œ³Ú—'êH®¸–)ßB]¹o”|–¬µï'xR÷EYnÂeþyâîJÓ4SӃ„`†óK0aÂ!’àÿûûß¹3½ñˆÁL×þô™GXDITCsßÛ$ƒœ Ð#XúD:V¶•âHÁ¬–Õã¿ß}÷†ÌÜ=畹B“¹23BæABBADD\‘¢(D‘B„¢(ŠBDd/S­’í[email protected]Œõ¿Ÿ1„$ŽGËΗ‚(€^€5*ž‚¬€‚ª‚Ôª¼¤éH†„+ÏMÈG€}¥/áÿí]ÿ*ªú IAË¡œÈkŸ½ŸþúOÝG,=âpg²9³î£3»U9‰ä“Ð/÷ËûŠ …ͤœý[email protected]Š¤}'3UŽ^ &R²sê´\…n“$Ëߘ^¸ùÏ©^%«D.ºÃ´#,¼û€ãÓÑÿK/…¤¤k$; ¸¤²ì’\²“tÏV @)ài`Ù%;Ý{–ãîÙe—ӁO»m罝koÛqþ×Ú¿Ùwê¥Ã@M0HÚ÷ïŸÀÍI¸Ó!êêÐdÂF¡i2zvYê–Õ¿ÂȅªVÍr‘™B"äwVN¬Û(¾¯A=jcœB8ÂHƒúiÑÇüϕÙÙ"¸Ô^…9öeeOÈý”ŸŸL23›fgÊ°X Oɔ˜¦{ˆÏW¹C”.­Z¹¯ªFžPNd=çAäû鲔N¯5ÍÒrUÓªP車Gœ<^7ùSßʏlßÕcNj%°ZüúWßí³öé¶.‡šHà…%2?Wª3†á™«ô“hôþpö¯ûâ;Õï³ìV‡!DÚelõ#ÀÏÛóß~y‡ÉGüî7/¿gõðˆdÿÞ%SPl—Pq’º„J–”Ú%Tšt -¨L€.š]s f`ˆùšž%@ØSž¶8hÔ7⾦úö×Øӌßs*CͶ®CÊN]+Sv¨}÷9Gâ{O¹§Q·LZ¯9òE§Â‰\ýèMîâï[ûŚ×ÿ6:¼ág^ô´]ùÇ3¡‰ß›Uѕ^+õbí_§ÖôZ_ß[¹›Ù‰]Ö=}¬—{½_öÏÑãw‰1Þù¼)Ou7;Ëóh~o(„߶gkÝF·é=Ý÷!ß ”Qº¨,þυzd,Ô¨øGúŸ§i e(NÖfëЂebšº‘¹–ó¢…yÉè˜Tåæɜf6i=B¨%!k܁ Ó8bޘOÞSdJ%›”Cb*##£'Þԗá«óœˆ<�‘üþåVlÄBñF2CÐNVëæT$Åa¤¢y¿ í×tiÏБÌ{î”b™àzm/¡¤½d އék,Ü%nÒÀæ·¦šUåUcÚ*\RÑ/5±šÛ *iÈÓ¼Ue•íjy·CYèLÜø2hY¤àjãŒwÜ»SõtTL(hŽ×±è|t‚ý°IÞ`“;Ëȑїüþ‡ú”ûœ©WŒÇ|·š?’Xm ‘(3²TÔöͦéR›iÄ#ˆYD%UÔ&nªGΌ>íÍuÎßF}ScèBÓ×µ¸b÷Õ¶¯Ž/ž¢éæãQÇÆ<0îÐБ‰|“ôÚoL•šöȬ.›—Ö+±â…àÝÑ1oö:æÃ>M}N¬óUaù-ô%­SĒ€âº¸YËԍ+êZPÊÊDYð«‰M¹oêFe­‰MÁ luéä%Ê?Ëm¹Ä€‰+Š£o™£—gôK=Pamzæ1€hânÌ`\6*T2­@).r°¶ä\ó¸•*wf¸h‹7Pë¸aû@S/¡*BQ*qŠ4ò5íü”Ë¢ãºÜA,Ö&tˆ€ui"å¢Àåôþ²Ü›¾›ƒŒq‘œ‹LŒ¶Ó­ pkVs6Ë°­Ä½Yt:£•eW©—,Îà^‰¦iñ"àPD `P(gCíäªÇD†kvÁÅ®Ø\‚¶^Ayè-”OPºÝ‡…»¡[ ÈD2ŒÂ1‹¸ZsWéԇõ{Ë°ÁxXɵ9µ‰SÜ<$:6Æ[çò¶­pùy#»¤£$¯A/AØ)ÄÃDÓ-–²½ë'Þº¦utiã? ‚œT-¦Õ¤s «†8fb«]!ÊÒ¤….K/æûӃ³ú[email protected]¡¥ášéò#Ì4]Áfç8ñ·Y¢å+€ñ½=¸îÝÀâ—@É¡Ôê¸þÉp¾{ê²t*‚ÎØx®~·ž€úÐvM£ïÔu¡¨÷ÇïËÎóõíSSüd´¬ª*bÕùߧJé*slŠL…¬ sH߃oðÐPJ}¸„—‰>ˆâ°ä¹¡kØJž[email protected]‘QƱ¯òva¡3²x½ZÇ` Ý©sðŸ‰] ”TþÓ«†H­“‹ÐyÆÙÚnÖÁ"‚1m£jRèwÒ¹àÊÛR㤷É)>0l'Mlñc, [email protected]Äf„vyTø%3¾Êë¦ñŸ¥/NV½M'nKA]p[_×ï3vÉ¿€üúî¯û4f€WªÉA0“2=“¶Ö•áç[†‰5é³Í°ã[PèDF/³/näZ©—_Ë*[email protected]®NǘŒ¦€-ué·_†/–dXÁÖy¼å¥¿HÕÄM?z„ñBƒtë{®µä2\€²5=è^°¿± ³‚ä¨)#¼5QùIæÏa¹v)'],+x"ç³:•±ÇÃ*êÐÛ«^!ŽwœM ‡¿‚#mõ´"/ tª¬gê^Ê/¨½ì4:‚¼)Êìööf1˜Ojø1Ó­V§elâá±kâ€À†ŽhN ¡òþþônLÓÜú¨yòäŸ÷7‰ýû–?Xn¥0ŸÏðë­SçÒgžDVÿé›1|ˆ‹ñĵÌ'qLgöù”CÂØcñ†;õùò† É¿ÓTƒUí[ù¯¸&@ñ,ÊÝÝËËÛÏPï‡ÅQˆCÓ ³èµïßL à€;H#B܈ ÿÍ`¸(UT®"‹@dé݋ (ZäPˆF•KP®A“
 

Xufahony

Юзер
Сообщения
109
Реакции
2
На ютубе опубликовали записи с конференции omg 2021. Я смотрел конференцию онлайн и написал abstract самых полезных и интересных докладов. Возможно, вам они тоже пригодятся и помогут в работе.Distributed systems showdown — TLA+ vs real code — Jack Vanlightly, работает над Apache Pulsar и BookKeeperОбзорный доклад про плюсы и минусы, а также реальное применение моделирования при разработке распределённых систем.TLA+ можно и нужно применять для проверки протоколов взаимодействия. За счёт полного перебора всех возможных состояний системы он позволяет относительно небольшим объёмом декларативного кода убедиться в том, что не допущено ошибок в самой модели взаимодействия компонент.Maelstrom применяется для стресс-тестирования модели системы на произвольном языке, позволяя отложить в сторону необходимость полноценной работы с сетью. С помощью Maelstrom можно протестировать, что система ведёт себя ожидаемым образом, то есть соблюдает гарантии целостности в том числе и в случае проблем с сетью. Maelstrom как раз заведует поломками: он рвёт линки между тестируемыми компонентами, увеличивает latency, теряет сообщения и вообще всячески пытается гадить, что приводит к «ускорению времени» с точки зрения проявления ошибок.Джек рекомендует следовать следующему пайплайну разработки:Валидируем идею с помощью TLA+.Инкрементально пишем реализацию системы — сначала даже без репликации, система может состоять из одного узла, — и сразу же тесты для неё в Maelstrom. На каждом шаге убеждаемся, что пока ничего не сломали с помощью стресс-тестов.В контексте TLA+ не могу не упомянуть про PlusCal, более высокоуровневый язык, транспилируемый в TLA+. Он позволяет писать спецификацию на псевдокоде, что сильно облегчает её понимание. По нему существует неплохая книга "Practical TLA+".Serverless nature of Yandex Database — Андрей Фомичев, занимается разработкой YDBЛюбопытный доклад об архитектуре системы и мотивации принятия решений, ознакомиться в тексте можно на Хабре. Андрей утверждает, что YDB умеет масштабироваться до миллионов RPS и не имеет ограничений по объёму хранимой информации.Data parallelism from a multicore perspective — Maurice Herlihy, Brown UniversityДоклад посвящён MapReduce как подходу. Морис дал обзор нескольких классических задач, которые можно решать его с помощью: Word Count, Word Frequency, Document Fingerprint, K-Means. Оказывается, MapReduce можно применять не только для распределённых вычислений, но и локально для вычислений параллельных, поскольку сам подход обладает приятным для нас свойством — возможностью использовать много параллельных map-ов без синхронизации.Впрочем закон Амдала никто не отменял.Algorithms for practical distributed agreement — Naama Ben-David, VMwareДоклад о борьбе с latency в задаче репликации конечных автоматов — консенсусы и иже с ними.Наама предложила решение на основе RDMA (Remote Direct Memory Access). Если кратко, то подход опирается на прямую запись из буфера сетевого адаптера в память другой машины, в обход её CPU. Кроме того, heartbeat лидера вместо push-модели переводится на pull со стороны остальных членов группы — поскольку мы знаем, что CPU лидера в этом процессе не участвует, то тормозить можем или мы, или сеть. Если так сделать, то можно получить latency репликации порядка 1 микросекунды в лучшем случае и 1 миллисекунды в худшем случае, когда нужно делать leader election. Правда, вам понадобится RDMA-сеть между машинами.Также были упомянуты предыдущие SOTA алгоритмы для задачи SMR, с которыми я раньше не сталкивался: APUS и DARE. Оба тоже опираются на RDMA, предложенное Наамой решение быстрее в 3 раза на базовом сценарии и в 12 раз в при leader election.What we talk about when we talk about distributed systems — Alvaro Videla, в прошлом один из ключевых разработчиков RabbitMQОтличный обзорный доклад про то, как вообще начинать изучать распределённые системы — "Computing Science where Science is Still a Thing".Вкратце пробежались по топикам: timing models, failure models, failure detectors, liveness & safety properties. Затем разобрали, о чём же собственно статья FLP и почему невозможность консенсуса в асинхронной модели не мешает реализовать его в жизни.В конце доклада Альваро выдал отличные рекомендации по книгам, с которых можно начать погружение:Посмотреть презентацию к докладу. Theoretical and practical worlds of failure detectors — Lena Hall, работает над Microsoft AzureПервая «теоретическая» часть доклада посвящена обзору теоретических моделей Failure Detectors, рассмотрены свойства Completeness и Accuracy. Практическая часть в основном про то, как это сделано в Azure, если вкратце, то хартбиты и таймауты — наше всё.Общее впечатление — воды многовато, ознакомиться с текстовой версией доклада можно на InfoQ.Designing fast lock-free algorithms by understanding cache coherence dynamics — Adam Morrison, Tel Aviv UniversityДоклад можно описать как плавное подведение к проблеме, которую Адам с коллегами решили в 2013 году — проектированию более быстрой MP/MC lock-free очереди. На основе нескольких FAA CRQ, уложенных в связный список, им удалось сделать очередь, которая быстрее имеющихся lock-free альтернатив до 2,5 раз и производительность которой существенно меньше страдает от роста числа потоков — LCRQ.Доклад состоял из трёх крупных частей.Погружение в проблематику — здесь Адам рассказал про теоретическую модель, используемую для проектирования конкурентных алгоритмов, sequential model. Достаточно подробно разобрали реализацию классической lock-free очереди на основе связного списка и CAS-операций, затем сравнили её производительность с обычной блокирующей реализацией и увидели, что на большом числе конкурирующих потоков (>10) она сильно медленнее синхронной очереди.Вторая часть доклада была посвящена выяснению причин такого поведения. Для этого был дан обзор протокола когерентности кэшей MSI, причина предсказуемо оказалась в cache contention на CAS-операциях. Для того чтобы её решить, было предложено перейти от CAS к FAA — третья часть была посвящена как раз этому.Для начала Адам предложил спроектировать теоретическую модель очереди на основе FAA. Очередь спроектировали, но есть нюанс — модель опирается на бесконечный массив. В реальной жизни этого можно достичь, например, применив циклический буффер — практическая реализация носит имя CRQ (Cyclic Ring Queue). Если затем уложить такие очереди в связный список, то получится как раз LCRQ.Simplifying global-scale strong consistency — Andras Gerlits, DianemoDBАндрес поделился дизайном системы, разработкой которой он занимается последние 6 лет. Основные свойства хранилища: поддержка ANSI SQL, total ordering, линеаризуемость на уровне записей, возможность масштабирования на весь мир.Чтобы это стало возможно, он придумал новый подход к логическому времени — распределённые иерархические часы — и сделал несколько любопытных допущений про то, чего же люди хотят от базы данных. Получившаяся в итоге система по структуре больше всего напоминает Kafka.Общее впечатление смешанное. С одной стороны всё, о чем говорил Андрес, звучит разумно. С другой стороны, за время доклада у меня не получилось построить в голове цельную модель системы, возможно, на это просто нужно больше времени. Вполне может оказаться, что здесь мы имеем дело со случаем аналогичным DynamoDB, когда удачная инженерная комбинация нескольких идей привела к появлению нового класса систем.Описание всей системы целиком можно прочитать в pdf на сайте DianemoDB.CAP Theorem — two decades and few clouds later — Mike Kowalski, Sii PolandОтличный доклад про то, почему одной CAP-теоремы недостаточно для полного понимания гарантий, которые даёт вам система хранения данных.CAP — штука теоретическая. Она утверждает, что невозможно создать систему, которая одновременно будет корректно отвечать на каждый принятый запрос, устойчива к разделению на сегменты и будет обеспечивать при этом линеаризуемость операций. В то же время в жизни при обсуждении гарантий консистентности и доступности мы обычно говорим про положение на спектре и SLA.Когда люди пишут, что Amazon S3 поддерживает strong consistency, что именно они имеют ввиду? Мы можем рассчитывать на read-your-own-writes на объектах, но только на eventual consistency на бакетах, а время репликации в другую локацию может достигать 15 минут. Что это? AP или AC?Про Google Spanner говорят, что он опровергает CAP, беря от жизни всё. Однако в реальности у него не полная доступность всегда, а «всего лишь» 99.999%. Технически это CP-система, но на самом деле CA.Kafka позволяет нам определять гарантии консистентности тонкой настройкой клиентов, а Cassandra и того пуще даёт возможность выбрать независимые гарантии для каждой операции. К какому классу их отнести?Выбирая систему хранения данных для нашего проекта, мы должны принимать всё это во внимание. SLA is the new CAP!Рекомендованные Майком ссылки:Ещё один взгляд на эту проблему — PIE.Посмотреть презентацию к докладу.Fearless global transactions with CockroachDB — Nathan VanBenschoten, Cockroach LabsДоклад про то, ради чего вообще всё затевалось, и каких целей нужно достичь, чтобы отвечать веяниям времени.В качестве таковых Натан перечислил: Consistency — ссылочная целостность между различными таблицами.Scalability — способность держать нагрузку 100k RPS+High Availability — умение переживать отказы от отдельного узла до целого региона.Low Latency — end2end time < 20 ms.Дальше был рассказ про то, какая это непростая задача и как они этого добивались в CockroachDB, но всё общими словами. Если интересно как это всё устроено, то рекомендую почитать Architecture Overview, а так же можно пройти их курсы, ну или посмотреть доклад Натана от 2019 года, который, на мой взгляд, куда информативнее.Co-designing Raft + thread-per-core execution model for the Kafka-API — Alex Gallego, RedPandaДоклад был посвящён RedPanda — Kafka drop-in-replacement продукту, при разработке которого в первую очередь ставилась цель оптимизации хвостового latency за счёт полного использования возможностей современного железа.Ребятам это явно удалось: ~3 ms average latency и 99.999% < 100 ms против 15 ms и 3 секунд соответственно у Kafka.В основе архитектуры RedPanda лежат три кита: Thread-per-core, то есть на каждое ядро процессора запускается и пинится единственный поток. Отказ от использования виртуальной памяти — вся память преаллоцируется на старте. Полностью асинхронный input/output.Если вам когда-нибудь понадобится система передачи сообщений с сильными гарантиями низкого latency — присмотритесь к RedPanda, она того явно стоит.Презентация Алекса, где расписаны основные трюки и решения.The hitchhiker's guide to distributed transactions — Irfan Sharif, Cockroach LabsИрфан рассказал о различных подходах к распределённым транзакциям. Если оставить за скобками описание самих механизмов, то весь доклад можно свести к табличке:Spanner/Pipelined Transactions2 WAN RTTParallel Commits 1 WAN RTTReplicated Commit 1 WAN + LAN RTTCarousel 1 WAN RTTMDCC 1 WAN RTTSLOG/OceanVista 1 WAN + LAN RTTTAPIR 1 WAN RTTВ презентации можно найти названия соответствующих статей и коротенькое описание свойств механизма на пальцах.The official ten-year retrospective of NewSQL databases — Andy Pavlo, Carnegie Mellon UniversityNewSQL базы сочетают в себе возможности масштабирования, присущие NoSQL, но также обеспечивают и ACID-гарантии, свойственные классическим реляционным базам. Сам термин NewSQL скорее мёртв чем жив — теперь все говорят, что они Distributed SQL.Большинство компаний, разрабатывавших NewSQL базы данных, канули в небытие. Из относительно устойчивых и доступных для использования можно вспомнить Cockroach, Yugabyte и TiDB. Энди считает, что будущее таких баз скорее в облаках. В целом доклад — исторический обзор мира баз данных, напоминающий чтение учебника истории, когда короли сменяют друг друга, а жизнь вокруг них продолжала идти своим чередом.Посмотреть презентацию к докладу.
 
Сверху Снизу