#dev (ilita) | Обсуждение разработки I2Pd | i2pd development discussion | http://i2pd.website/

orignal Routers: 19781

orignal что то многовато

Vort рестарт узла давно был?

orignal час назад

Vort ну вот на отметке 1 час 1 минута резко прыгнет вниз

orignal уже прошла

Vort тогда может свежие коммиты что-то поменяли. у меня нормальное значение сейчас

Vort Routers: 9125 Floodfills: 699 LeaseSets: 275

Vort Client Tunnels: 50 Transit Tunnels: 10640

orignal последний проверял

orignal счас 15K но все равно многовато

orignal интересно все же почему там стало мало фулдфилов?

orignal не выдержали атаки?

Vort не мало их. в реальности

Vort за сутки насчитал 3677

orignal думаешь потому что U?

Vort получасовая чистка думаю влияет

orignal то есть?

orignal но мы из нее исключаем флудфилы

Vort ну было же изменение, чтобы выкидывать некоторые routerinfo не через час, а через полчаса

Vort тогда разбираться надо

orignal да но это не флудфилы

Vort в общем, RouterInfo приходят. я же сейчас на коммите с логированием

Vort значит, потом выкидываются почему-то. надо разбираться, почему

Vort не кидал ещё ссылки на коммит. сейчас найду

orignal может адресов нужных нет?

orignal ipv4 с IP

Vort github.com/Vort/i2pd/commit/6d68c3b3e24f075c3365a43609ec3e2279f8b6fc

Vort это мердж коммит, реальное изменение под ним

Vort ну пока я базу не удалил, могу какие-то запросы погонять

Vort надо подумать только, какие

orignal искать в флагом f которые реально не флудфилы

Vort у меня парсер говно. сейчас попробую сделать часовой срез f и выкинуть U из него

Vort гляну, сколько будет

orignal я то в коде не смотрб на U и R я смотрю на сами адреса

Vort такс. всего за час (1706702400000 .. 1706706000000) словилось 1571 штук f

orignal вопрос сколько среди них плохиз

Vort ну вот буду сейчас ещё фильтры наворачивать

Vort var floodfillsR = floodfills.Where(x => x.All(y => y.Reachability == 1)).ToArray();

Vort вот таких вот 1113

Vort а для того, чтобы смотреть IP мне надо парсер переделывать

Vort ну и я могу их конечно просто выгрузить в файлы и вручную рассмотреть

Vort выглядят нормально на первый взгляд. сейчас архив скину и ещё подумаю над фильтрацией

Vort paste.i2pd.xyz/?e067481c3e379c91#F3TkkYQnxnN4paTJMzyPhHc9Wh2tARLfLRmjEM6Pm2ME

Vort 1113 штуки ^

Vort у некоторых действительно нету ipv4

Vort но насколько это массово пока ещё не разобрался

Vort router.version=0.9.29 :))

Vort их не так уж и мало кстати

orignal тут понимешь какое дело

orignal 0.9.29 скорее всего эдь гамаль

orignal а мы такие выкидываем

Vort да я понимаю

Vort смотрю дальше

orignal const int NETDB_MIN_FLOODFILL_VERSION = MAKE_VERSION_NUMBER(0, 9, 51); // 0.9.51

orignal более того

Vort var floodfillsRIPv4 = floodfillsR.Where(x => x.Any(y => y.IPv4 != null)).ToArray();

Vort 1053 штуки

Vort сейчас ещё версию попробую отфильтровать

Vort var floodfillsRIPv4v51p = floodfillsRIPv4.Where(x => x.All(y => int.Parse(y.Version.Split('.').Last()) >= 51)).ToArray();

Vort 880 штук

Vort уже приближается к наблюдаемому нынче мною значению в 666 узлов

orignal счас деду скажу

Vort по скорости какой-то лимит есть?

orignal да. есть минимум N вроде

Vort по скорости всего 2 вылетели

Vort что-то ещё не учли наверное

Vort или баг у меня где-то

orignal так адреса

Vort ну всё равно результат не 1400, не 1000, как было недавно

Vort ну я IPv4 проверку добавил, хоть и кривую

Vort там протокол важен? я просто смотрел чтобы host= был и точек достаточно :)

orignal достаточно любой с ipv4

orignal а вот че

Vort хотя я же не учёл ещё собственно меняющиеся U / R, но там сложно. фиг поймешь, как считать

orignal если я не могу с ним соединиться то тоже выкидываю

orignal то есть если IP публикует а соединения нет как было с китайцами я выкидываю

Vort ещё несколько процентов же у меня зацензурены

Vort плюс кто-то в оффлайн свалил

orignal ну да

Vort плюс у кого-то сеть глючит

Vort так что реально нормальные флудфилы могли не пережить атак

orignal тут смотри что еше

Vort хотя надо будет ещё проверять и думать

orignal если флуфдфил недостижим я его выкидываю на пару часо

orignal может на дольше

Vort а там багов быть не может? я почти не смотрел код профилировщика, но что-то слабо ему доверяю

orignal вот надо посмотреть там

orignal начинать надо с Transports.cpp

orignal когда я не могу соединиться я что то делаю в профиле

orignal <zzz> those are Vuze bittorrent clients

Vort что ж они не обновляются?

orignal <zzz> our agreement was what floodfills we _use_. I can't reach into old Vuze clients and make them not floodfill :)

orignal потому что Vuze давно уже нет

orignal его переименовали во что то там

Vort вполне может быть, юзеры заметили, что 3 хопа во время атаки не строились на флудфилах, вот и поубирали флаг

Vort хотя всё же как-то резко это произошло. ещё одна гипотеза, что многие флудфилы были от атакующих. атакующие ушли с свои флудифлы с собой забрали

orignal да но 1200 примерно было годами

Vort а тогда (годы назад) выкидывание тех, с которыми не получается связь, уже было сделано?

Vort можно для какого-то тестового узла отключить это требование и посмотреть, сколько флудфилов наберётся в базе

Vort ну или думать, какие ещё изменения были

orignal <zzz> we talked about it before. my ff count is very flat this year. I do see a big drop around the time of our release late Dec.

orignal дед тоже видит

orignal выкиндывание с кем нет связи я думаю даже в релизе еще нет

orignal точнее было но я уже не помню что именно я менял

Vort сейчас покажу скриншот с metrics

Vort paste.i2pd.xyz/?08ceebd53d18e61e#7Dqm2YEbwATR3vNKaDz12v6aLK7VFq5A8zAi1WLCZQhU

Vort помнишь, я говорил о прыжке вверх количества узлов? в декабре

Vort так вот в то же время был прыжок вниз флудфилов

Vort его сложнее заметить, но можно, если присмотреться

Vort юзеры единомоментно так убежать не могли

orignal мысль интересная

orignal думаешь атакующие были.

Vort ну я, конечно, не знаю точно. да и не разобрались мы из чего состоит всплеск на верхнем графике

Vort я сейчас кое что интересное ещё обнаружил. на соседнем графике

Vort paste.i2pd.xyz/?c2d8246f7e2bf0e0#Bp2G4Mvhz1tPeNGP9z6KSQxPwJWr8m4vaXKPhJKqwG6i

Vort я этот график, к сожалению, плохо понимаю

Vort но там тоже отражается декабрьское событие

Vort да и вообще красный график уже давно идёт вниз. фаерволлы исчезают? )

orignal я посмотрел если роутер был недостижим я его на 2 часа выкидываю

orignal можно изменить на час

Vort надо бы изучить, сколько полудохлых узлов в сети

Vort может, такой флудфил всё равно не в состоянии выполнять свои обязанности

Vort ну то есть два варианта есть

Vort или это временный глюк сети какой-то

Vort или узел сильно перегружен и лучше его не трогать

Vort в первом случае имеет смысл поменять на час

Vort во втором - наоборот

orignal строка 289 Netdb.cpp

Vort а каких случаев больше - никто не изучал

orignal я проверяю профиль только для флудфилов

orignal !r->IsFloodfill () || !r->GetProfile ()->IsUnreachable ()

orignal вот такая проверка

orignal может ее убрать?

Vort я хз как этот код работает

Vort могу разве что посоветовать убрать тестово и посмотреть, как это повлияет на количество FF в базе

orignal если флуфил то проверяет не был ли он недостижим за последние 2 часа

orignal <zzz> we do that too, for all routers, not just ff, but only for about 8 minutes. 2 hours is a long time

orignal вот его ответ

orignal давай и мы попробуем изменить

Vort говорю же - вопрос в том, какого фига он был недостижим

orignal почему у нас с ними разница

orignal рестартовал например

Vort я просто видел полудохлые узлы и мне это не понравилось

Vort ну и жертвы глюка пиртеста надо тоже учитывать

Vort java же тоже глючит

Vort сейчас пересчитаю процент глюченых флудфилов )

orignal давай решай пошагово

orignal решать

orignal надо разобраться почему с ними расходится

orignal <zzz> I'm flat between 1100-1400 ffs since Jan. 1 to today (on a non-ff)

Vort потому что U к примеру

orignal да но у них также будет

Vort ну они же U флудфилы считают за флудфилы?

Vort пересчитал процент U / R смен у флуфилов. сейчас добралось значение до 25%

Vort Floodfills : 3771 / Reachability changed: 967 (25.6%)

orignal нет конечно

Vort всегда считал это особенностью java

orignal что?

orignal флудфил с U не считается флудфилом

Vort по числам, кстати, сходится. если взять его 1250 да помножить на 0.7, то получится около 800, как и по моим расчётам

Vort ещё один момент: " (on a non-ff)"

Vort non-ff может накапливать RI

Vort если я за сутки посчитаю, то у меня тоже за тыщу будет

orignal то есть ты думаешь они все U считают флудфилами?

Vort мне так казалось. точно не знаю

orignal утверждает что нет

Vort в таком случае расхождение может быть из-за того, что наблюдения были на не-флудфиле

Vort у тебя нету не-ФФ узла для проверки?

orignal есть

Vort и сколько там Floodfills ?

Vort тоже около 700 ? или выше?

orignal Floodfills: 636

Vort а вот это уже странно

Vort FF понятно почему выкидывает - час времени просрочки

Vort почему же не FF будет выкидывать?

orignal он не выкидывает он просто не принимает

Vort не принимает старые RI флудфилов?

orignal принимает но флудфилом не считает

orignal аналогично и U

Vort хотя всё равно непонятно

orignal а вот если флуфил был недостижим то просто выкидывает

Vort короч это надо в java добавлять логирование и колупаться в их коде

Vort угадать, видимо, не получится

orignal ну я изменю время с 2 часов до 8 минут и поглядим

Vort попробую угадать - "с 666 дойдёт до 888"

orignal думаю что нет

orignal но проверим

onon У меня на всех роутерах от 700 до 800, и только на одном 1076

onon 1076 на том, который за натом

orignal вот мы и пытаемся понять чем мы отличаемся от деда

onon До декабрьской атаки, емнип, всегда было около 1к на всех роутерах

orignal аналогично

orignal вот мы и разбираемся

onon Я думал, это обновление так работает, но фф стало меньше и на 2.49.0 роутерах

orignal там давно ничего не менялось

onon Еще я заметил пару дней назад кол-во роутеров начало расти.

onon Уже выросло процентов на 20 в среднем.

onon Графиков, к сожалению, не будет.

orignal я тоже заметид

orignal <zzz> actually looks like I was wrong, we don't pay attention to U cap

orignal voila

Vort про U и java понял. у меня тут другой вопрос возник

Vort допустим, мы не считаем XfU за флудфил. но считаем ли мы его вообще за узел?

Vort пройдёт ли к нему транзит допустим через нас?

orignal да считаем

orignal XfU мы считаем как XU